每个任务包对应一个 Issue
任务与仓库状态一同交付
任务描述与它所对应的仓库状态一并交付。
任务描述与它所对应的仓库状态一并交付。
docker/ 下的 OCI 布局,无需额外搭建即可启动。
一份被接受的解法,以 diff 形式保留。
测试补丁补上检查项,grade.sh 对作答结果评分。
| 路径 | 内容 |
|---|---|
task.json | 任务描述、仓库引用与运行设置。 |
code.patch | 参考解法的 diff。 |
test.patch | 评分前应用的测试补丁。 |
grade.sh | 评分脚本,输出决定通过与否。 |
docker/ | 沙箱的 OCI 镜像布局。 |
| 阶段 | 用法 |
|---|---|
| SFT | Issue 到补丁的轨迹,附参考解。 |
| RL | 沙箱内作答并自动评分。 |
| 评测 | 在固定任务包上做端到端解题检查。 |
| 层级 | 内容 |
|---|---|
| manifest.json | 逐条列出文件名、大小、日期与语料编号。 |
| UTF-8 JSONL | 文本与标注一行一条记录。 |
| 文档 | 数据卡、字段规范与每类语料的 PDF 说明。 |
| 任务包 | docker/(OCI 布局)与 json/(任务、补丁、评分脚本)。 |
告诉我们语言分布、任务数与评测方式,我们会在 1 个工作日内回复。样例包、数据卡与字段规范在需求确认后提供。
每个任务包带 OCI 镜像与运行设置;网络与资源要求按语料类别确认。
支持。测试补丁是独立文件,可以在此基础上叠加检查项。
grade.sh 运行测试并返回分数,作为通过与否的依据。