Datuva by Zovda · 大模型语料

可在沙箱中运行并自动评分的仓库任务。

每个任务包对应一个仓库 Issue,配有可运行环境、参考补丁、测试补丁与评分脚本:无需手动搭建环境,即可完成任务、验证与评分。

  • 每个任务包对应一个 Issue
  • 自带沙箱
  • 自动评分
交付内容

本类语料的构成。

每个任务包对应一个 Issue

任务与仓库状态一同交付

任务描述与它所对应的仓库状态一并交付。

沙箱镜像

可直接运行

docker/ 下的 OCI 布局,无需额外搭建即可启动。

参考补丁

一份被接受的解法

一份被接受的解法,以 diff 形式保留。

测试与评分

检查项与评分自动完成

测试补丁补上检查项,grade.sh 对作答结果评分。

记录结构

单条记录的字段构成。

路径内容
task.json任务描述、仓库引用与运行设置。
code.patch参考解法的 diff。
test.patch评分前应用的测试补丁。
grade.sh评分脚本,输出决定通过与否。
docker/沙箱的 OCI 镜像布局。
训练阶段

按训练阶段的推荐用法。

阶段用法
SFTIssue 到补丁的轨迹,附参考解。
RL沙箱内作答并自动评分。
评测在固定任务包上做端到端解题检查。
交付形态

每一类语料一套结构。

层级内容
manifest.json逐条列出文件名、大小、日期与语料编号。
UTF-8 JSONL文本与标注一行一条记录。
文档数据卡、字段规范与每类语料的 PDF 说明。
任务包docker/(OCI 布局)与 json/(任务、补丁、评分脚本)。
申请获取

获取代码语料清单。

告诉我们语言分布、任务数与评测方式,我们会在 1 个工作日内回复。样例包、数据卡与字段规范在需求确认后提供。

确认项目范围后开通访问权限。

常见问题

申请前常见问题。

任务包要联网吗?

每个任务包带 OCI 镜像与运行设置;网络与资源要求按语料类别确认。

是否支持追加自定义测试?

支持。测试补丁是独立文件,可以在此基础上叠加检查项。

评分方式如何?

grade.sh 运行测试并返回分数,作为通过与否的依据。