让模型解一道题,它常常能解;让一份语料把答案写一致,它常常做不到。问题在符号,不在算术。
数学数据看起来很严谨,却经常在验证器看不见的地方不一致。
一个符号,一个含义
同一个表达式,在一个文件里是乘号,在另一个文件里是通配符;减号可能是连字符;同一份集合里,小数逗号和小数点可能并存。
只有在全集合上用一张归一化表,两个文件才可比。
单位属于答案
「12」不是答案。「12 厘米」「12%」「12 个」是三道不同的问题,核验方式也不同。
我们要求数值答案带单位,并记一个期望答案类型,这样核验不用人也能跑。
难度是标签,不是长度
长题可以很简单,短题可能要证明。记难度档和所需方法,别再拿字数当代理指标。
光这一条,就能让一份语料真正用于课程式训练。
交付前我们跑的清单
- 全集合共用一张归一化表?
- 数值答案带单位与期望类型?
- 难度与方法逐行记录?
- 答案能用一条确定的规则解析?
- 去重跑在归一化之后,而不是之前?
答不上这些,这份语料只是一份排版练习。Zovda 先归一化再标注,Datuva 目录把买家核验所需的答案类型直接列出来。
从哪里开始
从产品必须产出的答案形式出发:数值、表达式、区间,还是证明。题库语料覆盖结构化的一端,语料总目录给出阶段对应。
告诉我们学科范围和量,我们会在 1 个工作日内回复。
