Zovda
评测集和训练数据来自同一个池子，用同一套过滤器清洗，交给同一批人复核。然后它被用来宣称模型能泛化。
它真正量到的，是分布里容易那一半的表现——而结论的说法，比样本能支撑的更确定。
难度是一个分布
一个每道题都有唯一明确答案的集合，量的是对模式的记忆。它回答不了：输入不完整时会怎样、问题含糊时会怎样、两条规则冲突时会怎样。
有意识地加入难度：一段缺上下文的切片、一段前提错误的切片、一段正确答案是反问的切片。
从失败里抽样
困难评测行最好的来源是线上失败。用户抱怨过的、模型很自信却答错的、客服不得不手工补救的，都拿进来。
这些行本来就难、本来就真实，也本来就是你的干系人最关心的。
留一个冻结切片
不管集合怎么维护，留一个切片不动：同样的行、同样的标签、同样的顺序，永远不刷新。它会变旧，而这正是重点。它是唯一能跨一年比较的数字。
把它和刷新后的分数并排报，而不是替代它。
分片报，不报总数
一个总分，会把你刚做的取舍藏起来。按难度、按来源、按语言、按「这行是为了抓哪类错误」分别报。
这些留出集由 Zovda 通过 Datuva 建设，每一行都带着抽取日期和所属语料。题库与推理语料展示了为此构建的分级题目。
告诉我们你的评测必须抓到什么，我们会在 1 个工作日内回复。