Zovda
评分细则不是对质量的描述，它是一台机器：从两个不同的人那里，不经过讨论，产出同一个决定。
当标注员必须开会才能达成一致，这个会就在做细则本该做的事——而它撑不过试点。
写标准，不写形容词
「清晰、有条理」是形容词。「答案在前两句给出结论」是标准。只有后者能被一个没参与撰写的人检查。
把每一行重写到它指向输出里一个看得见的东西，而不是一种你希望它具备的气质。
给标准排序
两条标准打架时，细则必须说清哪条优先。长度和完整度是最常见的一对：一句短但漏了情况，一段长但覆盖了。
把取舍明写出来，否则标注员会凭手感解决——一致到看起来像有共识，又不同到足以影响结果。
每一档都配一个真实例子
每条标准的每一档，留一份真实输出作为锚点。标注员对着例子校准，比对着一堆文字快得多。
锚点要轮换。一份在文件夹里躺了两年的锚点，衡量的是两年前。
在无聊的行上做测试
所有人都拿有意思的案例测细则。分歧通常来自无聊的那些——标注员觉得答案显然，于是根本不套规则。
这些细则由 Zovda 通过 Datuva 执行，每条评分都带着它依据的标准和锚点，一处分歧能追到某一句话，而不是某种情绪。题库与推理语料展示了按这套方案分级答案的样子。
告诉我们你在评什么，我们会在 1 个工作日内回复。