Zovda
两个标注员看完同一对答案，意见不一致。多数团队把这种情况当成需要协调的噪声，更糟的是直接删掉。但这一行往往才是整个文件里信息量最大的一行。
偏好数据不是问卷。它记录的是「判断真正有争议的地方」，而正是这些争议案例，决定了模型在压力下的行为。
平局不是缺失数据
平局意味着两个答案足够接近，评分标准区分不出来。这是任务本身的性质，不是标注员失败。把平局删掉，等于教模型「每一组比较都有明确赢家」——而真实部署恰恰相反。
把平局保留成第三种标签，并统计它出现的频率。平局率上升，通常是评分标准开始失去区分力的第一个信号。
有标准，好过凭感觉
「哪个答案更好」产出一个标签；「哪个答案遵循指令、不跑题、不引入没有依据的说法」产出一套别人能复现的判断流程。
在写第一行之前先写好标准。然后测试它：同一对答案交给两个标注员独立判断，量一下一致率。如果一致率接近随机，问题在标准，不在标注员。
长度偏好是默认值，不是例外
两个长度不同的答案放在一起，人挑长的那一个的次数，远高于应该挑的次数。模型一个 epoch 就能学会。
要在采集端抵消：按长度平衡被偏好的一侧，并特意放入「短的明显更好」的对子。训完之后再测一次，看模型是否还在偏好长度。
意见分歧是校准信号
标注员分歧的地方，模型本来就不该那么自信。如果流程把这些行丢掉，你就失去了唯一一批教模型「犹豫」的样本。
实际做法：两个标签都留，理由也留，让下游训练自己决定这一行是用于偏好学习，还是用于置信度目标。
交付前我们跑的清单
- 平局作为标签保留，而不是被多数投票抹平？
- 有一份新标注员不必问人就能执行的标准？
- 训练集里长度与偏好是否相关？
- 标注员之间的一致率是测出来的，不是假设的？
- 选择和理由一起存？
答不上这些，这些对子照样能训。只是模型学到的是标注员的习惯，不是你想要的行为。
从哪里开始
从产品真正要做的判断出发，围绕「两个理性的人可能得出不同结论」的地方构造对子。语料总目录说明了偏好行与监督行在各训练阶段如何并列使用。
这些标注项目由 Zovda 通过 Datuva 组织，上面那些分歧会作为一行记录留下，而不是被一个平均值抹掉。
告诉我们你要塑造的判断和需要的量，我们会在 1 个工作日内回复；范围确认后提供字段说明。