Zovda
奖励模型是你偏好的一份压缩摘要，而压缩会保留最容易测量的那个东西。如果长度在数据里能预测胜负，被保留的就是长度。
症状出现得很晚：答案越来越长、越来越有条理，却没有更好。
你没打算给的那个信号
没有做控制的偏好数据，通常带三个非预期信号：长的赢、笃定的赢、放在第一个位置的赢。
每一个都是奖励模型几百行就能学会的捷径，而每一个都能存活下来，因为它和质量的相关性高到看起来无害。
在配对内部平衡长度
不是在整个数据集上平衡，而是在每一对内部平衡：两个答案长度接近，或者长度差正是它更好的理由。
如果一个更长的答案确实更好，把原因写下来。那个原因才是你要模型学的特征，字数不是。
用一个只看长度的基线检查
训练之前，拟合一个只看长度和位置的小模型。如果它预测赢家的准确率明显高于随机，你的集合就是在量这两件事。
这只要几分钟，能省掉一个季度的调参——而你调的是一个优化错了目标的模型。
每次更新之后重新审计
偏好集会朝着当前模型的产出漂移。上个季度还平衡的集合，现在通常已经不平衡了，因为新行来自一个习惯不同的模型。
这些集合由 Zovda 通过 Datuva 生产，每一对都保留它被判为更好的理由，审计时有东西可以对。语料总目录列出了适用的配对与阶段。
告诉我们你的奖励模型总是奖励错什么，我们会在 1 个工作日内回复。