Zovda
每个数据计划都有一个体量目标，而每个体量目标都在塑造供应商的行为。按行付钱，理性的选择是做容易的行；按小时付钱，是做得慢的那些。
这两种激励里，都没有提到你真正想要的东西：困难案例的覆盖。
一个目标在量什么
五十万行的目标，量的是吞吐。它对「其中有多少是你模型现在会失败的那种」什么也没说，而那才是你买它的唯一理由。
一个集合可以完美达标，同时完全没碰到那个失败模式。
指定分层，不指定总数
不要一个数字，写一张小表：长尾里要这么多、标签含糊的要这么多、上次评测失败的要这么多。
分层目标很难被诚实地填满，所以需要买家自己抽样核，而不是听供应商报一个数。
给难的行加钱
如果每行价格一样，供应商在难行上是亏的，而他一定会找到办法绕开它们。按难度分档定价，并让账单显示每一档。
这是整条链路里最便宜的激励对齐。
查分布，不查条数
交付时，画一遍你那些难度代理指标的分布：文本长度、标签熵、和当前模型预测的距离。
Zovda 通过 Datuva 按分层生产，每一批报的是构成，而不只是体量。题库与推理语料展示了分层集合怎么写规格。
告诉我们你的模型在哪些案例上失败，我们会在 1 个工作日内回复。