Zovda
金标准集是整条链路里被当成「不动的那部分」。它恰恰老得最快，因为每一行背后的判断，是当时的人做的，而那些人后来学到了新东西。
过期的金标准集不会报错。它给出一个看起来稳定的数字，而这个数字每个季度都在变轻。
金标准集到底是干什么用的
它回答一个问题：按我们当初约定好的标准，这次改动有没有让输出变好。如果标准本身挪了，回答的就是旧标准。
做回归检查没问题，拿去决定要不要上线就是误导。
从同一个流量里抽
从一张精心维护的表格里抽出来的金标准行，衡量的是那张表格。要从产品真实看到的分布里抽，过滤器也要一致，分数才反映真实流量。
把抽样框写进数据卡。抽样框一变，数字就会变，而原因跟模型毫无关系。
每个季度重标一小片
取金标准集的一成，让没看过旧标签的人重标一遍，再比对。两轮不一致的那些行，就是标准挪动的地方。
然后二选一：修那一行，或者修规范。放着不管，等于这个分数在悄悄平均两套标准。
报一致性，不只报准确率
一个两位专家只有八成一致的金标准集，给它上面的所有测量都设了一个天花板。把这个数字和模型分数并排写出来，否则读的人会以为天花板是一百。
这些留出集由 Zovda 通过 Datuva 建设，每一行都带着它被抽取的日期和所属语料。语料总目录标出了哪些语料自带留出集。
告诉我们你在评什么，我们会在 1 个工作日内回复。