Zovda
一个项目通常有三个数据集：训练集、评测集、还有真实流量。前两个是兄弟，第三个是陌生人。
在兄弟上分数很高、在陌生人身上表现奇怪的模型，并不神秘。那个分布从来没有被抽样过。
流量的形状不一样
用户发来的请求更短、有错别字、缺上下文，而且常常问的是产品宣称之外一点点的东西。这些在用精选样例搭的榜里，一条都没有。
从流量里抽，包括那些被升级处理的、和那些被放弃的。
故意把失败模式加进去
- 不完整的请求
- 前提错误的请求
- 产品并不宣称支持的语言或语域
- 本应被拒绝的请求
每一种都是一个独立的切片，有各自的分数。一个总数会把四个都藏起来。
冻住一份线上样本
取一周的流量快照，标注，然后永远不改它。它是最接近「公平地考产品所面对的东西」的方法。
按节奏刷新，是在旁边加一个新的冻结切片，不是去改旧的那一个。
永远分片报
一个数字会带来错误结论。四个数字会带来正确的问题：是哪一片动了。
这些评测集由 Zovda 通过 Datuva 建设，每一行都保留来源和日期。语料总目录标出了哪些语料自带评测切片。
告诉我们你的流量里到底有什么，我们会在 1 个工作日内回复。