Zovda
一个数据集几乎总是常见案例的样本，因为常见案例正是链路默认会收到的。而产品面对的是全部。
这两者之间的差距，就是工单的来源。
尾巴加起来并不稀有
每一个罕见案例单独看都罕见。合在一起，它们占了问题的很大一块——这就是为什么平均分不错的模型，用起来却让人不敢信。
数一数有多少请求落在头部类别之外。这个数字通常让人意外，而且几乎从不出现在报告里。
有意过采样尾部
如果尾部占流量三分之一、占你的数据百分之一，那这个模型是为中间调好的。过采样到尾部有足够的行可学，并把过采样记下来，免得有人把训练分布当成真实分布。
尾部案例需要自己的检查
尾部案例往往没有唯一正确答案，只有一段可接受的范围。检查要按这个来设计，用评分细而不是精确匹配。
保留一个只有尾部的评测
一个全是罕见案例的切片，告诉你模型在最差的地方有没有变好。它的分数永远更低，而它才是要紧的那个数字。
Zovda 通过 Datuva 按覆盖分层生产，每一批都报出它在常见案例之外覆盖了什么。语料总目录说明了覆盖是怎么描述的。
告诉我们用户问过哪些不寻常的问题，我们会在 1 个工作日内回复。