Zovda
去重被当成打扫卫生，它其实更接近编辑：删掉一行，剩下的每一行权重都变了。
一个自称「四成是指令数据」的集合，如果这四成里有三分之一是同一个模板换了名词，那它就不是四成。
精确匹配只解决那一小部分
整篇哈希能抓到「被复制」的那批。抓不到改写、重排、同一页换了个标题，也抓不到同一个问题换四种问法。
容易的那部分恰好也是所有人都会汇报的那部分，所以「我们做过去重了」这句话，信息量往往很低。
三个便宜的信号
- 归一化文本上的 shingle 重叠，抓近似复制
- 同一簇内的向量距离，抓改写
- 结构键，比如标题相同、正文不同
先在样本上跑一遍。三个方法在短文本上的误报率都会上升，而对话语料里大部分是短文本。
去重会改配比，所以要重新量
如果某一类有两成被判定重复删掉，它在训练集里的占比就下降了——没有人做过这个决定，但它发生了。重新算构成，要在去重之后算，不是之前。
把重复索引留下来。当有人问「为什么这次跑出来的东西变了」，答案通常就在那个文件里。
哪些重复是有意留的
不是每一次重复都是噪声。一条标准答案可能值得多出现几次，一个罕见边角可能值得刻意过采样。区别在于意图，而意图必须写下来。
这些语料由 Zovda 通过 Datuva 组装，去重过程和索引跟着集合一起存，构成可以重建，而不是靠争论。语料总目录列出了适用的几类语料。
告诉我们你想要的配比，我们会在 1 个工作日内回复。