Zovda
一个号称九种语言的数据集，常常是一种语言加八份附录。行数看起来健康，因为表格把一切都加在了一起。
而多数语言之外的那些用户，体验到的正是这些附录。
数人，不是数行
在一千万人使用的语言里有五千行，和在八亿人使用的语言里有五千行，不是同一种覆盖。后者是带语言标签的噪声。
把每种语言的行数和使用人数并排写，缺口在一张表里就看得见。
每种语言需要什么
- 由母语者写的行，并且标出来
- 除了语言，还要单独检查领域是否对得上
- 随地区不同的格式约定：日期、人名、数字
- 每种语言的质量复核淘汰率
第三条最会悄悄出事。一句语法正确但日期格式不对的话，是错样本，任何语言检查都抓不到。
母语行和改写行是两种产品
用这种语言写出来的行，和从另一种语言改出来的行，行为不一样：后者带着原语言的节奏，用它训出来的模型会有点不对味，用户一听就知道。
两种都用的，要分开标，并给母语行设一个下限。混在一起又不留字段，等于以后回答不了这个问题。
每种语言设一个下限
定一个最低体量，低于它这个语言就不值得上线，然后守住它。一百行的语言比没有更糟，因为它产出的是自信的错误。
这些语料由 Zovda 通过 Datuva 生产，语言、是否母语、质量结果都是独立字段。音频语料把这套纪律用在了语音上。
告诉我们你的用户真正在用哪些语言，我们会在 1 个工作日内回复。