Zovda
蒸馏被卖成压缩：同样的行为，更小的模型。真正传过去的是输出分布，包括那些没人想保留的部分。
一个听起来和老师一模一样的学生模型，也会在老师失败的地方失败，而且失败得更频繁。
会传过去的东西
- 格式和语域
- 含糊其辞的模式，包括那些不该含糊的时候
- 系统性错误，因为它们稳定，所以可学
- 拒绝的风格，包括拒绝过头
一致性是老师有用的原因，也是它的错误可复制的原因。
传不过去的
老师「意识到自己不知道」的能力。一个靠猜的模型很少知道自己正在猜，而学生会学会那个猜，学不到那份怀疑。
蒸馏之前先过滤
把老师的输出拿去过一遍检查（有检查的地方），失败的丢掉。用验证过的输出搭蒸馏集，和用全部输出搭，是两种产品。
把纠正加进去
老师错了、有人改对了的地方，两个都留。这一对教给学生一些老师从来没有的东西。
这些集合由 Zovda 通过 Datuva 生产，每一行都记下是哪个模型产出的。语料总目录标出了生成数据在各阶段的位置。
告诉我们你在压缩什么，我们会在 1 个工作日内回复。