Zovda
用模型生成评测流量很诱人：问题无限、没有隐私工作、不用等用户。它也是一种「拿模型考模型」的方式。
合成用户问出的，是助手已经准备好的问题。
盲区是结构性的
扮演用户的模型，和被评测的模型读过同一批材料。它产出的问题格式规整、切题、礼貌，因为那些材料就长这样。
真实用户很简短、没耐心，而且常常要求产品做不到的事。
合成仍然有用的地方
- 用体量做格式服从的回归检查
- 给一个真实问题造对抗变体
- 覆盖难收集的语言和语域
- 人来写会觉得别扭的压力案例
这些都值得做，但它们替代不了流量。
留下来源字段
每一道生成的问题都要写明是哪个模型写的、从哪条种子来的。来的路都追不到的榜，会随着生成器换代而悄悄漂移。
混完之后，量一下配比
一个大部分是合成的集合，量的是生成器的品味。报出占比，把真实的行放在自己的切片里，让两个数字分开。
这些评测集由 Zovda 通过 Datuva 建设，每一行都记录它来自流量还是来自生成。语料总目录标出了这些行的位置。
告诉我们哪些是你自己收集不到的，我们会在 1 个工作日内回复。