合成数据被卖成「把量的问题解决了」。它其实是把方差的问题放大了:你得到了更多同一类样本,而其中的错误变得更自信。
这不是反对它,而是说清楚它该碰你数据集的哪一部分。
它能做什么,不能做什么
生成擅长覆盖面:更多说法、同一条你已信任的规则的更多边角、同一种格式的更多变体。它不擅长判断:这个标签对不对、这个场景是否成立、这个任务值不值得训。
用它拓宽一个模式,别用它决定哪个模式重要。
留下生成者的指纹
每一行生成数据都应该带上:哪个模型写的、什么时候、从哪条种子、用什么指令。没有这些,半年后出现一批坏数据,既追不回去也撤不干净。
指令最关键。两条看起来一样的提示,产出的分布不同,而差别通常在尾部才显出来。
配比是产品决策
「20% 是生成的」不是一个技术默认值。它决定了模型的行为里,有多少其实是一个模型的习惯,而不是人的判断。
按任务定这个比例,写清理由,每次调整后重新测。抄来的比例,描述的是别人的数据。
放量之前的那次检查
取 200 行生成数据,人工标注,标注员不知道哪些是真、哪些是生成。如果他们分不出来,这批可以混。如果能分出来,那个「破绽」就是模型即将学到的一个特征。
这些数据由 Zovda 通过 Datuva 混合,每一行都保留来源,一批可以整体撤出。语料总目录按阶段说明了生成数据落在哪里。
告诉我们你想补的是哪一块缺口,我们会在 1 个工作日内回复。
