你的数据配比，可能只是别人的一个数字

每个团队都有数据配比。但很少有人能说清这些数字是怎么来的。比例通常是某天在表格里定的，从某篇论文抄来的，然后被之后每一次训练继承下来。

配比不是配置项。它是一组关于「每类文本每 token 值多少」的判断，而多数团队从未验证过这组判断。

一个比例就是一组下注

「代码 30%、网页 50%、数学 20%」，是三个叠在一起的下注，每个都在断言：来自这一桶的边际 token 比次优选择更有用。

说清楚了，这些下注就能被检验；不说清楚，它们就被继承，而且没人记得当初有什么证据。

在带重复的数据上调比例，是在调一个已经错了的数字。如果某一桶里有 40% 是近似重复，它的有效占比就比标签低了四成，之后所有实验测到的都是噪声。

先去重，再量每一桶实际损失了多少。修正后的数字通常足够让人意外，光这一点就值回工费。

生成的样本很便宜，所以很容易被超配。它们又集中在生成器擅长的地方，于是标签层面看起来多样的一桶，在 token 层面可能很窄。

把合成占比单独跟踪，并且在有能发现「变窄」的评测之前，给它设上限。

训练文本的风格与配比一致时，loss 就会下降。但那不是你要问的问题。

先建评测：按能力各留一个集合，权重按你真实关心的方式给。然后一次只动一桶，读评测结果，并接受一件事——这次 loss 是比平时更差的向导。

答不上这些，配比照样能训。只是它是继承来的观点，不是测出来的决定。

先从你愿意互相交换的能力出发，在动比例之前把评测建好。语料总目录说明了同一批素材在各训练阶段怎么用——当某一桶需要按阶段而不是按主题拆分时，这个视角很有用。

这些混合语料由 Zovda 通过 Datuva 组装，上表的配比可以从清单里重建，不需要再翻一份汇报稿。

告诉我们你在平衡哪些能力、需要的量是多少，我们会在 1 个工作日内回复；范围确认后提供字段说明。