Zovda
微调很吸引人，因为它有边界：一个小数据集、一次短训练、一个看得见的变化。这种「有边界」也藏住了主要失败——一个把同一种行为重复一万遍的集合。
模型把那点重复学得非常完美。
小集合能教什么，不能教什么
几千条选得好的样本，能教格式、人设、回答模式，或者一个很窄的分类。它们教不会一片知识，也教不会一个模型本来就不具备的推理能力。
先决定你要的是哪一种，这就是全部设计。
多样性比体量重要
二十条在输入形态、难度、边角上都不同的样本，胜过两千条改写的同义句。如果每条都共用一个模板，模型学到的就是模板。
当心塌陷
微调之后，跑一遍之前那个留出评测。如果分数掉了，说明这个集合覆盖掉了什么，而不是增加了什么。
一个让某一片变好、让另外两片变差的小集合，是一次带着漂亮演示的退化。
把你拒绝的样本留着
那些你决定不放进来的行，是你品味的记录。结果不理想时，答案通常就在那份记录里。
这些集合由 Zovda 通过 Datuva 生产，每一行都保留任务族和难度。题库与推理语料展示了分级集合怎么组装。
告诉我们你想让它学会什么，我们会在 1 个工作日内回复。