Zovda
有据可依的系统在两个地方失败：正确的那一段没被检索到，或者检索到了却没用上。两种失败在输出里长得一模一样，而修法完全不同。
团队通常从第二种开始，因为改提示词让人感觉在推进。
先单独量第一段
对一批问题，检查正确的那一段有没有出现在前十。这一个数字，给下游一切设了上限。
前十的召回都弱，任何提示词都救不了答案，该动的是语料。
再量它有没有被用上
对「那一段确实在结果里」的问题，检查回答有没有引用它、有没有和它一致。这里的不一致，是生成的问题。
把这两个数字分开，是「一周提示词工作」和「一周语料工作」的区别，而选错要花掉一个月。
语料的问题，看起来像模型的问题
- 从半句话开始的段落，支撑不了答案
- 过期版本排在当前版本前面
- 三份重复把排序摊薄，谁也没赢
每一种，表现出来的都是「模型不好用」。
把段落留在记录里
系统回答时，把检索到哪些段落、引用了哪几段存下来。没有这个，每一次故障排查都从零开始。
这些集合由 Zovda 通过 Datuva 生产，段落保留文档和版本。题库与推理语料展示了答案如何绑定到证据。
告诉我们你的系统在哪里放弃，我们会在 1 个工作日内回复。