智能体数据集通常是成功日志:计划奏效、工具返回、任务完成。而线上是一连串小失败,需要有人注意到并绕过去。
只见过成功的模型,会把错误当成「结束」。
恢复作为数据长什么样
- 失败:超时、参数格式错、空结果
- 发现:返回里哪个迹象说明出问题了
- 反应:重试、改参数、换工具、还是停下来问
- 结果:这次恢复管用不管用
第二项最难,也最值得教。大多数模型是先漏掉信号,然后才处理不当。
空不等于坏
一个空结果可能是没有数据、可能是筛错了、也可能是服务挂了。同一个观测,三种反应。
从上下文判断是哪一种,标出来,模型才开始分得清。
给恢复算成本
把一个慢工具重试三次,可能比直接问用户更糟。记录每条路径的延迟和开销,两条都能走的时候选便宜的。
留下失败的回合
一个失败后被修好的回合,比一次就成的回合更值钱,因为它同时装着错误和修法。
这些集合由 Zovda 通过 Datuva 生产,每一步都保留观测和随之而来的恢复动作。代码与智能体语料展示了这个结构。
告诉我们你的智能体怎么失败,我们会在 1 个工作日内回复。
