录屏看起来像智能体数据,但它不是。录屏给你的是随时间变化的像素。智能体需要的是同样的像素,外加这次决策、它落在哪个元素、以及动作有没有生效的验证。
少了这三样,录屏就只是一段有人用软件的视频。
像素加动作,缺一不可
最小单位是一次步骤:屏幕状态、执行的动作、动作指向的元素、动作之后的屏幕状态。共享同一个目标和起始状态的步骤串起来,才是一个任务。
团队常常留下画面、丢掉动作日志。于是这些画面既不能训练也不能回放,因为真正起作用的那个点击,只有几个像素宽。
一条轨迹记录里有什么
- 任务描述,用用户的原话
- 起始屏幕状态,带分辨率和缩放比
- 每一步:动作类型、目标元素、坐标、输入的文字
- 每一步之后的屏幕状态
- 判定任务完成的条件
- 这一跑在哪一步失败,如果失败了
缩放比比想象中重要。同一套布局换个缩放,坐标就全变了。
轨迹最容易断在哪
三种毛病反复出现:任务描述是事后写的,把答案一起写进去了;完成条件是人的判断,而不是一个可检查的状态;失败的记录被删掉,留下一个「每次都一次成功」的集合。
最后一种最贵,因为模型永远看不到怎么恢复。
不能回放,就无法评分
一条轨迹如果不能回放,就没法打分。把重建屏幕和动作所需的东西存下来,你就能拿模型的每一步去对参考步骤,而不是靠人眼看视频。
这些轨迹由 Zovda 出品,Datuva 平台让每一步都保留目标和结果状态,几个月后还能重放。视频与多模态语料讲的是同一个问题的录制侧。
告诉我们应用,以及你的智能体必须处理哪些任务,我们会在 1 个工作日内回复。
