让两个人给同一张图写描述,你会得到两段关于同样物体的文字;让他们写任务,你会得到两种不同的行为。后者更难生产,也更有用。
多数图文语料完全停在第一类,所以模型能描述一张图,却仍然做不对指令。
字幕回答「有什么」,指令回答「做什么」
字幕说出画面里有什么;指令说的是答案该长什么样:提取总价、比较两个区域、判断场景是否安全、数出满足规则的物品。
这类对子教的是对图像做推理,而不是认出图像。它们也最容易被漏采。
变化问题,不只变化图片
十张图配同一条指令,教的是「十个画面上的同一个行为」;一张图配十条不同指令,教的是「一个画面上的十个行为」。
可用的集合两个轴都要变,并记录每对属于哪个轴,买家才能平衡配比。
答案必须可核验
答案没法对着图像核对,这一对就只是观点。总数、位置、计数、标签、是或否都可核验;「描述一下氛围」不可核验。
我们给每一行记一个核验类型:精确匹配、字段匹配或人工复核。这一个字段,把可用的集合和一堆散文分开。
交付前我们跑的清单
- 每一对都在说任务,而不只是描述?
- 任务跨越不止一种指令类型?
- 每个答案不靠人也能对着图核对?
- 核验类型是逐行记录的?
- 图像和答案分字段存放?
答不上这些,这份语料只能训出一个「会写说明」的模型。在 Zovda,Datuva 的图文对围绕任务构造,因为买家真正部署的是任务。
从哪里开始
从产品必须产出的结果出发,再设计能演示它的那一对。图文对语料写清了我们的分类,语料总目录把它们对应到训练阶段。
告诉我们任务和量,我们会在 1 个工作日内回复。
