Read in English

大多数图文对,描述的是图,不是任务

带表格与标注区域的文档页

让两个人给同一张图写描述,你会得到两段关于同样物体的文字;让他们写任务,你会得到两种不同的行为。后者更难生产,也更有用。

多数图文语料完全停在第一类,所以模型能描述一张图,却仍然做不对指令。

字幕回答「有什么」,指令回答「做什么」

字幕说出画面里有什么;指令说的是答案该长什么样:提取总价、比较两个区域、判断场景是否安全、数出满足规则的物品。

这类对子教的是对图像做推理,而不是认出图像。它们也最容易被漏采。

变化问题,不只变化图片

十张图配同一条指令,教的是「十个画面上的同一个行为」;一张图配十条不同指令,教的是「一个画面上的十个行为」。

可用的集合两个轴都要变,并记录每对属于哪个轴,买家才能平衡配比。

答案必须可核验

答案没法对着图像核对,这一对就只是观点。总数、位置、计数、标签、是或否都可核验;「描述一下氛围」不可核验。

我们给每一行记一个核验类型:精确匹配、字段匹配或人工复核。这一个字段,把可用的集合和一堆散文分开。

交付前我们跑的清单

  • 每一对都在说任务,而不只是描述?
  • 任务跨越不止一种指令类型?
  • 每个答案不靠人也能对着图核对?
  • 核验类型是逐行记录的?
  • 图像和答案分字段存放?

答不上这些,这份语料只能训出一个「会写说明」的模型。在 Zovda,Datuva 的图文对围绕任务构造,因为买家真正部署的是任务。

从哪里开始

从产品必须产出的结果出发,再设计能演示它的那一对。图文对语料写清了我们的分类,语料总目录把它们对应到训练阶段。

告诉我们任务和量,我们会在 1 个工作日内回复。

说说你在训练什么

相关文章

把图文和文档拆到字段级别

告诉我们文档类型和模型需要的字段,我们在 1 个工作日内回复。

申请试用查看语料清单

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。