Read in English

文档语料里,最先丢的是表格

带表格与标注区域的文档页

把一份 PDF 丢进文本抽取器,你会得到一串词。再问一句「表格第二列是什么」,同一个抽取器就答不上来。字留下了,结构没留下。

文档语料出问题,几乎都出在版式,而不是语言。

阅读顺序是字段,不是猜出来的

双栏、插图、侧边栏,如果没有任何东西决定阅读顺序,它们会压成一段话。模型从这里学到的是把不相关的句子关联起来。

把阅读顺序记成结构:段落序号、栏编号、表格编号。这样不靠原文件也能还原一页。

表格要保住网格

表格被抽成流水文字,就丢了「哪个值属于哪一行」。网格、表头、单位都要留;一条改变数字含义的脚注,要跟着表格走,而不是放在文末。

这三样东西,让表格从装饰变成可训练的内容。

留页面,不只留文字

涉及版式的任务,既需要页面图像,也需要抽取出来的文本。语料只给文本,下游每个模型都得猜东西原来在哪。

我们把页面图像、文本层、结构索引放在一起,买家可以在同一份素材上同时训练抽取与推理。

交付前我们跑的清单

  • 多栏页面的阅读顺序是显式的?
  • 表格保留了网格、表头与单位?
  • 脚注挂在它修饰的那个元素上?
  • 没有原文件也能还原一页?
  • 文本层旁边有页面图像?

答不上这些,这份语料只是带页码的词沙拉。Zovda 用 Datuva 语料目录组织文档类素材,让结构跟着文字一起走。

从哪里开始

从用户真正会问的文档问题出发,再检查回答所需的那些结构在抽取后还在不在。语料总目录说明了文档素材在各阶段的位置,图像语料覆盖了页面图像。

告诉我们文档类型和量,我们会在 1 个工作日内回复。

说说你在训练什么

相关文章

把图文和文档拆到字段级别

告诉我们文档类型和模型需要的字段,我们在 1 个工作日内回复。

申请试用查看语料清单

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。