把一份 PDF 丢进文本抽取器,你会得到一串词。再问一句「表格第二列是什么」,同一个抽取器就答不上来。字留下了,结构没留下。
文档语料出问题,几乎都出在版式,而不是语言。
阅读顺序是字段,不是猜出来的
双栏、插图、侧边栏,如果没有任何东西决定阅读顺序,它们会压成一段话。模型从这里学到的是把不相关的句子关联起来。
把阅读顺序记成结构:段落序号、栏编号、表格编号。这样不靠原文件也能还原一页。
表格要保住网格
表格被抽成流水文字,就丢了「哪个值属于哪一行」。网格、表头、单位都要留;一条改变数字含义的脚注,要跟着表格走,而不是放在文末。
这三样东西,让表格从装饰变成可训练的内容。
留页面,不只留文字
涉及版式的任务,既需要页面图像,也需要抽取出来的文本。语料只给文本,下游每个模型都得猜东西原来在哪。
我们把页面图像、文本层、结构索引放在一起,买家可以在同一份素材上同时训练抽取与推理。
交付前我们跑的清单
- 多栏页面的阅读顺序是显式的?
- 表格保留了网格、表头与单位?
- 脚注挂在它修饰的那个元素上?
- 没有原文件也能还原一页?
- 文本层旁边有页面图像?
答不上这些,这份语料只是带页码的词沙拉。Zovda 用 Datuva 语料目录组织文档类素材,让结构跟着文字一起走。
从哪里开始
从用户真正会问的文档问题出发,再检查回答所需的那些结构在抽取后还在不在。语料总目录说明了文档素材在各阶段的位置,图像语料覆盖了页面图像。
告诉我们文档类型和量,我们会在 1 个工作日内回复。
