一页扫描件过一遍文字提取,产出物看起来像那一页,却回答不了这一页本来要回答的任何问题。
文字留下来了。告诉你「哪个数字属于哪一列」的那个结构,没了。
文字是最简单的一层
字符准确率是所有人都在测的那一项,也是最后最不重要的那一项。一页密集文字,错了一个数字,读起来毫无障碍,教给模型的是一个错数。
下游模型需要的是:每个块在哪、是什么、属于谁。
让一页保持完整的字段
- 块类型:标题、正文、表格、图注、脚注、图
- 阅读顺序,明确写出来,而不是加载时再猜
- 边界框,用页面坐标,带页面尺寸
- 表格:行列跨度、表头单元格
- 图:它对应的那条图注
- 页码,以及它来自哪份文档
没有阅读顺序,双栏排版在提取时就变成交错的一团。
表格是最难的那一类
合并单元格是一种关系,不是排版细节。一旦拍平,合计行和小计行就分不出来了,而在这种数据上训练的模型,会学会把不该加的东西加起来。
保留跨度。空格就保持为空。一张有洞的表,比一张被悄悄填满的表更忠实。
用重建来验收
最便宜的质量测试:拿记录把这一页重新拼出来,和原件比对。如果重建丢了一条图注、挪了一列,那这条记录就是错的,字符准确率再高也没用。
这些记录由 Zovda 通过 Datuva 生产,块类型和阅读顺序跟着文字一起存。图像语料列出了完整字段。
告诉我们你要读哪几类文档,我们会在 1 个工作日内回复。
