Read in English

多语种语料,不是把一份语料复制十次

把杂乱的数据流整理成统一训练集

一个团队把产品做成十种语言,却只用一种语言训练。语料是英文,被转换了九次。分数不错,九个市场的用户仍然觉得助手「有点不对」。

这不是词汇差距,而是「说多少、说多直、什么叫礼貌」的差距。

平行文本只衡量一件事

跨语言对齐的句子对匹配任务有用,却不是自然用法的好代表,因为对齐后的版本继承了原句的节奏。

只含转换文本的语料,教模型用同一种语言的腔调说十种话。

母语行才是贵的那一半

母语行采集成本更高,承载的却是没人能生成的东西:习语、缩写、地区拼写,以及人们真实的书写长度。

一个可操作的目标是:每种语言的母语占比足以撑住语体,转换行只用来补覆盖,不用来定风格。

记语体,不只记语言

正式与口语,是同一语言里的两份语料。客服回复和社媒帖子混在一个文件里,模型就会把两者搅在一起。

我们逐行记录语体标签,语言标签区分地区变体,配比是「配」出来的,不是猜出来的。

交付前我们跑的清单

  • 每种语言里母语占比多少,而不是转换占比多少?
  • 每一行都带语体标签?
  • 地区变体是分开的,不是混在一起?
  • 每种语言能单独评测,而不是只有总平均?
  • 每种语言的句长分布有记录?

答不上这些,十种语言只是一种语言的十种拼写。Zovda 在 Datuva 目录里把母语与转换占比分开列,买家训练前就能看见差别。

从哪里开始

从真正重要的市场、以及产品在那里使用的语体出发。语料总目录说明了各语言族在训练阶段中的位置。

告诉我们语种、语体和量,我们会在 1 个工作日内回复。

说说你在训练什么

相关文章

把能直接进训练的语料交到你手上

告诉我们你在训练什么、关注哪些模态,我们在 1 个工作日内回复。

申请试用查看语料清单

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。