一个团队把产品做成十种语言,却只用一种语言训练。语料是英文,被转换了九次。分数不错,九个市场的用户仍然觉得助手「有点不对」。
这不是词汇差距,而是「说多少、说多直、什么叫礼貌」的差距。
平行文本只衡量一件事
跨语言对齐的句子对匹配任务有用,却不是自然用法的好代表,因为对齐后的版本继承了原句的节奏。
只含转换文本的语料,教模型用同一种语言的腔调说十种话。
母语行才是贵的那一半
母语行采集成本更高,承载的却是没人能生成的东西:习语、缩写、地区拼写,以及人们真实的书写长度。
一个可操作的目标是:每种语言的母语占比足以撑住语体,转换行只用来补覆盖,不用来定风格。
记语体,不只记语言
正式与口语,是同一语言里的两份语料。客服回复和社媒帖子混在一个文件里,模型就会把两者搅在一起。
我们逐行记录语体标签,语言标签区分地区变体,配比是「配」出来的,不是猜出来的。
交付前我们跑的清单
- 每种语言里母语占比多少,而不是转换占比多少?
- 每一行都带语体标签?
- 地区变体是分开的,不是混在一起?
- 每种语言能单独评测,而不是只有总平均?
- 每种语言的句长分布有记录?
答不上这些,十种语言只是一种语言的十种拼写。Zovda 在 Datuva 目录里把母语与转换占比分开列,买家训练前就能看见差别。
从哪里开始
从真正重要的市场、以及产品在那里使用的语体出发。语料总目录说明了各语言族在训练阶段中的位置。
告诉我们语种、语体和量,我们会在 1 个工作日内回复。
