Read in English

没人能照着做对的规范,不叫规范

被逐项复核的检查清单

每个标注项目都从一份描述类别的文档开始。大多数文档只说了这些类别是什么,从没说一个案子正好卡在两类中间时该怎么办。

而后面这件事,才是全部工作。

写决策,不写定义

「如果内容推广了某个产品,标为推广」是定义。它解决不了一个案子:产品只被顺带提了一句,或者创作者收了钱但从没提品牌名。

规范是一组决策:如果是这样,那么就那样——哪怕这句话读起来更像另一个类别。

故意把难看的案例写进去

规范里最前面的一百个例子,应该是那些「吵过一架才定下来」的。把争论写进文档,放在决定旁边,注明最后往哪边倒、为什么。

标注员不需要安慰,他们需要判例。

先拿自己做测试

项目开始前,自己标 30 条,隔一天再标一遍。你自己跟自己不一致的那些,就是含糊的地方。在给别人看之前,先把这些规则改写。

花一个下午,省一周返工。

像管代码一样给规范版本

规范会变。变的时候要有日期、有理由,还要列出已经按旧规则标过的条目。否则半年后出现分歧,真相是两个人各自在遵守两份不同的文档。

这些项目由 Zovda 通过 Datuva 组织,每一处分歧都作为一行记录留下,而不是被看板上的平均值抹掉。题库与推理语料是这套纪律在交付物上的一个例子。

告诉我们你想分开的是哪几类,我们会在 1 个工作日内回复。

说说你的标注在哪里打架

相关文章

经得起复核的评测数据

评分细则、金标准集与配对数据,按你真实的评测方式来建,我们在 1 个工作日内回复。

申请试用查看语料清单

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。