每个标注项目都从一份描述类别的文档开始。大多数文档只说了这些类别是什么,从没说一个案子正好卡在两类中间时该怎么办。
而后面这件事,才是全部工作。
写决策,不写定义
「如果内容推广了某个产品,标为推广」是定义。它解决不了一个案子:产品只被顺带提了一句,或者创作者收了钱但从没提品牌名。
规范是一组决策:如果是这样,那么就那样——哪怕这句话读起来更像另一个类别。
故意把难看的案例写进去
规范里最前面的一百个例子,应该是那些「吵过一架才定下来」的。把争论写进文档,放在决定旁边,注明最后往哪边倒、为什么。
标注员不需要安慰,他们需要判例。
先拿自己做测试
项目开始前,自己标 30 条,隔一天再标一遍。你自己跟自己不一致的那些,就是含糊的地方。在给别人看之前,先把这些规则改写。
花一个下午,省一周返工。
像管代码一样给规范版本
规范会变。变的时候要有日期、有理由,还要列出已经按旧规则标过的条目。否则半年后出现分歧,真相是两个人各自在遵守两份不同的文档。
这些项目由 Zovda 通过 Datuva 组织,每一处分歧都作为一行记录留下,而不是被看板上的平均值抹掉。题库与推理语料是这套纪律在交付物上的一个例子。
告诉我们你想分开的是哪几类,我们会在 1 个工作日内回复。
