编号稳定是一个数据集最不起眼的属性,也是决定「能不能做纵向分析」的那一个。
如果一条内容被编辑后编号变了,你昨天建的所有关联今天就查不到东西,而数据漂移看起来像是用户流失。
三种变化
- 内容被编辑,平台发了个新编号
- 内容被删又恢复,作为新对象回来
- 内容在两个系统之间迁移,编号被批量重写
三种产生同一个症状:本该匹配上的那一行,没有匹配上。
该存什么
- 原始编号,照返回的样子
- 内容指纹,在归一化文本和作者上算
- 第一次见到和最后一次见到
- 簇编号,当两条记录被判定为同一条内容时分配
真正用来关联的是簇编号。它在改名中活下来,因为它是你的,不是他们的。
说清匹配是怎么做的
精确指纹和模糊匹配,是两种置信度。把命中的是哪条规则存下来,后来的复核者才能决定要不要信这个簇。
把两条真内容并成一条,比漏并更糟,所以阈值要保守。
定期审簇
每个季度抽一百个簇读一遍。本该合并没合并的、不该合并却合并了的,人一眼就能看见,而任何指标都看不见。
这些集合由 Zovda 通过 Datuva 组装,原始编号和簇编号都保留在导出里。社媒数据语料列出了这些字段。
告诉我们你要跟踪什么,我们会在 1 个工作日内回复。
