第一次把两个数据集连接起来,一个下午就够了。三个月后的第二次要花一周,因为那时两边都变了,而没人写下第一个下午的前提。
字段映射不是表格工作,它是一组关于含义的决定,而含义会漂移。
第一天看起来都很简单
第一天,两边都有帖子编号、时间戳、文本、计数。连上了,数字看着合理,项目就往前走了。
没被决定的是:时间戳用的是账号所在时区还是某个固定时区;计数是累计还是滚动窗口;被删掉的条目是消失,还是留着并带一个标记。
决定能不能连的字段
- 时区与格式,写下来,不要从一条样例里猜
- 条目被编辑后编号是否稳定
- 计数是否累计,从哪天开始
- 空字段表示 0 还是表示不知道
- 这个字段是哪天引入的
最后一条决定了老数据能不能被读懂。六月才出现的字段,对三月的行没有含义,用默认值填上等于凭空造了一段历史。
名字撞车的地方
不同数据集里的同一个账号名,不是同一个账号。同一个显示名,不是同一个人。品牌名会在语言和行业之间撞车,粗糙的连接会把两个受众悄悄并成一个。
保留来源编号和一个置信度字段。合并有疑问时,把疑问存下来,而不是在加载时直接解决掉。
把映射当成一份文件来管
把映射写成带版本的文件,放在数据旁边,写清每次改动的日期和原因。这是你能做的最便宜的文档,也是让重跑成为可能的唯一东西。
Zovda 通过 Datuva 交付每一批数据时都附上字段映射,今年做的连接,明年还能解释。数据研究语料展示了这些集合是怎么组装的。
告诉我们你要对齐哪几个系统,我们会在 1 个工作日内回复。
