新数据集到货时,附着一个结构、一个总数、一句承诺。团队写装载器,跑个样本,看到数字合理,就往前走了。
真正要紧的问题只能靠读行来回答,而读行这一步所有人都会跳过,因为它不像工程活。
念出声地读二十行
不是随机二十行:覆盖各个类别、各种长度、各个日期。用「将来要用这个输出的人」的眼光读。
你会发现任何结构检查都发现不了的东西:一个字段有两种含义、一个类别其实是三个、日期差了好几年。
查那些无聊的不变量
- 每行有没有编号,编号是否唯一
- 日期范围彼此是否说得通
- 计数和文本是否对得上
- 空字段是真的空,还是 0
这四项检查一个小时,能抓住装载器静默接受的大部分问题。
找边界案例
按长度排序,两头都看。按日期排序,两头都看。每个类别字段都排一遍,看最小的那一组。
Bug 住在最小的那一组里,和最长的那些行里。
把第一天的发现写下来
留一个短文件,记下第一个下午让你意外的东西,带上行号。它会变成下一批的复核清单,和再下一批的验收标准。
Zovda 通过 Datuva 交付每一批数据时都附字段说明,说明经得起和实际的行对照。语料总目录是一个合适的起点。
告诉我们你的团队第一步查什么,我们会在 1 个工作日内回复。
