Read in English

拿到新数据集的第一天

分层的数据资产与取舍

新数据集到货时,附着一个结构、一个总数、一句承诺。团队写装载器,跑个样本,看到数字合理,就往前走了。

真正要紧的问题只能靠读行来回答,而读行这一步所有人都会跳过,因为它不像工程活。

念出声地读二十行

不是随机二十行:覆盖各个类别、各种长度、各个日期。用「将来要用这个输出的人」的眼光读。

你会发现任何结构检查都发现不了的东西:一个字段有两种含义、一个类别其实是三个、日期差了好几年。

查那些无聊的不变量

  • 每行有没有编号,编号是否唯一
  • 日期范围彼此是否说得通
  • 计数和文本是否对得上
  • 空字段是真的空,还是 0

这四项检查一个小时,能抓住装载器静默接受的大部分问题。

找边界案例

按长度排序,两头都看。按日期排序,两头都看。每个类别字段都排一遍,看最小的那一组。

Bug 住在最小的那一组里,和最长的那些行里。

把第一天的发现写下来

留一个短文件,记下第一个下午让你意外的东西,带上行号。它会变成下一批的复核清单,和再下一批的验收标准。

Zovda 通过 Datuva 交付每一批数据时都附字段说明,说明经得起和实际的行对照。语料总目录是一个合适的起点。

告诉我们你的团队第一步查什么,我们会在 1 个工作日内回复。

说说你第一步会查什么

相关文章

把数据这件事做成可规划的项目

在投入之前,把数据集、更新节奏和成本算清楚,我们在 1 个工作日内回复。

申请试用

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。