Read in English

大部分视频语料,模型其实什么都没学到

视频帧逐步拆解成可用数据

团队买视频语料,习惯按小时算:发票上写小时,硬盘上写 TB,训练跑完却只认一件事——带标注的那几秒。一段十分钟的仓库行走,如果真正有价值的五秒钟——拿货、交接、灯光变化——没有被标出来,它对模型几乎没用。

这就是为什么大量视频素材最后变成了存储成本,而不是训练信号。

小时不是计量单位

一段片子只有三件事同时成立,才算训练数据:切在正确的位置、这个位置有描述、描述在导出后还在。缺任何一条,模型学到的都是噪声。

落到文件上,就是每条记录都带元数据——时长、分辨率、内容类型、语料编号——并且每条标注指向一个时间区间,而不是整段视频。JSONL 里的时间戳表看起来很枯燥,但它决定了一份语料能不能筛选,还是一定要人工逐条看。

一条可用的视频记录里有什么

第一人称素材我们保留三份:母版、用于剪辑的代理文件、带关键帧的标注预览。围绕它们的是七层标注:

  • 动作,分段并命名
  • 手臂姿态
  • 镜头运动
  • 双手
  • 物体
  • 手与物体的交互
  • 步骤关键帧

七层都齐的 Session 生产成本高,但复用价值也高;只有一层的 Session,更接近一个演示。

按模型要学的行为分素材

短视频与品牌片教的是接受度与节奏;4K 素材里的 FPV、航拍、手持段落教的是镜头运动;体育素材把阶段与动作放在同一条时间轴上;第一人称 Session 教的是流程;片段级指令对教的是视频理解。

把这些混成一堆,是最常见的错误。我们把镜头类型做成字段,买家不必重新导出就能切片。

交付前我们跑的清单

  • 每条素材有稳定的编号与时长?
  • 每条标注是一个时间区间,而不是表格里的一句备注?
  • 不看视频,也能按镜头类型筛选组合?
  • 指令对指向真实片段,而不是对片段的转述?
  • 清单里写清楚了每一类里有什么?

供应商答不上这五条,按小时报价就不是真实价格——真正的成本在交付之后的清洗。

从哪里开始

做视频理解,先选与你要改变的行为最接近的那一类,而不是最大的那一类。视频与多模态语料写清了每一类里有什么,语料总目录则按训练阶段说明了同一批素材怎么用。

这些视频与多模态语料由 Zovda 出品,Datuva 平台负责把上面那几层标注记录并版本化,一个 Session 能追回到它被标注的那一天。

告诉我们你要训练的行为和需要的量,我们会在 1 个工作日内回复;范围确认后提供数据卡与字段说明。

说说你在训练什么

相关文章

只保留真正教会模型的视频片段

告诉我们任务类型和片段长度,我们在 1 个工作日内回复。

申请试用查看语料清单

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。