客服团队每天产出的一条流,是大多数机器学习团队会花钱去买的东西:用户用自己的话描述一个问题,客服把它解决,还有一条记录说明这次解决有没有站住。
它通常被归档、被设保留期、从来没被当成数据集读过。
一张工单为什么值钱
- 问题是真实流量,不是构造出来的样例
- 它带着用户在提问时忘掉、在来回中补上的上下文
- 解决是被结果验证过的,不是被一个评分验证的
- 情绪是看得见的,它标出了困难的那些案例
第三项,正是榜单里很少有的东西:一次检查。
先清洗,再学
工单里有个人信息、有内部指代、也有某一个客服团队的习惯。第一种要剥掉,第二种要映射,第三种要当成一个偏差来命名。
在原始工单上训出来的模型,会连着答案一起学会那个团队的简写。
按问题分,不按日期分
随机切分会漏:同一个问题在两边都出现,措辞略有不同。先按问题聚类,再按簇切分,评测才不再是一场背诵测试。
保留解决类型
靠改设置解决、靠改代码解决、靠政策答复、还是升级处理。四种类型,四种训练用途。
这些集合由 Zovda 通过 Datuva 生产,每张工单都保留解决类型和验证结果。题库与推理语料展示了相近的结构。
告诉我们你的工单里已经有什么,我们会在 1 个工作日内回复。
