对抗数据集通常是「已经奏效的攻击」的档案。这对回归有用,对发现无用,因为下一次攻击不在文件里。
能带来发现的纪律,是先写攻击,而且就在防守被搭建的同一周写。
攻能力,不攻话题
一张话题清单产出一个话题过滤器。真正把系统打穿的,是一个看起来正当的请求,绕道某个能力过去:编码、指代、角色框架,或者一个多步任务,最后一步才是问题。
按能力写攻击,话题变了这套集合依然有用。
没成功的攻击也要留
一次没有奏效的攻击,和奏效的一样有信息量:它标出了模型当前守住的边界,而且它是改动之后第一个该重测的行。
大多数集合只留成功的,所以它们回答不了「什么退化了」。
按后果评分,不按措辞
一段回复可以很客气,同时是一次失败。评的是这条回复「让什么成为可能」,而不是它听起来怎么样,并且在复核之前把标准写下来。
按节奏刷新
能力在变强,上个季度失败的攻击,这个季度可能奏效。每个版本都重跑这套集合,并按同样节奏加新的攻击。
这些集合由 Zovda 通过 Datuva 生产,每一行都记录它练的是哪种攻击手法。语料总目录标出了边界样本的位置。
告诉我们你的系统绝不能促成什么,我们会在 1 个工作日内回复。
