Read in English

先写攻击,再写防守

被逐项复核的检查清单

对抗数据集通常是「已经奏效的攻击」的档案。这对回归有用,对发现无用,因为下一次攻击不在文件里。

能带来发现的纪律,是先写攻击,而且就在防守被搭建的同一周写。

攻能力,不攻话题

一张话题清单产出一个话题过滤器。真正把系统打穿的,是一个看起来正当的请求,绕道某个能力过去:编码、指代、角色框架,或者一个多步任务,最后一步才是问题。

按能力写攻击,话题变了这套集合依然有用。

没成功的攻击也要留

一次没有奏效的攻击,和奏效的一样有信息量:它标出了模型当前守住的边界,而且它是改动之后第一个该重测的行。

大多数集合只留成功的,所以它们回答不了「什么退化了」。

按后果评分,不按措辞

一段回复可以很客气,同时是一次失败。评的是这条回复「让什么成为可能」,而不是它听起来怎么样,并且在复核之前把标准写下来。

按节奏刷新

能力在变强,上个季度失败的攻击,这个季度可能奏效。每个版本都重跑这套集合,并按同样节奏加新的攻击。

这些集合由 Zovda 通过 Datuva 生产,每一行都记录它练的是哪种攻击手法。语料总目录标出了边界样本的位置。

告诉我们你的系统绝不能促成什么,我们会在 1 个工作日内回复。

说说绝不能让什么发生

相关文章

经得起复核的评测数据

评分细则、金标准集与配对数据,按你真实的评测方式来建,我们在 1 个工作日内回复。

申请试用查看语料清单

申请试用

告诉我们你要解决的问题,我们在 1 个工作日内回复。