国内最权威的三大LLM安全榜单全解析

以下文章来源于模安局，作者管铭

AI Safety Benchmark

AI Safety Benchmark是由中国信息通信研究院（简称“信通院”）组织发起的大模型安全评测榜单。

从2024年Q1开始，坚持每个季度发布一次，迄今已经发布四次。

评测采取的是邀请制，匿名发表测评结果，且每次评估侧重点会结合业界动态更新。

2024年Q1测试以模型的内容安全为核心测评目标，涵盖了内容安全、数据安全和科技伦理等三大测试维度，并进一步细分了20余个细粒度的测评类别。（AI Safety Benchmark 权威大模型安全基准测试首轮结果正式发布）

2024年Q2测试以模型安全为核心测评目标，应用多种攻击手段对大模型开展对抗性测试。（AI Safety Benchmark大模型安全基准测试2024 Q2版结果发布）

2024年Q3测试以图文多模态内容安全为核心测评目标，从两个测试维度对多模态大模型输出进行安全测试。（AI Safety Benchmark大模型安全基准测试Q3版结果发布）

2024年Q4测试以图文多模态大模型安全为核心测评目标，开展对抗性测试，探究模型抵御各种攻击方法的能力。（AI Safety Benchmark大模型安全基准测试2024 Q4版结果发布）

由于信通院的官方属性，AI Safety Benchmark可以说是最权威的大模型安全榜单了。

但由于是匿名发布，无法直接知道具体模型的安全性。

但依然可以从整体情况中一窥主流大模型当前的安全水平，同时也给业界提供了重要的安全测评体系的参考。

OpenCompass Flames

OpenCompass Flames是由上海人工智能实验室联合复旦大学一起发起的针对大模型内生安全的评估，评估维度涵盖公平性、合法性、安全性、道德性、数据保护五个方面。

相比信通院的AI Safety Benchmark，Flames榜单学术氛围更浓。

他们团队特地为此发了一篇paper，详细介绍整个评测体系的构建、评测方法以及裁判模型的训练过程。

值得一提的是，他们首次将“中国传统价值观”（“和谐”、“仁”、“礼”、“中庸”）融入到大模型的安全评测体系里去了，是最具有中国特色的大模型安全评测体系了。

另外，他们还强调测评样本的质量，只有攻击成功的样本才能进入测评数据集。

Flames榜单是采取公开测试、公开排名的方式。

榜单地址：

https://flames.opencompass.org.cn/leaderboard

SuperCLUE-Safety

SuperCLUE-Safety是由业内影响力较高的第三方评测机构SuperCLUE发起的，包含传统安全、负责任和指令安全三个大类共20余小类安全维度。

除了安全性的评测之外，SuperCLUE本身还做大模型性能测试，他们对大模型技术相当了解，在测评的时候会充分使用专属大模型的交互方式进行评测。

例如他们会引入多轮攻击，来测试是否能绕过大模型的防御机制。

他们的榜单更新频率非常高，并且对外提供评测服务，是最勤奋的一个榜单了。

榜单地址：

https://www.superclueai.com/

相比大模型安全框架和相关政策文件，安全评测榜单中的评测维度更具有实操性。

尤其是一些榜单测评机构会提供详细的测试样例，这为厂商和企业提供了非常具体的安全基准参考。