大模型对话风险统计评估框架

你的大语言模型有多灾难性？——面向对话风险的统计认证框架

随着大语言模型在各领域的应用日益广泛，保障其安全性的重要性也随之提升。恶意行为者可能试图利用大语言模型编写恶意代码或生成合成有毒化合物的步骤指南，因此研究人员正在开发严格的安全防护措施，防止大语言模型生成可能构成严重公共安全风险的内容。

评估大语言模型风险最常见的方法是红队测试，即由人类评估者设计对抗性提示，旨在诱导模型生成有害响应。然而，专家精选的提示集无法覆盖所有可能的输出结果。此外，许多评估侧重于单一提示而非对话，而有害行为往往在对话中涌现。最后，当前的基准失败指标仅提供单一分数，而非对最坏情况对话风险的置信区间，这使得评估结果不可靠且无法泛化到广阔的对话空间。

C3LLM框架概述

在今年的国际学习表征会议（ICLR）上发表的论文中，与伊利诺伊大学厄巴纳-香槟分校的研究人员合作，通过关注对话威胁模型中的失败并为攻击率分配概率来解决红队测试的局限性。攻击率定义为成功攻击次数除以总攻击次数。提出的方法称为C3LLM（认证大语言模型中的灾难性对话风险）框架，将基准测试的重点从经验抽查转向统计认证。

该框架从查询集开始，构建一个图，其中边连接语义相似的查询。在此图上，将形式规范定义为查询序列上的概率分布。对每个采样序列查询大语言模型，使用评判模型确定响应是否有害，并聚合结果计算灾难性风险概率的统计认证界限。

对话建模方法

为了构建框架，首先需要对对话（即"多轮对话"）进行建模。使用图结构，其中每个节点对应一个提示，连接节点的边表示提示在语义上相关。该图近似了合理的对话转换，捕捉用户可能如何自然地推进相关问题。通过这种方式，生成更完整的查询图，保持可能对话的复杂性。

图结构还允许定义对话威胁的分布，从而确定跨一系列对抗能力的危害概率。通过独立采样提示来模拟最低水平的对抗能力，类似于传统基准测试，每次关注单个节点或查询。这种方法表示为带越狱的随机节点。

下一级涉及通过图中语义连接的路径采样序列。开发了两种变体：第一种称为图路径标准版，每个查询按图结构采样；第二种方法——图路径有害目标约束版，限制最终查询来自目标有害集合。对于最高水平的恶意行为者能力，近似对抗性引导，即恶意行为者诱导大语言模型产生有害输出。为此，自适应采样，检查基于图的对话中的先前移动，以映射到最终产生有害输出的查询的距离。这种方法——带拒绝的自适应版，可以模拟真实的红队测试，攻击者调整其措辞以规避安全机制。

图提供了创建多轮对话提示集（特定查询序列）的能力，可以在目标大语言模型上运行。然后使用独立的基于ChatGPT的评判机制标记大语言模型的响应为灾难性或非灾难性，判断模型响应是否有害。这产生了每个对话分布下攻击成功率的经验估计。给定攻击成功率，C3LLM使用Clopper-Pearson方法计算灾难性风险概率的下界和上界。

前沿大模型上的应用结果

伊利诺伊大学香槟分校的研究人员将提出的C3LLM框架应用于研究时可用的前沿专有模型，如Claude-Sonnet-4和Nova Premier，以及开放权重模型。结果显示所有前沿大语言模型的灾难性风险均不可忽视，模型间的安全性存在显著差异。通过比较界限观察到，在评估的模型中，Claude-Sonnet-4和Nova Premier比其他模型更安全，而Mistral-Large和DeepSeek-R1表现出更高的风险。特别是，Nova Premier始终表现出低风险水平，主要因为其内置防护机制经常阻止潜在不安全内容。另一方面，DeepSeek-R1在网络犯罪场景下，在带越狱的随机节点分布中认证下界超过70%。

与先前在固定基准上报告攻击成功率的工作不同，该方法在大型对话空间上提供高置信度的概率界限，实现了模型间有意义的比较。C3LLM框架已开源，希望使学术界和工业界的研究人员能够进行更规范的安全研究。FINISHED