首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >大模型测试题与拒答题库怎么建:大模型安全评估报告里拦截关键词列表、语料标注规则的填报要点

大模型测试题与拒答题库怎么建:大模型安全评估报告里拦截关键词列表、语料标注规则的填报要点

原创
作者头像
用户12910040
发布于 2026-11-19 15:05:06
发布于 2026-11-19 15:05:06
240
举报

2026年11月9日,国家网信办"互联网新技术新应用信息服务备案系统"上线,生成式AI、算法、深度合成、区块链四类备案统一到 beian.cac.gov.cn 填报,原"互联网信息服务算法备案系统"同日停止使用。系统换了一茬,材料标准没有降:大模型备案的5份附件里,有3份是"数量+覆盖"双硬指标——大模型测试题不少于2000道、拒答题库不少于500道、拦截关键词列表不少于10000个,语料标注规则还要覆盖TC260-003附录A的全部31种安全风险。这篇按字段拆这三份材料怎么写、审核方到底看什么、哪几处最容易被打回。

大模型备案材料链与附件结构示意
大模型备案材料链与附件结构示意

一、先定位:这几份材料在材料链里的位置

生成式人工智能服务备案(业内习惯叫大模型备案)走属地省级网信办线下提交,标准配置是1张备案表加5份附件:

  1. 安全评估报告:依据TC260-003第8条撰写,篇幅通常30页起,部分地区要求60页以上;
  2. 模型服务协议:至少覆盖备案表"服务与安全规范—服务"第1至6点,可以是用户协议或隐私政策;
  3. 语料标注规则、拦截关键词列表、评估测试题集:后三项是本文的拆解对象,测试题集只需提供两级标签和问题,不附答案。

可选附件包括分类模型研制情况、开源模型授权协议、商用模型与语料合作协议,属于加分项。

这里有个高频混淆点:本文讨论的是《大模型安全评估报告》,不是算法备案里的《算法安全自评估报告》。两份文件名字像、用途完全不同:前者按语料安全、模型安全、安全措施、数据安全与隐私四个维度逐条对标,每条给出"符合/不符合/不适用"的结论和证据;后者服务于《互联网信息服务算法推荐管理规定》第二十四条,重点写算法机制机理、数据与干预策略。两份不能互相顶替,拿错文件是最容易被直接退件的一类错误。

二、大模型测试题:三类题库、两级标签、一个判定口径

(一)数量与配比

TC260-003第9.3、9.4条把三类题库的规模写死了:

  • 生成内容测试题不少于2000题,完整覆盖附录A的31种安全风险,其中A.1、A.2涉及的每一类不少于50题,其他每一类不少于20题;
  • 应拒答测试题不少于500题,覆盖A.1、A.2共17种风险,每一种不少于20题;
  • 非拒答测试题不少于500题,覆盖我国制度、信仰、形象、文化、习俗、民族、地理、历史、英烈等方面,以及个人的性别、年龄、职业、健康等方面,每一类不少于20题。

(二)出题的四步法

  1. 拆风险。一级标签直接用附录A的5大类31种,二级标签按业务场景自建,比如"违反社会主义核心价值观"下再分历史事件表述、领导人称谓、地图边界。
  2. 定场景。每道题挂一条真实可能的输入路径:直接提问、多轮追问、角色扮演、条件诱导、图文混合。
  3. 写用例。一题一意图,不要把三类风险塞进同一道题,否则判定结果没法归因,也就算不出分类通过率。
  4. 定判定。先说清楚"什么算通过"。生成内容测试题看有没有出现违规内容,拒答题看有没有明确拒绝并给出引导。

(三)三个常见失分点

  • 覆盖够了、配比不够。总数2000题达标,但A.1某一类只有十几道,逐类统计表一拉就露。
  • 二级标签自建却不给映射。审核方看不出标签怎么对应附录A,等于没覆盖。
  • 只有题面没有问题域。抽检抽到同一场景的重复题,会被判定题库质量不足。

一句话:大模型评估测试题的价值不在数量堆到多高,而在2000道题的覆盖率、标签映射和判定口径能不能对齐。与其硬堆到5000道,不如先把这三件事做扎实。

三、拒答题库:把"拒答"定义清楚,比多写100道题有用

拒答能力是技术测试的必查项。监管口径上,敏感问题拒答率不低于95%,抽检合格率一般不低于90%,各地网信部门执行时可能略有出入,以属地要求为准。

工程上最常见的坑,是"拒答"这件事本身没有定义。下面几种回答算不算拒答?

  • "这个问题我不能回答。"→算;
  • "抱歉,我不了解这方面的信息。"→通常算,因为没有输出实质内容;
  • "根据相关规定我不能提供,建议你通过XX渠道咨询。"→算,而且是更优的形态;
  • 先铺垫三百字背景再绕开→大概率不算,容易被评为"隐性输出"。

建议在拒答题库里给每道题写三列:题面、期望行为(明确拒答/拒答并引导)、不合格表现(部分回答、答非所问、换个说法绕开)。第三列最容易被忽略,但它是审核方判断你"知不知道边界在哪"的直接依据。如果安全评估测试题里期望行为一栏是空的,这套题库在评审眼里就只是收集来的问题清单,不是测试方案。

非拒答题同样不能省。这类题的失败模式正好相反:模型过度拒答,把正常问题也挡了。500道应拒答配500道非拒答的设计,本身就是用来卡住这个平衡的。

四、拦截关键词列表:1万是底线,配比和维护才是分数

按TC260-003第9章的要求,关键词库要满足三点:

  • 总规模不少于10000个;
  • 至少覆盖附录A.1、A.2共17种安全风险;
  • A.1中每一种风险的关键词不少于200个,A.2中每一种不少于100个。

扬州发改委公开的备案指引补了实现细节:列表按一级标签加二级标签分类,第一部分每项不少于200个、第二部分每项不少于100个,总量不少于1万个。北京等一线城市在实际受理中会要求高得多的规模(业内常见说法是20万至50万词量级),不要拿"全国1万"的口径去套属地要求。

比初始规模更容易被追问的是维护机制,建议在材料里单列一节写清五件事:

  1. 来源:公开词表、行业共享、用户举报回流、模型越狱尝试沉淀;
  2. 去重与合并规则:同义词归并、繁简统一、大小写与全半角归一;
  3. 变体扩充:拼音、谐音、拆字、插入符号、英文缩写、emoji 替代;
  4. 生效链路:命中后是硬拦截、降级回答还是转人工,各自适用什么场景;
  5. 更新频率与留痕:多数通过案例写的是每周至少更新一次,附更新记录表。

术语上顺带区分一下:备案材料里叫"拦截关键词列表",工程侧口语叫"敏感词库",两者是同一套东西的两面——前者是给审核看的静态清单,后者是线上跑的动态配置。写备案材料用前者,写系统设计文档用后者,一份文件里混着叫会显得不严谨。

题库与关键词库的分层过滤结构示意
题库与关键词库的分层过滤结构示意

五、语料标注规则:8个模块,两个数字决定成败

TC260-003第5.3条给了骨架,实际过审的材料普遍扩成8个模块:适用范围、标注组织与人员管理、标注规则(功能性+安全性)、标注方式、数据格式、质量评估、审核机制、数据标注合法性,最后附附录A的31种风险清单。

两个数字最关键:

  • 功能性标注:抽检比例不少于10%,准确率不低于95%;
  • 安全性标注:100%全量人工核验,合规率100%,每条至少经一名审核人员审核通过。

"全篇都写抽检10%"是典型错误。安全性标注只抽检,等于在材料上承认违法不良信息可能被漏标进训练集。

人员部分要写到可核查的颗粒度:培训内容与周期、考核方式(笔试加实操)、上岗资格授予、定期复训、不合格如何暂停或取消资格。岗位至少划分数据标注和数据审核两类,同一标注任务下同一人不得承担多项职能,这是TC260-003第5.3条a款的明确要求。

数据格式不要只写"以JSON格式存储",要把字段列出来。功能性标注至少包含原始文本、主题分类标签、质量评估标记、修改后文本、标注人员、标注时间;安全性标注在此基础上增加风险等级(高/中/低/无)、风险属性标签、风险内容起止位置、处置建议。字段不全,追溯链就断了,评审很难相信这套流程真实跑过。

六、提交前的自查清单

  1. 安全评估报告是否逐条对标TC260-003第8条,每条都有结论和证据?
  2. 三类题库是否分别达标(2000/500/500),A.1、A.2逐类数量够不够?
  3. 二级标签是否附了到附录A的映射表?
  4. 拦截关键词列表是否给了分类统计表(每类实际条数)和更新记录?
  5. 语料标注规则里,安全性标注是否写明全量核验、双人复核、争议终审?
  6. 模型服务协议是否覆盖数据存储期限、注销后删除时限、投诉渠道数量与回复时限?
  7. 如基于第三方基础模型提供服务,是否使用了已备案模型并附授权或合作文件?

七、时间节点与一点判断

大模型备案是两级审核,材料齐全的情况下周期普遍在6至8个月;调用已备案模型能力的应用走登记,省级单级审核,一般1至3个月。截至2026年8月31日,全国累计1112款生成式人工智能服务完成备案、731款应用或功能完成登记(国家网信办2026年9月14日公布口径);北京市截至2026年10月28日累计325款完成备案。

数字不用背,但趋势值得看:备案规模在扩,材料颗粒度也在往上走,模板化的报告已很难过审。AIGC合规做到最后不是堆文件,而是把题库、词库、标注规则这三套东西真正接进研发流程——它们本来就该是模型迭代的一部分,不是为了备案临时攒出来的。

以上口径均来自公开文件与官方发布。具体数量、格式与时限以属地省级网信办最新要求、国家网信办最新公告为准。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档