首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >语料标注规则:功能性和安全性标注,千万别混着写

语料标注规则:功能性和安全性标注,千万别混着写

原创
作者头像
菜菜 黑糖
发布于 2026-11-13 17:10:24
发布于 2026-11-13 17:10:24
280
举报

打开一份被退回的《语料标注规则》,你大概率会看到这样的结构:

三、标注规则  3.1 标注维度:准确性、相关性、完整性、安全性  3.2 标注方法:人工标注为主  3.3 质量要求:准确率不低于95%

看着挺齐整,对吧?

问题就在这:把"安全性"当成一个标注维度,和"准确性"并列写在一行里。

评审看到这一行,会立刻产生一个疑问:安全风险是这么处理的吗?31 类风险逐条比对了吗?全量审核了吗?

一句话回答不了,就会被要求补充材料。


一、为什么必须分开写

因为这两件事的目标、方法、标准,全都不一样。

维度

功能性标注

安全性标注

关注什么

内容好不好用

内容有没有毒

判什么

准确、相关、连贯、清晰、完整

31 类安全风险

怎么判

逐句判断、分类打标

逐条对照清单打标

抽检

≥10%(可做到50%)

100% 全量人工核验

准确率

≥95%

100%

审核

抽检 + 交叉复核

每条至少两人确认

不达标

返工 + 二次抽样

整批作废并追责

看到最后三行了吗?

功能性标注可以抽检,安全性标注不能抽检。 这是两条完全不同的质量逻辑。

如果混在一起写"抽检10%、准确率95%",那安全性标注也只抽了10%——评审一定会问:为什么安全风险只抽检10%?


二、功能性标注:五个维度,写清判断标准

功能性标注关注"能不能用",通常拆成五个维度:

① 内容准确性:信息是否准确可靠,有无歧义或误导 ② 领域相关性:是否围绕模型应用领域(这一条必须换成你自己的领域) ③ 逻辑连贯性:段落间、句子间逻辑是否清晰 ④ 表达清晰性:有没有模糊、易误解的表述 ⑤ 内容完整性:回答是否围绕问题核心,有无回避或遗漏

写法上有个技巧:每个维度配一句"判据",而不是只给名词。

例:领域相关性——语料应围绕工业领域,包含与工业生产、技术、市场、政策相关的有效信息。判定为"无关"的,需说明理由。

判据写清楚,标注员才有统一口径,一致性指标才做得上去。


三、安全性标注:四步走完才算标完

安全性标注不是"看一眼有没有问题",是一个固定流程:

第一步:风险识别 逐条对照附录A的 31 类风险。5 大类:违反社会主义核心价值观(8项)、歧视性内容(9项)、商业违法违规(5项)、侵犯他人合法权益(7项)、特定服务类型安全需求(2项)。

第二步:等级分类 高风险 / 中风险 / 低风险 / 无风险。

第三步:属性标签 打上具体类型:虚假信息、地域歧视、涉政言论……标签要能直接用于后续筛除或纠正性训练。

第四步:处理建议 删除 / 复核 / 修改。并且要写清:该批次发现违法不良信息的,整批作废并追责。

四步缺一步,这条数据就不算标注完成。这一点必须在文档里写死。


四、分开写之后,审核链也要分开

功能性标注:初审自查 → 交叉复核(抽检) → 记录留档 安全性标注:标注 → 初审 → 第二人独立复核 → 分歧交安全管理专员终审 → 全量留档

两层要求:

  1. 标注员不得审核自己的数据(这条几乎所有过审材料都写了)
  2. 安全性标注每条至少两人确认,意见不一致时要有裁决人和裁决记录

还有一个容易漏的细节:安全性标注数据要与功能性数据、业务数据物理隔离,权限最小化。


五、一份可以照着改的目录

代码语言:javascript
复制
三、标注规则
  3.1 功能性标注
      3.1.1 标注维度与判据(五维)
      3.1.2 标注方法与示例
      3.1.3 质量指标(抽检≥10%,准确率≥95%)
  3.2 安全性标注
      3.2.1 风险清单(附录A,31类)
      3.2.2 识别—分级—打标—处置 四步流程
      3.2.3 质量指标(100%全量,合规率100%)
      3.2.4 违规处置与批次作废规则
四、数据格式
  4.1 功能性标注字段
  4.2 安全性标注字段(独立字段集)
五、质量评估与审核
  5.1 功能性:抽检 + 交叉复核
  5.2 安全性:全量 + 双人确认 + 终审裁决

注意最后一条:安全性标注要有独立的字段集。 风险等级、风险类型、起止位置、处理建议——这些字段功能性标注里没有,混用一套格式,追溯就断了。


分不分開写,本质上是回答一个问题:你有没有把"安全"当成一件独立的事在管。

当成一个维度,说明你只是顺手提了一句;当成一套流程,说明你真的在管。

需要这份功能性/安全性标注字段对照表,评论区回复「两套标准」。


功能性标注和安全性标注是两套完全不同的质量逻辑——抽检 vs 全量、95% vs 100%,混着写必然被追问,分开写才显专业。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、为什么必须分开写
  • 二、功能性标注:五个维度,写清判断标准
  • 三、安全性标注:四步走完才算标完
  • 四、分开写之后,审核链也要分开
  • 五、一份可以照着改的目录
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档