打开一份被退回的《语料标注规则》,你大概率会看到这样的结构:
三、标注规则 3.1 标注维度:准确性、相关性、完整性、安全性 3.2 标注方法:人工标注为主 3.3 质量要求:准确率不低于95%
看着挺齐整,对吧?
问题就在这:把"安全性"当成一个标注维度,和"准确性"并列写在一行里。
评审看到这一行,会立刻产生一个疑问:安全风险是这么处理的吗?31 类风险逐条比对了吗?全量审核了吗?
一句话回答不了,就会被要求补充材料。
因为这两件事的目标、方法、标准,全都不一样。
维度 | 功能性标注 | 安全性标注 |
|---|---|---|
关注什么 | 内容好不好用 | 内容有没有毒 |
判什么 | 准确、相关、连贯、清晰、完整 | 31 类安全风险 |
怎么判 | 逐句判断、分类打标 | 逐条对照清单打标 |
抽检 | ≥10%(可做到50%) | 100% 全量人工核验 |
准确率 | ≥95% | 100% |
审核 | 抽检 + 交叉复核 | 每条至少两人确认 |
不达标 | 返工 + 二次抽样 | 整批作废并追责 |
看到最后三行了吗?
功能性标注可以抽检,安全性标注不能抽检。 这是两条完全不同的质量逻辑。
如果混在一起写"抽检10%、准确率95%",那安全性标注也只抽了10%——评审一定会问:为什么安全风险只抽检10%?
功能性标注关注"能不能用",通常拆成五个维度:
① 内容准确性:信息是否准确可靠,有无歧义或误导 ② 领域相关性:是否围绕模型应用领域(这一条必须换成你自己的领域) ③ 逻辑连贯性:段落间、句子间逻辑是否清晰 ④ 表达清晰性:有没有模糊、易误解的表述 ⑤ 内容完整性:回答是否围绕问题核心,有无回避或遗漏
写法上有个技巧:每个维度配一句"判据",而不是只给名词。
例:领域相关性——语料应围绕工业领域,包含与工业生产、技术、市场、政策相关的有效信息。判定为"无关"的,需说明理由。
判据写清楚,标注员才有统一口径,一致性指标才做得上去。
安全性标注不是"看一眼有没有问题",是一个固定流程:
第一步:风险识别 逐条对照附录A的 31 类风险。5 大类:违反社会主义核心价值观(8项)、歧视性内容(9项)、商业违法违规(5项)、侵犯他人合法权益(7项)、特定服务类型安全需求(2项)。
第二步:等级分类 高风险 / 中风险 / 低风险 / 无风险。
第三步:属性标签 打上具体类型:虚假信息、地域歧视、涉政言论……标签要能直接用于后续筛除或纠正性训练。
第四步:处理建议 删除 / 复核 / 修改。并且要写清:该批次发现违法不良信息的,整批作废并追责。
四步缺一步,这条数据就不算标注完成。这一点必须在文档里写死。

功能性标注:初审自查 → 交叉复核(抽检) → 记录留档 安全性标注:标注 → 初审 → 第二人独立复核 → 分歧交安全管理专员终审 → 全量留档
两层要求:
还有一个容易漏的细节:安全性标注数据要与功能性数据、业务数据物理隔离,权限最小化。
三、标注规则
3.1 功能性标注
3.1.1 标注维度与判据(五维)
3.1.2 标注方法与示例
3.1.3 质量指标(抽检≥10%,准确率≥95%)
3.2 安全性标注
3.2.1 风险清单(附录A,31类)
3.2.2 识别—分级—打标—处置 四步流程
3.2.3 质量指标(100%全量,合规率100%)
3.2.4 违规处置与批次作废规则
四、数据格式
4.1 功能性标注字段
4.2 安全性标注字段(独立字段集)
五、质量评估与审核
5.1 功能性:抽检 + 交叉复核
5.2 安全性:全量 + 双人确认 + 终审裁决注意最后一条:安全性标注要有独立的字段集。 风险等级、风险类型、起止位置、处理建议——这些字段功能性标注里没有,混用一套格式,追溯就断了。
分不分開写,本质上是回答一个问题:你有没有把"安全"当成一件独立的事在管。
当成一个维度,说明你只是顺手提了一句;当成一套流程,说明你真的在管。
需要这份功能性/安全性标注字段对照表,评论区回复「两套标准」。
功能性标注和安全性标注是两套完全不同的质量逻辑——抽检 vs 全量、95% vs 100%,混着写必然被追问,分开写才显专业。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。