首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >语料标注规则:第二份不该是第一份的副本

语料标注规则:第二份不该是第一份的副本

原创
作者头像
AI备案指南当当
发布于 2026-11-16 09:11:08
发布于 2026-11-16 09:11:08
200
举报

本文讨论语料标注规则在多产品、多模态、多团队场景下的复用与分叉。视角是"从一个变成两个、再变成三个"时该怎么组织,不涉及具体项目判断。文首说明:本文不含产品推广,不构成法律意见;具体要求以属地网信部门口径为准。


0 先说结论

第一条产品线的规则写完了,第二条产品线要上线。

这时候最常见的做法是复制一份,改改名字。理由是省事:判定逻辑差不多,语料来源也类似,为什么要重写。

这个做法在头两个月看不出问题,到第三个月开始出问题。

结论:第二份规则的成本不在写,在"两份之间怎么保持一致"。复制省下的是一次起草的时间,换来的是此后每次变更都要还的债。

四个判断:

判断一:复制会产生"无声漂移"。 两份各自被修改,改的时候没有人做对照,而分歧一旦产生,两份都不会发现——因为没有任何机制在比对它们。

判断二:能不能共享,看判定对象,不看业务相似度。 两个业务都叫"智能客服",但一个判的是回复文本、另一个判的是语音转写后的文本,判定对象不同,规则就不能直接共用。

判断三:共享部分必须单一来源,产品部分必须独立成节。 混在一起写"通用部分+本产品特殊说明",最后一定是通用部分先腐坏。

判断四:第三个产品是分水岭。 两个产品可以靠人工同步,三个就必须有合并机制;否则版本数会按组合增长。


1 第二份规则的三种常见起点

第二条产品线启动时,团队手上的东西通常属于以下三种之一。三种的处置完全不同,混着做会出错。

起点

表现

常见误区

直接复制第一份

文件名改一下,内容基本不动

以为省事,实际埋下漂移

从零重写

按第一条的经验重新写一遍

重复劳动,且两套判据天生不一致

找一份行业模板

拿外部通用模板套用

与第一条完全脱钩,无法对照

三种里,"从零重写"看起来最认真,实际代价最高。因为两套独立写出来的规则,即使出发点相同,措辞和边界处理也必然有差异——而这些差异在没人对照的情况下,会被当成"两个产品本来就不同"。

正确做法是第四种:先做分叉判断,再决定哪些继承、哪些新写。


2 复制之后会发生什么

不是立刻出问题,而是按三个阶段。

2.1 第一阶段:看不出差别

复制后的头一两个月,两份内容几乎一致。这时候任何人看都不会觉得有问题。

2.2 第二阶段:各自被改

触发因素很具体,通常不是"想改",而是被动的:

  • 第二条产品线被追问一个边界情形,补了一条;
  • 第一条产品线换了模态,改了一节;
  • 两条线的审核人不同,对某条的理解不一致,各自按自己的理解调整了措辞。

这些改动单独看都是合理的。问题在于改的时候没有人对照另一份。

2.3 第三阶段:无法说清哪个对

半年后,两份规则对同一情形的判定已经不同。此时会出现一个棘手的问题:

被问到"这类内容你们怎么判"时,答案取决于问的是哪个产品线。

更麻烦的是,没人能说清哪个是对的——因为两次改动当时都有理由,而理由没有被记录在一起。

2.4 漂移的三种形态

形态

表现

发现难度

措辞漂移

说的是同一件事,用词不同

容易,对照即可发现

边界漂移

同一条判定标准,边界宽窄不同

中等,需要拿同一批样本试判

判据漂移

一条用可枚举、另一条用可比较

最难,读起来都合理

第三种最危险。因为它不是"其中一个错了",而是两个用了不同的判法,各自都自洽,但结论无法互相印证。


3 判断哪些能共享

共享的前提不是"业务像不像",是判定对象是否相同。

3.1 判定对象是什么

判定对象="你要判的那个最小的东西",由三个要素确定:

要素

举例 A

举例 B

任务类型

对话回复

摘要生成

模态

文本

语音转写后文本

判定单位

整条回复

摘要中的单句

三者完全相同,判定逻辑才可能共用。任何一个不同,就需要重新确认判据。

3.2 相似但不同的三种情形

这三种在实践中最容易被误判为"可以共用":

情形一:同模态、不同任务类型。 都是文本,一个判对话回复、一个判文案生成。看起来一样,但对话回复要考虑上下文承接,文案生成不考虑。判定单位相同,判定标准不同。

情形二:同任务类型、不同输入形态。 都是"判断回复是否含应拒答内容",一个输入是用户打字,一个输入是语音转写。转写有识别错误,会引入原文没有的表述——此时"是否含某类表述"的判定必须考虑转写不确定性,不能照搬。

情形三:同判定对象、不同业务场景。 这一种可以共用。比如两个产品都是对话回复、都是文本、都以整条为单位判——业务不同但判定对象相同,判定逻辑可以共享,只有"业务相关的那几条"(比如领域特定表述)需要独立。

3.3 一个可用的判断流程

三步,每步一个问题:

第一步:判定对象的三要素是否完全一致? 不一致,不进共享池,单独写。

第二步:判定标准属于哪类判据? 两类如果一致(都是可枚举或都是可比较),可以共享;不一致,说明判定逻辑本身不同,不能共享。

第三步:边界情形的处理是否一致? 这是最实际的检验——拿十条边界样本,两条产品线各自判一遍,看结论是否相同。不同,说明共享会带来分歧。

第三步是最有效的一步,因为它不靠讨论,靠试判。


4 三种扩展形态

"第二个"不一定是第二个产品。扩展有三种形态,各自的难点不同。

4.1 同产品、新模态

表现:原产品只处理文本,现在加了图片理解。

最容易犯的错:把文本规则套上去,改几个名词。

为什么不行:判定对象和判定单位都变了。文本的边界是句子或段落,图片的边界是像素区域或对象框;文本可以引用上下文,图片要考虑遮挡和分辨率。

正确做法:该模态独立成节,先定义"什么是这个模态的一个完整样本",再定判定标准。不要写成"参照文本规则,但……"——这种写法在实操中会让标注员反复回看文本部分找对应关系。

4.2 新产品、同模态

表现:第一个是园区营销文案生成,第二个是智能客服。

判断要点:判定对象是否相同(见第 3 节)。相同则共享判定内核,不同则各自独立。

最容易犯的错:因为"都是文本生成"就直接共用。

正确做法:共享"内容安全类"的判定(这部分通常真的通用),独立"业务正确性类"的判定(这部分一定不同)。功能性判定几乎不能共享,安全性判定大部分可以共享——这一条可以作为一个粗略的经验法则。

4.3 新团队、同业务

表现:同一业务由不同团队执行,比如自营团队与外包团队。

最容易犯的错:给外包团队一份"简化版"。

为什么不行:简化版意味着两套判据,而分歧必然出现在边缘情形上——恰恰是外包最容易出错的地方。而且一旦出现判定争议,双方会各自依据自己那版,争执无法收敛。

正确做法:同一份规则,不同的人员约束。规则本身不简化,但可以调整人员配置与复核密度(比如外包批次抽检比例更高)。规则是判据,人员配置是保障措施,两者的性质不同,不能互相替代。


5 内核放什么,产品放什么

"抽出共享内核"这句话说起来简单,做起来最容易走偏——因为没有人告诉你边界在哪。

5.1 四类内容,两类进内核

内容

进内核

理由

术语定义

是

同词同义是跨产品对照的前提,各产品自定必然错位

安全性判定的主体

是

这类判定与业务无关,只与内容性质有关

功能性判定(业务正确性)

否

业务不同则"正确"的定义不同,无法共享

人员、权限、留痕要求

是

属于组织约束,不随产品变化

一句话概括:与"内容性质"有关的多半能共享,与"业务目的"有关的不能共享。

5.2 一条容易被错放的:领域词表

领域特定表述(比如某行业的专有名词、竞品名、地方俗称)通常被放进内核,理由是"所有产品都要用"。

实际不该进。原因有两点:一是各产品涉及的领域不同,放进内核会让内核随产品增加而无限膨胀;二是领域词表的错误影响面更集中,独立维护更容易追责到人。

正确做法是内核里只定义"词表的使用规则"(什么情况下查表、查不到怎么办),词表本身各产品自持。

5.3 内核的篇幅该多大

一个可用的经验判断:内核不应超过任一产品规则的三成。

超过三成,通常说明把产品特有的判定误当成了通用判定。此时核心里会出现大量"如产品有特殊要求,按本产品规定执行"这类豁免句——而豁免句一多,内核就从"统一判据"退化成了"统一目录"。

反过来,如果内核不到一成,说明其实没抽出来,只是把术语定义挪了个位置。

5.4 分叉判断该在什么时候做

这是本文最容易被忽略的一条时间纪律:分叉判断属于立项决策,不属于文档工作。

它应当发生在第二条产品线立项时,由产品和合规一起回答一个问题:"这条线的判定对象和第一条是否相同?"

等到规则起草时再判断,成本会高很多——因为那时产品形态已经定了,而团队已经在心里默认"照第一份改改"。默认值一旦形成,纠正它需要的不是分析,是争论。


6 变更时的影响面怎么算

复用的真正成本在这里。每改一条,要知道它会波及哪些地方。

5.1 影响面的四层

层

需要确认什么

同一产品的其他节

是否被这条引用、是否与这条冲突

其他产品的共享节

那条产品是否依赖同一判据

下游材料

评估报告、词库、题集中是否有对应表述

已判数据

已按旧版判定的数据,在新版下是否仍成立

第四层最常被漏。规则改了之后,之前按旧版判过的数据要不要重判?多数情况不必,但必须能说清"它们按哪一版判的"。

5.2 一张最小的影响面表

不需要复杂系统,一张表就够:

条款号

适用产品

被哪些文件引用

关联条款

上次修改

影响批次起

S-03

产品A、产品B

评估报告 3.2、词库说明

S-07、F-11

2026-11

2026-11-01 起

这张表的价值不在记录,在填的时候会发现问题:某条只适用一个产品却被写进了共享节;某条被三个文件引用但只改了一处。

5.3 变更通知的对象

只通知"改了什么"是不够的。需要通知的是三类人,各自关心不同的东西:

  • 执行者:判定行为有变化的那些条款——只需告诉"哪几条变了、变在哪",不需要全文;
  • 下游:记录字段或统计口径有变化的——这决定他们能不能继续用旧口径做汇总;
  • 责任方:涉及跨产品的共享条款——他们要知道自己产品受影响。

三类通知内容不同,混发一份全文,等于没通知。


7 第三个是分水岭

两个和三个,管理方式必须切换。

6.1 为什么两个还能撑

两个产品时,保持一致的机制是"人工对照"。改一份,顺手看一眼另一份。这种方式成本低,且确实有效——因为只需要比对一次。

6.2 三个之后为什么不行

三份规则,两两组合有三对。四份是六对。比对的工作量按组合增长,不按数量增长。

这时会出现一种典型状态:每个人都知道"应该保持一致",但没有人真的在比对。 于是分歧开始积累,而积累的过程无人察觉。

6.3 切换的三个动作

动作一:抽出共享内核。 把真正通用的部分(通常是安全性判定的主体、术语定义、人员与留痕要求)独立成一份,其余各产品只写差异。

动作二:建立唯一来源。 共享内核只有一个位置,各产品文档只做引用,不复制内容。复制是漂移的起点。

动作三:改动走一次合并。 任何涉及共享内核的修改,先改内核,再逐个确认各产品的适用性。顺序不能反——反过来做,各产品会先各自改,再想办法合并,而合并比统一改难得多。

6.4 一个判断信号

判断是否已经到了必须切换的时候,看一个问题:

如果现在有新产品要上线,我们是复制哪一份?

答不出"复制哪一份",说明各份已经在分叉,该抽内核了。


8 六种复用失效

形态

表现

后果

副本管理

各产品各一份,互不参照

无声漂移,无法说清哪个对

假共享

写"通用部分见第一份",实际两份都在改

引用失效,看的人不知道以哪份为准

简化版

给外包或小产品一份删减版

边缘情形判据缺失,争议无法收敛

模态照搬

新模态套用旧模态条款,改名词

判定单位错位,实操卡在"这段算不算"

变更单点

改了一处,其他引用处未同步

材料之间对不上

无影响面

改完就发,不问波及

已判数据、下游口径出现断层

六种里,"假共享"最隐蔽。因为它形式上做对了——确实写了"见某份文件",但那份文件也在被修改,而引用处没有任何版本标记。半年后追查"当时按哪一版判的",链条就断了。


9 核验清单

22 项,四组。用于判断复用是否已经失控。

A 结构是否成立(6)

  • [ ] 判定对象相同的部分已识别为共享内核
  • [ ] 共享内核只有一份,其他文档只引用不复写
  • [ ] 各产品的特有部分独立成节,不与通用部分混写
  • [ ] 引用处标注了所引用的版本
  • [ ] 每个产品能说清自己适用哪一版内核
  • [ ] 新增产品时,能明确说出"继承哪一份、新增哪些"

B 分叉是否被控制(5)

  • [ ] 同一条判定标准在各产品中的表述一致
  • [ ] 边界情形已用同一批样本试判过,结论一致
  • [ ] 判据类型(可枚举/可计量/可比较)在各产品中一致
  • [ ] 措辞差异已确认是同义,而非实质不同
  • [ ] 不存在"两份都在改、无人对照"的状态

C 变更是否闭环(6)

  • [ ] 影响面表已建立,含条款号、适用产品、被引用处
  • [ ] 改共享内核时,先改内核再确认各产品
  • [ ] 所有引用处已同步或已标记待更新
  • [ ] 下游材料(评估报告、词库、题集)中的对应表述已核对
  • [ ] 已判定数据标注了适用版本
  • [ ] 三类通知(执行者/下游/责任方)分别发出

D 分工是否清楚(5)

  • [ ] 共享内核有明确的责任人
  • [ ] 各产品文档有各自的维护人
  • [ ] 两人之间的变更同步方式已约定(频率或触发)
  • [ ] 外包团队使用同一份规则,未另发简化版
  • [ ] 复核密度可按团队调整,但判据不可调整

10 FAQ

问:两个产品差异很大,还有必要抽共享内核吗? 答:先看判定对象。如果连任务类型和判定单位都不同,共享价值很低,此时"各自独立 + 定期对照"比"强行抽内核"更实际。判断标志是:能不能写出三条以上真正通用、且各产品都照此执行的条款。写不出来,就不必抽。

问:共享内核要不要单独提交给审核方? 答:通常不单独提交。提交的是各产品的规则,内核是内部组织方式。但要注意一件事:如果内核里有条款被各产品引用,各产品的规则里必须能直接读到它,不能只写"见内核"——外部读者看不到你的内核。

所以实践中常见做法是:内核用于内部统一维护,提交时各产品文档包含完整内容(由内核生成),而不是引用。

问:一个产品和两个产品的规则,篇幅差多少合适? 答:第二个产品的特有部分,通常只有第一个产品的三到五成。如果接近或超过,说明两个产品差异确实大,应当独立写而非硬套共享结构。

问:老产品已经有两份漂移的规则,怎么收敛? 答:不要试图"合并成一个"——合并会引发大量讨论,且很难定论。更实际的做法是三步:先用同一批样本试判,找出实际判定不一致的条款(这一步会筛掉大部分"看起来不同但实际一致"的表述差异);只对真正不一致的条款定一个标准;其余保持原样,但标注为"表述差异、判定一致"。

问:第三个产品上线在即,来不及抽内核怎么办? 答:先做一件事就够:给三份规则各加一份"条款索引",把每条的编号、适用对象、判据类型列出来。三份索引并排看,共识和分歧一眼可见。这半天的投入,比事后收敛便宜得多。

问:这套做法和前面讲的"规则维护"是什么关系? 答:维护解决的是"一份规则随时间腐坏",复用解决的是"多份规则之间分叉"。两者的机制不同:维护靠触发式修订,复用靠单一来源与影响面管理。一个团队同时面对这两个问题,通常是因为产品线扩张快于规则治理。


11 结语

从一个变成两个,最省事的做法是复制;最省事的做法,往往也是代价最高的做法。

判断这件事做得好不好,不必看有几份文件,看一个问题:

现在要改一条通用判定,需要动几处?

只有一处(内核),说明结构是对的;需要动三四处且要逐个通知,说明还在用人工对照硬撑;动了一处但不确定其他地方有没有受影响,说明影响面从来没算过。

第二份规则的价值,不在于它和第一份一样,而在于它知道自己和第一份哪里一样、哪里不一样。


附:主要依据

  • 《生成式人工智能服务管理暂行办法》——语料来源、标注规范、人员管理与安全评估的规范来源。
  • 《互联网信息服务深度合成管理规定》——训练数据与内容管理要求。
  • GB/T 45674—2025《网络安全技术 生成式人工智能数据标注安全规范》,2025-04-25 发布、2025-11-01 实施——标注规则、人员管理、质量评估与隔离要求的直接依据;附录中的标注示例与任务类型属资料性内容。
  • GB/T 45652—2025《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》——语料来源、内容安全与授权的前置要求。
  • GB/T 45654—2025《生成式人工智能服务安全基本要求》——服务侧整体要求,附录对语料安全给出量化参照(属资料性附录)。

说明:文中未引用具体条款号,以避免因标准版本差异造成误引;量化值多以"宜"表述的属推荐性要求。实际填报与内部制度建设,请以正式标准文本及属地网信部门口径为准。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 0 先说结论
  • 1 第二份规则的三种常见起点
  • 2 复制之后会发生什么
    • 2.1 第一阶段:看不出差别
    • 2.2 第二阶段:各自被改
    • 2.3 第三阶段:无法说清哪个对
    • 2.4 漂移的三种形态
  • 3 判断哪些能共享
    • 3.1 判定对象是什么
    • 3.2 相似但不同的三种情形
    • 3.3 一个可用的判断流程
  • 4 三种扩展形态
    • 4.1 同产品、新模态
    • 4.2 新产品、同模态
    • 4.3 新团队、同业务
  • 5 内核放什么,产品放什么
    • 5.1 四类内容,两类进内核
    • 5.2 一条容易被错放的:领域词表
    • 5.3 内核的篇幅该多大
    • 5.4 分叉判断该在什么时候做
  • 6 变更时的影响面怎么算
    • 5.1 影响面的四层
    • 5.2 一张最小的影响面表
    • 5.3 变更通知的对象
  • 7 第三个是分水岭
    • 6.1 为什么两个还能撑
    • 6.2 三个之后为什么不行
    • 6.3 切换的三个动作
    • 6.4 一个判断信号
  • 8 六种复用失效
  • 9 核验清单
  • 10 FAQ
  • 11 结语
  • 附:主要依据
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档