人工智能无法胜任的“脏活”——商业性内容审核

当人工智能将取代人类工作的威胁论甚嚣尘上之际，有一种长期被遮蔽的工作目前却只有人类能胜任——商业性内容审核员。审核员之所以隐秘，是因为商业互联网从诞生之际就在打造一种自由幻象：用户可以直接上传内容到平台，并抵达所有人。标榜自由的互联网巨头们当然不愿意让用户觉察这一点。人工智能目前无法胜任，是因为这项工作灵活性极高，评估一条内容是否符合发布标准需要综合文化、宗教等各种因素考虑。

今年初，美国《时代》杂志发布了一项调查报道，这篇报道揭示了ChatGPT开发过程中，其开发者OpenAI（美国人工智能研究公司）动用第三世界国家的劳动力进行人工内容审核的一段隐秘往事。根据这篇报道，在ChatGPT的前身GPT-3的开发过程中，调用了互联网上数千亿单词的语料，但由于这些语料中存着大量的恶意、不良内容，使得GPT-3经常会输出暴力、性别歧视和种族主义言论。为了调试出可以大范围推广的人工智能，OpenAI需要额外训练一个能够识别有害内容的人工智能模型，并将其内置到ChatGPT之中，以便在这些不良内容到达用户之前将其过滤掉，并从人工智能的训练数据中把有害文本集中清除。

为了获得构建这个人工智能模型所需要的包含有害内容的标注数据，OpenAI以每小时不到2美元的价格，外包了一批肯尼亚劳工来进行数据标注的工作。这些标注员每天的工作就是从OpenAI发来的大量文本中，标注出包含性、暴力与仇恨言论的内容，他们每天工作9个小时，需要阅读并标注150到250段文字。而这些文字中的大部分内容都极其恶毒、黑暗，详细描述了性虐待、暴力、酷刑、谋杀、乱伦等情节。在标注这些数据的工作过程中，很多标注员都遭受了极大的心理创伤。

2010到2018年，美国加州大学洛杉矶分校教育与信息研究院助理教授莎拉·罗伯茨（Sarah T. Roberts）对互联网商业内容审核员（commercial content moderation）群体进行了长达八年的田野调查，并将自己的研究结果写成《幕后之人》这本书。商业性内容审核员是全球性的数字零工，薪酬微薄，却要在机械重复的工作中承受严重心理创伤。

《幕后之人：社交媒体时代的内容审核》，[美]莎拉·罗伯茨 著，罗文 译，万有引力|广东人民出版社，2023年5月。

他们每天要评估用户上传的成千上万份图片、视频和文本，其中充斥着大量令人不适的内容：如淫秽画面、虐待儿童和动物的画面、极端的仇恨言论和血腥暴力画面。他们是硅谷光鲜形象的阴暗面。随着主流社交媒体平台规模和影响力越来越大，商业性内容审核员的境况也开始被媒体曝光。

在《幕后之人》完成时，像ChatGPT这样的人工智能尚未问世。而即便是人工智能迅速发展的现在，情况也并不乐观。在一个自动化、智能化的时代，互联网的商业性内容过滤机制为何仍然需要大量人力的投入？审核员对自己的劳动和互联网文化有哪些理解和洞察？

作者｜莎拉·罗伯茨

被掩藏的数字劳动：

商业性内容审核

多年来，很少有人了解商业性内容审核及审核员的生活状况。但最近，这类话题登上了国际新闻的头条。在2016年美国总统大选之后，社交媒体平台的角色以及它们在线传播的信息，引发了公众的广泛质疑。这是公众第一次如此大规模地对社交媒体的内容生产方式感到担忧。“假新闻”（fake news）一词进入公众的话语之中。

2017年，一系列暴力和悲剧事件在脸书和其他社交媒体平台上传遍了世界，有的内容还是用直播的方式“广而告之”。自那以后，商业性内容审核就成了一个热门话题。这些事件在公共领域引发了疑问：什么内容能够在线上传播？它们是怎样传播的？如果有人把关的话，那么是谁在负责这方面的工作？

现在我们知道，完成大部分内容审核工作的并不是先进的人工智能和深度学习算法，而是薪资低微的普通人，这种工作的性质还让他们不得不承受过度劳累、感情麻木和其他更为严重的风险。这一点让公众极为震惊。一些心怀不满的审核员渴望让公众了解他们的角色和工作环境，向各大报刊透露了他们的经历，脸书等大型网络平台也因此饱受批评。越来越多的计算机学者和社会学家开始关注社交媒体及其算法的局限性及影响。

商业性内容审核多年来一直隐藏在幕后，这个机制包括提供劳动力的外包公司、有相关需求的大型网络平台，以及将有害画面和有害信息挡在用户视野之外的审核员。现在，这个机制在学术研究、新闻报道、技术研究、政策制定等层面得到了人们的关注，然而它的真实面目依然非常模糊，依靠这个机制来开展业务的社交媒体公司也不愿意讨论这方面的问题。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

我意识到，要想穿过科技公司设置的重重阻碍，了解它们在背后用了哪些手段来决定你在屏幕上看到的内容，我必须和审核员直接对话；要找到他们，并说服这些人把自己的经历讲出来。鉴于雇主为他们设置了很多法律上的限制，这个过程很有挑战性，但也极其重要。此外还有一些麻烦：审核员的工作大都不太稳定；公司通常还会强迫他们签署保密协议；岗位有期限限制，致使他们在就业大军中进进出出。还有一个挑战是，这些数字劳动会“改头换面”、以不同的名义在全球范围内转移，审核员分散在全球性的外包公司网络中，与最终从他们的劳动中受益的平台相距甚远。

阿德·布洛克（Aad Blok）在《信息革命时期的劳动，1750—2000》（Uncovering Labour in Information Revolutions,1750–2000）中讲过，许多有关信息通信技术的发展与变革的学术研究，都忽视了同时期劳动方式的演变。他进一步提到：“在劳动方面，研究者把绝大部分精力放在了发明家、革新者和系统构建者所做的高度专业化的’知识性工作’上面。”本书旨在填补以往对商业性内容审核员的忽视，把他们的贡献摆在与其他那些更广为人知、更受推崇的知识性工作同等重要的位置。

后面我会讲到，这种审核工作能够揭示互联网的现状，以及互联网到底在做些什么。实际上，如果说本书有什么中心论点，那就是我认为任何关于当代互联网性质的讨论都绕不开以下问题：用户创建的哪些内容是允许保留的？哪些要删除？由谁来决定？决定是怎样做出来的？谁是这些决定的受益者？缺少了这些问题的讨论必然是不完整的。接受访谈的内容审核员认为，他们的工作对于当代社交媒体环境的形成非常重要。

而作为用户，我们理所当然地接受了这样的环境，认为其中的内容一定是设计好的，因为它们是经过严格审查、有内在价值的“优质”内容。审核员们则讲述了完全不同的故事，而他们的讲述往往体现出矛盾：审核员们殚精竭虑地遏制不良的、令人反感的、非法的内容传播，但他们也知道，自己所接触到的内容只是冰山一角，社交媒体上还有数以亿计的可变现视频、图片、直播，而正是这些内容让我们相互联结，并最终成为广告商的目标对象。

商业性内容审核

为什么依赖人工

商业性内容审核可能在内容发布之前进行，也可能在内容发布之后，用户的投诉尤其会触发平台的内容审核机制，引发职业审核员介入。投诉可能来自第三方的网站审核员和管理员（比如有些公司声称该内容涉嫌侵权），或者来自不堪其扰的其他用户。

对于需要通过用户生成内容（UGC）来维系在线业务的商业性网站、社交媒体平台和媒体来说，商业性内容审核是它们生产周期中关键一环。内容审核对于需要这项服务的公司来说至关重要，它可以（通过强制用户遵守网站规则）保护公司和平台的品牌，确保公司的运营符合法律法规的规定，帮助公司留住愿意在平台上浏览和上传内容的用户。

不过，处理这些内容的过程往往只能说是马马虎虎。在许多高流量网站上，用户生成内容的数量非常惊人，而且还在持续增长。撇开规模不谈，对用户生成内容进行恰当筛选的过程就非常复杂，远远超出了软件和算法的能力。这不仅是个技术或计算的问题，由于信息分类的理论难题长时间没得到解决，如此大规模的内容审核仍然是个挑战。

困难的地方在于，一条内容的基本信息（它是什么，它描述的是什么）、意图（它的出现和传播有何目的）、无意中的后果（除了最初的意图之外，它还会造成哪些后果）、意义（在不同的文化、地区和其他因素下，意义会有很大差异）都交织在一起，同时还要用各种“规则”去衡量它，包括平台规则和当地情况（社交规范、期望和容忍度等），还要考虑更广大开放世界中的社会、文化、商业、法律制度和行政命令等因素。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

有些内容适合进行局部批量处理，或者通过其他自动化手段过滤，尤其是那些已经出现过、在数据库中被标记为不良的内容。但这个过程非常复杂，需要同时兼顾和平衡的因素太多，因此，绝大部分由用户上传的内容还是需要人工干预才能得到恰当的甄别，特别是包含视频和图片的内容。人工审核员要运用一系列高级的认知功能和文化素养来判断内容是否适合这个网站或平台。

重要的是，大多数依赖用户参与的主流社交媒体平台一般都不会在内容发布之前进行严格的审核，这意味着除个别情况外，对于特定视频、图片和文本的审核都是在它们发布到平台一段时间后才进行的。这是社交媒体公司自己制定的商业决策，与技术和其他因素无关，用户也已经习惯了这种做法。

职业审核员需要熟知网站目标用户群的品味，了解平台和用户所在地的文化。审核员工作的地点可能离平台总部或用户所在地非常遥远，地区间的文化差异可能也很大。审核员必须通晓网站内容的语种（可能是审核员学过的外语或第二语言），精通平台发源地国家的相关法律，熟悉用户守则和平台上极其详细的内容发布规则。

对于那些违反网站规则或法律的内容，审核员可以做出快速简单的判断。他们可以运用一些计算机工具对用户生成内容进行大规模处理，比如运用文本屏蔽词自动搜索工具来搜索违禁词（常见于对文字评论区的审核），通过“皮肤过滤器”（skin _lters）识别图片和视频中的大面积裸体来判定色情内容（尽管不一定都准确），或者使用一些工具来匹配、标记和删除侵权内容。这些工具能够加快整个流程，甚至自动完成审核任务，但大部分用户生成内容还是需要进行人工审核评估，尤其是被其他用户举报的内容。

对图片和视频来说，机器自动检测仍然是个极其复杂的计算问题。“计算机视觉”，即计算机对图像和物体的识别，仍在发展、充满技术挑战，要想把它大规模全面运用在众多的内容审核场景当中，在技术和资金上还不可行。因此，这些工作只能由人力完成，由审核员运用他们自己的决策流程处理一批批的数字内容，并在有必要时进行干预。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

无论审核内容的主体是机器、人类还是两者的结合，人们在使用依赖用户生成内容的社交媒体、网站和服务时，往往对这种有组织的职业化全职工作所知甚少。许多依靠用户生成内容来营利的社交媒体和其他平台都把内部审核活动和政策细节当做专有信息来保护。

在它们看来，完全披露这些政策的真实性质，可能会导致不怀好意的用户钻空子，或者被竞争对手曝光这些被视为机密的行为和流程，从而取得竞争优势。将这些政策保持在内部秘密状态，也可以让它们免受用户、民间活动人士和监管者的监督和讨论。事实上，内容审核员往往要签署保密协议，不能泄露工作的内容。

对于这些依赖用户生成内容的公司来说，至少还有一个原因使得它们不愿意公开其内容审核活动。它们对于大规模、产业化的内容审核的依赖是一种无奈之举，如果这种需求被人们知晓并完全掌握，平台的阴暗面就有可能暴露，即用户会利用它们的分发机制来传播令人反感和不适的内容，而大多数主流平台都不愿意给公众留下这种印象。

另外，现有行业体制几乎完全被有商业性内容审核需求的社交媒体公司所支配，在这种体制下，审核员的地位和薪酬通常比较低，比其他科技工作者，甚至是同一座大楼里的工作者都要低。

商业性内容审核对于互联网作为自由表达空间的形象构成了直接的挑战和冲击。从事内容审核工作的人工决策者在社交媒体的生产流程中至关重要，但绝大部分用户都看不见且不知道他们的存在。用户们普遍觉得自己与平台之间是一对一的关系，但审核员的隐秘存在破坏了这种令人觉得舒适平常的认知。

可惜的是，社交媒体以及商业化、规范化的互联网离不开这种烦人的工作。商业性内容审核员的工作条件以及平台对他们的依赖，构成了并不光彩的幕后图景，很少有社交媒体公司、平台和网站愿意公开讨论它。

美国全国公共广播电台的记者丽贝卡·赫舍（Rebecca Hersher）在早年调查这种规模化的内容审核工作时曾试图采访微软和谷歌的审核员，却遭到了拒绝。在她2013年的报道《阻止儿童色情内容的幕后工作者》中，一位微软方面的发言人轻描淡写地将内容审核工作称为“脏活”。

无论采用哪种用工方式和策略，在各个层面、在所有审核用户生成内容的地方都有一些共同的特征。审核工作通常由半永久或临时的合同工完成，他们的薪酬和地位都比较低。商业性内容审核是一个全球性的产业和实践，这些工作通常会被拿到离内容创作或到达的地方（通常是某个国家或地区）很远的地方来处理。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

商业性内容审核除了需要大量的劳动力之外，并不需要特别高的技能，因为这只是一份重复性的无聊工作。随着社交媒体公司在全球范围内招募那些愿意从事数字计件工作的劳动者，审核员的薪酬甚至进一步降低了。由此看来，在线内容审核更像是在经历一种反乌托邦式的、由技术进步导致的恶性竞争。

后工业时代的早期理论家曾经设想，从工业化的20世纪转变为后工业化的21世纪，美国劳动者可以获得更大的灵活性和流动性、拥有地位更高的工作和更多的休闲时间。他们会利用从生产技能中锻炼出来的分析力和技术力，在以知识为基础的经济中从事地位和薪酬较高的工作。

但是，对于由贝尔和在他之后的技术决定论未来主义者（technological deterministic futurist）提出的这个愿景，现实还在不断地泼着冷水。21世纪的劳动力配置非但没有提升全球劳动者的地位，反而引发了全球性的恶性竞争，为了在这个7天24小时不间断运作的全球化市场中取得优势，人们不断地寻求更便宜、响应更快、数量更多的人力资源和物质资源。

后工业时代的劳动经济需要地理空间上的重组和人们的迁徙，如同邱林川等学者所指出的那样，“灵活”通常等同于“缺乏保障”“不稳定”和“边缘化”。蒂齐亚纳·泰拉诺瓦曾说过，知识经济之下的劳动可能不会像人们最初设想的那样有趣。为了应对和改善当下社会经济结构中的劳动问题，我们必须在全球范围的各个层面上继续揭示知识数字经济下的劳动状况和各种成本（比如环境成本）。

审核员无法影响审核标准

MegaTech（一家美国互联网巨头的化名）的审核员在审核内容时需要遵守一套内部政策，这些政策是由他们的上级一安全与政策部门（简称SecPol）的全职员工制定的。这些极其详细的内部政策是商业性内容审核员判断内容的标准，它们没有向社会公开，而是作为商业机密在内部使用，服务于公司的品牌管理。保密的部分原因是防止不怀好意的用户钻空子，通过打擦边球或者故意规避规则的方式在平台上发布不良内容。

此外，披露商业性内容审核政策也会让局外人获悉公司审核员的工作性质。如果内部政策被曝光，触发审核机制的内容种类也会被曝光，拥有光鲜形象的平台就会暴露出它极其丑陋的一面，毕竟在人们眼中，平台的功能是提供娱乐、乐趣和自我表达的渠道，用户可以直接通过平台将内容传播到全世界。曝光内部政策还可能会引发关于政策所依据的价值观的难题，审核员们肯定懂得这一点。

尽管MegaTech的名字本身就象征着互联网，而且它拥有全球性的影响力和用户群，但它关于用户生成内容的政策是在特定的、少有的社会文化环境中制定出来的，即教育程度高、经济发达、政治上信奉自由主义、种族单一的美国硅谷。公司的内部政策往往首先反映了公司对品牌保护的需求，同时它也是一种用鲜明的美国自由主义来解释言论自由、信息自由等概念的机制。社会规范也是通过美国和西方文化的视角折射出来的，倾向于反映白种人的观念。

因此，对于平台所青睐的这些复杂的价值观和文化体系而言，商业性内容审核员可以被理解为它们的载体和代理人，即使在公司的规则和审核员自身的价值观相冲突的时候也是如此。马克斯（一位受访的审核员）解释说：

“我们拥有逐条罗列、非常具体的内部政策。它们是保密的，否则人们就能很容易规避它们。我们会经常讨论一些非常具体的内部政策，每周要和安全与政策部门开一次会。比如说，系统不会将涂黑脸(blackface)默认为仇恨言论，这总是让我很恼火，让我崩溃了差不多十次。我们开会讨论政策时，平心而论，他们总是倾听我的意见，从来不会禁止我发言。他们不同意我的看法，也没有改变过政策，但总是让我畅所欲言，真令人惊讶。就是这样，我们用来审核视频的内部政策有好几十页。”

他继续解释说，那些模糊的语言“从根本上说给了我们回旋的余地”。在MegaTech，关于内容删除的内部政策会根据多方面的动态因素进行调整，包括面向所有用户的社区准则、内容创作者对于未经同意发布内容的删除请求，以及公司内部对社区准则的解释。审核员需要遵守这些解释，它们会经常变化。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

乔希（一位受访的审核员）解释说：“政策与社会氛围息息相关，如果某样事情在社会上变得可以接受,那么我们就会调整政策。政策还会根据全球的社会氛围进行调整。基本上，我们的政策都是为了保护某类特定的群体。”

事实上，虽然有政策和规则存在，但一些群体还是能够获得MegaTech的特殊对待，因为他们有利于MegaTech的商业利益。他们通常是较大的“合作伙伴”，作为内容创作者，他们能够为公司吸引大量用户，从而为自己和平台创造广告收益。马克斯介绍了这种关系：

“如果你是个非常优秀的用户，你可以申请合作伙伴计划，这样可以从广告中赚取收益分成。合作伙伴可以直接联系安全与政策部门和法律支持部门。有时候我们会遇到一个合作伙伴的违规视频，通常来说我们应该删除视频并向他们的账号发出警告，（按照规则）警告三次无效，账号就会被封禁。但也许他们是重要的合作伙伴，公司不想封禁他们，所以我们会将视频发送给安全与政策部门，让他们去跟合作伙伴沟通。

我得说得清楚一些：他们不会让这些视频留在平台上，他们会让合作伙伴撤下视频，并且会比政策页面更详细地说明这个视频违反了哪些规则。据我所知，我们从来都不会为了合作伙伴而破坏规则。顶多是处理方式更灵活一些，但不会做出实质性的让步，不会让令人反感的内容留在平台上。”

平台上处于灰色地带的内容和行为是MegaTech公司商业性内容审核工作持续面临的挑战。马克斯介绍说，有一类内容使他特别苦恼，但它们又刚好没有违背公司内部政策的字面含义。他们花了很大工夫来处理和评估这类内容。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

乔希是MegaTech的合同工而非全职员工，这种身份上的差别在内部政策制定中会有一定的影响。级别更高的安全与政策团队和其他与审核相关的全职员工经常会表示，他们在制定未来政策或者对现有政策进行修改和微调时，会重视审核员们的意见。

但乔希觉得这只是在嘴上说说而已。虽然他对于不良内容和MegaTech的内部政策有专业的见解，但却无力推动真正的改变，这让他感到沮丧。造成这种境况的直接原因是公司的商业性内容审核员是有固定期限的合同工。

乔希这种审核员所做的工作几乎完全是对内部政策的执行，并没有决定MegaTech平台政策的能力，为此他们感到沮丧。MegaTech公司也错失了一个机会，如果它能够寻求并重视内部审核员的反馈，就能够查明许多情况，比如地区性政治冲突、违规行为的新发展趋势，以及恶意用户对平台的狡猾操纵。但总体来说，它没有这样做。

他们是互联网平台的

真实代价

有了这本书、其他学者的研究、许多记者的调查报道以及像《网络审查员》这样的艺术作品，事实上，我们已经不再能声称商业性内容审核是一种“看不见”的工作了。但它的地位和员工劳动条件必须要有所改变。我对社交媒体幕后的商业性内容审核的理解，影响了我自己在工作和休闲之余对社交媒体和各种数字平台的参与。

商业性内容审核工作对于雇主和所有平台的用户都不可或缺，我希望可以通过发掘这些不为人知的中间工作者，来引出这样一个问题：数字媒体的幕后还有哪些人存在？我确信我们对数字媒体当中广泛存在的人为痕迹所知甚少，如果真的想衡量我们在数字平台中逃避现实（escapism）所造成的影响，就必须了解得更多。数字平台的特点是有趣、迷人、容易访问、永远在线，但我们却不曾对它们的真实代价进行诚实的评估。

我们都身在其中，那些登录脸书、上传内容、在新闻下面评论、给帖子点赞和点踩的人，就是我们。作为人类，我们渴望获得参与感和融入感，这种渴望创造了由商业性内容审核员来填补的商机，他们满足了我们的需求。我常常会想起乔希·桑托斯，他敏锐地发现了MegaTech上自杀倾向的问题,而这种倾向毫无疑问会自我延续下去，看不到解决的办法。

如果公司搭建了那些平台——那些准备好被填满、被重新命名、在全球网络上传播的空容器，我们就会蜂拥而至。我们会把我们的用户生成内容、偏好、行为、人口特征和欲望填充在里面。我们与商业性内容审核的联系甚至比与平台更加直接，毕竟触发MegaTech商业性内容审核流程的就是举报视频的用户。审核的对象也是用户生成的内容。除非我们离开平台或者与平台重新商讨双方的关系，否则作为用户的我们也许才是社交媒体生产周期中最关键的部分，因为我们是内容的生产者，也是永不餍足的消费者。

商业性内容审核员使平台变得舒适有趣，他们是我们看不见的合作伙伴，和我们有着共生的关系，类似于阴和阳。他们对内容进行平衡和展示，努力让我们在网络活动中感到轻松愉悦，让我们流连忘返。

我们可以点赞、举报、分享视频，但是，我们的参与是一种自由意志的假象，我们正处于一系列不断缩小、不断分隔的封闭空间中，这些空间受到社群规则和服务条款的约束，其中的人工干预被保密协议所隐藏，人为痕迹一旦显露出来，就会被当做系统中的异常错误而被清除。这本书跟人类活动相比虽然微不足道，但我希望它能够将这些人为痕迹发掘出来，就像书籍扫描页面中误入的手指一样。

商业性内容审核员的工作条件有可能得到改善吗？在计算能力和计算机视觉产生飞跃式发展之前，在可预见的未来，审核工作仍然需要人类介入。即使到了那个时候，人力劳动可能仍然是首选，它会沿着全球化的轨迹，转移到拥有大量廉价劳动力资源的地方。

纪录片《网络审查员》（ Im Schatten der Netzwelt ，2018)画面。

商业性内容审核员对每条用户生成内容都要做出一系列决策，其复杂程度是任何算法和过滤器都难以完成的。文化上的细微差别和语言上的特殊性更是加大了这种难度。人类大脑是无与伦比的超级计算机，储存着海量的文化知识和生活经验数据，而我们的思维相当于复杂的意义识别软件，因此人类员工在成本和能力上仍然优于任何机器。

承载用户生成内容的社交媒体平台没有显示出任何即将消失的迹象，反而随着移动设备的普及和全球联网人数的增加而继续发展。人性也不太可能发生什么改变。所以商业性内容审核的需求将继续存在。

这种工作的地位很低，经常会被种种方式所掩盖，它还会使员工接触到人性阴暗龌龊的一面，几乎肯定会导致精神上的损害，但还是会有人愿意从事这种工作。我要感谢所有从事这份工作的商业性内容审核员，因为我很庆幸做这些工作的不是自己。我希望他们可以离开阴影处，从屏幕后面走出来，走到有光亮的地方来。