欧盟AI监管新规：公共场合人脸识别将被限制、甚至禁止！

作者 | 陈彩娴

编辑 | 刘冰一

继2018年5月25生效的《欧盟一般数据保护条例》（江湖人称“GDPR”）后，今年4月21日，欧盟首次发布了针对人工智能技术的监管法规草案（如下），长达108页，探讨了企业与政府应该如何使用人工智能技术。

链接：https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence-artificial-intelligence

在这项草案中，AI的一系列应用范围都受到了不同程度的限制，包括自动驾驶、招聘简历过滤、银行贷款、入学筛选与测试评分等等，原因是：可能威胁到公民的人身安全与基本权利。

其中，计算机视觉应用最火的人脸识别技术，在公共场合的应用更是被高度禁止，除非是用于寻找失踪儿童、防止恐怖活动威胁或识别刑事犯罪人员等特殊情况。即使有特殊情况，在公共场合应用人脸识别技术，也需要获得司法机构或其他独立机构的授权，并有时间、地理范围和所搜索数据库的限制。

违反新法规的公司，可能会面临高达全球销售额6％（最高2000万欧元）的罚款。

1

欧盟AI监管法规详情

根据欧盟的法规草案，对人工智能应用的监管根据风险等级，主要分为绝对禁止、高风险、较小风险与最小风险等四类。

1、绝对禁止的风险：对人类的安全、和权利构成明显威胁的AI系统将被禁止。这包括操纵人类行为，以违反用户自由意志的AI系统或应用程序，例如通过语音协助、鼓励未成年人进行危险行为的玩具，或供政府进行“社交评分”的系统。

2、高风险：被确定为高风险的AI系统包括有以下应用的AI技术：

• 重要的基础设施（例如运输），可能将公民的生命和健康置于危险中；
• 教育或职业培训，可能决定人们接受教育和专业课程（例如考试成绩）；
• 产品的安全组件（例如AI在机器辅助手术中的应用）;
• 就业，工人管理和自聘职业（例如招聘流程中使用的简历分类软件）;
• 重要的私人和公共服务（例如信用评分，剥夺了公民获得贷款的机会）；
• 可能会侵犯人们基本权利的执法活动（例如评估证据的可信度）；
• 移民，庇护和边境管制管理（例如核实旅行证件的真实性）；
• 司法和民主程序的执行（例如，将法律应用于具体事件）。

高风险的AI系统在投放于市场之前，必须遵守严格的义务：

• 足够的风险评估和纾解系统；
• 提供给系统的高质量数据集可最大程度地降低风险和歧视；
• 记录活动以确保结果的可追溯性；
• 详细的文件，提供有关系统及其构建目标的所有必要信息，以供当局评估其合规性；
• 向用户提供清晰、充足的信息；
• 适当的人为监督措施，以最大程度地降低风险；
• 高水平的鲁棒性、安全性和准确性。

欧盟新法规要求，提供高风险人工智能技术的公司要向监管机构提供安全证明文件，包括风险评估与解释该技术如何做决策的文档。企业还需要保证人为监督系统的创建与使用方法。

需要注意的是，所远程生物识别系统都被认为是高风险的，并有严格的要求。原则上，这类系统被禁止在公共场合进行执法使用，除非是有特殊情况，比如寻找失踪儿童，防止特定类型的、迫在眉睫的恐怖威胁，或者侦查、定位、识别或起诉犯有严重刑事罪行的犯罪者或嫌疑人。此类使用需要获得司法机构或其他独立机构的授权，并受时间、地理范围和所搜索数据库的一定限制。

3、较小风险（如具有透明义务的AI系统）：在使用聊天机器人（chatbot）等AI系统时，用户应意识到他们是在与机器交流，以做出继续交流或停止交流的决定。

4、最小风险：这条法规建议允许免费使用AI赋能的视频游戏或垃圾邮件过滤器等应用程序。绝大多数AI系统都属于这一类。该法规草案不对此类AI进行干预，因为它们对公民的权利或安全所造成的风险极小，或没有任何风险。

该条例的目的是为了促进可信赖人工智能技术的发展，提高欧洲人民对人工智能技术的信任度。如若通过，该法规将适用于欧盟所有成员国。违反新法规的公司，可能会面临高达全球销售额6％的罚款。

对人工智能的警惕并不只局限于欧洲。美国当局也开始考虑对人工智能进行监管。比如，当地时间4月19日，联邦贸易委员会（Federal Trade Commission）便发文警告企业不要出售使用种族歧视算法，或可能“剥夺人们的就业，住房，信贷，保险或其他福利”的人工智能系统。美国的其他地区，如马萨诸塞州，政府已采取措施，对警察使用面部识别进行限制。

2

如何看待加强监管

这项法规是全球所有国家与地区的首次尝试。根据斯坦福大学发布的《2021年人工智能指数报告》（Artificial Intelligence Index Report 2021）显示，此前2015年至2020年间发布了117个AI伦理道德方面的文件，但只是“原则”层面，而不是“法规”层面。

根据《纽约时报》的报道，欧盟法规草案发布后，引起了不同的观点与讨论。许多业界团队认为该法规没有进一步加强管控，如释重负，而民间社会组织则认为对AI的管控还可以更进一步。

许多人担心该政策过于宽泛，为企业与技术开发者进行自我监督留了很大的自由空间。

虽然欧盟将通过质量管理和评估程序严格管控，但一些人工智能技术供应商将被允许进行自我合规测评。数字权利组织 EDRi 的高级政策顾问 Sarah Chander 对 Politico 表示：“欧盟委员会将合规交给了人工智能供应商，这可能会损害（人们的）基本权利，甚至可能让公共当局逍遥法外。”

来自伦敦Ada Lovelace研究所（主要研究人工智能伦理）的主任Carly Kind表示：“如果法规没有规定严格的红线与准则，也没有标明可接受的界限，那么它会有很大的解释空间。”

一些科技行业的工作人员则感到宽慰，对高风险应用的合规要求表示赞许。比如，计算机与通信行业协会（Computer & Communications Industry Association）的 Christian Borggreen 对法新社指出，欧盟委员会采用了基于风险的评估方法，这很好。该协会代表了包括亚马逊、Facebook 和谷歌在内的多家科技巨头。

知名人工智能专家与风险投资人Mark Minevich认为，强调监管AI是为了提高人类的生活水平，但监管不应过度限制AI系统的实验与开发。

他提到，高风险AI系统应该始终配有人为监管与控制。而用于与人交互或内容生成的AI系统，无论是否属于高风险，都应该遵守透明义务。

他也认为，这项法规草案会削弱欧洲的人工智能技术发展，而与此同时，中国与美国的人工智能技术正在飞跃发展。换言之，这项草案也许会束缚欧洲在AI方面的落地与创新，使欧洲落后于新的技术发展潮流。

Mark Minevich还提出：欧盟对AI的投资极少，是其在AI竞赛上输给美国与中国的主要原因。欧盟居住人口4.46亿，美国居住人口3.31亿，但在2020年，欧盟对AI的投入只有20亿美元，而美国达到了236亿美元。欧洲的风险投资模式落后于美国，导致欧洲许多快速发展的初创企业转而依赖于美国与亚洲的投资者。

大家怎么看？

相关阅读：

一句话总结英国新规：不欢迎AI专业的中国留学生、学者与研究员

参考链接：

1. https://www.nytimes.com/2021/04/16/business/artificial-intelligence-regulation.html
2. https://techcrunch.com/2021/05/15/european-ai-needs-strategic-leadership-not-overregulation/
3. https://ec.europa.eu/commission/presscorner/detail/en/IP_21_1682
4. https://www.ftc.gov/news-events/blogs/business-blog/2021/04/aiming-truth-fairness-equity-your-companys-use-ai
5. https://www.nytimes.com/2021/02/27/technology/Massachusetts-facial-recognition-rules.html