不平等加剧与问责机制：纽约大学AI Now研究所2018 AI现状报告

来源 | AI NOW Institute

编译 | 微胖

纽约大学 AI Now 研究所发布了第三份关于人工智能现状的年度报告。2018 年 AI Now 报告重点关注行业 AI 丑闻和不平等加剧等主题，还评估了人工智能道德与有意义的问责制之间的差距，研究了组织和监管在人工智能中的作用。值得注意的是，报告指出，大学课程和教学大纲需要扩大 AI 的学科定位，应当包含社会和人文学科，有必要让计算机科学系的教师和学生研究社会。很多人已经开始落实这一点。以下是执行摘要的主要内容。

2018 年，一连串围绕人工智能丑闻的核心是问责制问题：

当人工智能系统伤害我们时，谁负责？如何理解并解决这些危害？干预点在哪里？需要哪些额外的研究和监管来确保这些干预措施有效？

目前，问题的答案很少，当前的人工智能治理框架无法确保问责。然而，随着人工智能系统普遍性，复杂性和规模的扩大，缺乏有意义的问责和监督（包括职责、问责以及正当程序的基本保障），日益成为一个迫切问题。

在 2016 年和 2017 年报告的基础上，AI Now 2018 报告将与这一核心问题做斗争，并试图解决以下几个关键问题：

1. 人工智能发展过程中，责任分配上鸿沟日益变大，那些创造并部署这些技术的人获得更加有利的地位，而这又是以牺牲那些最受技术影响人群的利益为代价；

2. 利用人工智能实现监控的最大化，特别是与面部和情感识别相结合，这一趋势加重了集中控制和压迫的潜在威胁；

3. 政府越来越多地使用会直接影响公民和社区的自动决策系统，但却没有既定的问责制结构；

4. 对人群进行各种不受管制、不受监督的人工智能实验；

5 用技术解决公平，偏见和歧视问题存在局限性。

每个主题中，我们都指出了新挑战和新研究，并为 AI 开发，部署和监管等工作提出建议。我们也会根据研究成果提出可行的解决路径，以便决策者，公众和技术人员更好地了解和降低风险。鉴于 AI Now Institute 的地理位置在美国，本报告将主要关注美国，美国也是世界上几家最大 AI 公司所在地。

人工智能问责鸿沟正在扩大：2018 年的技术丑闻表明，研发并从人工智能中获利的人群，与最有可能受其负面影响人群之间的鸿沟正变得越来越大。

原因有几个，包括缺乏政府监管，人工智能部门过于高度集中，技术公司内部的治理结构不足，公司与其服务对象之间的权力不对称，负责技术研究的工程队伍之间存在明显文化差异，以及被部署技术的人口群体存在多样性。

这些差距正促使人们越来越关注偏见，歧视，正当程序，责任分配以及针对损害的全面担责。本报告强调，我们迫切需要加强特定部门（比如车祸调查的国家公路交通安全管理局）的研究工作和监管职能。

人工智能正在让监控网络的变得更强大：美国，中国和世界上许多其他国家都极大扩展了人工智能在监控网络中的应用，随着传感器网络，社交媒体跟踪，面部识别和情感识别越来越多地被采用，这一趋势也日趋明显。然而，这些趋势不仅威胁到个人隐私，也加速了监控的自动化，监控的势力范围和普及程度也因此在迅速上升。这又带来新的危险，并且放大了许多长期存在的问题。

尽管已被揭穿属于伪科学，但情感识别的应用仍然在增加。所谓情感分析，是指通过仔细分析面部表情来解读内心情感，也涉及情绪、精神监控、专注程度（engagement）、有罪或无罪等推测。这项技术已经被用于歧视和不道德的目的，却往往不为人知。面部识别技术也存在风险，加剧了从刑事司法，教育到就业的扭曲、潜在歧视性做法，并让多个国家人权和公民自由面临风险。

各国政府正在迅速扩大自动化决策系统的使用，但没有充分保护公民权利：政府机构正打着效率和降本的旗帜，采购和部署自动化决策系统（ADS）。然而，这些系统中有许多是未经测试的，而且设计不合理，侵犯公民权利的行为往往违法甚至违宪。更糟糕的是，当他们犯错误和做出错误决定时，很难甚至不可能提出质疑、异议并对其进行补救。一些机构正试图让系统的运作机制透明化，并提供正当程序和其他基本权利的运行机制，但是，商业保密和类似法律条款可能会阻止对这些系统的审计和充分测试。不过，通过本机构的积极努力以及最近的策略性诉讼，我们在报告中勾勒出 ADS 问责的主要途径。

针对人类群体进行毫无基本规则（in the wild）的 AI 测试，而且非常猖獗：硅谷以「快速移动和颠覆」的心态而闻名，公司被迫快速尝试新技术而不太关注失败造成的影响，包括承担风险的人。过去一年中，我们已经看到越来越多部署 AI 系统的测试没有基本规则可言，没有适当的通知，同意或问责协议。这种实验之所以得以持续，部分原因在于缺乏对后果的清楚认知。当危害发生时，通常不清楚责任在哪里或由谁负责。研究并分配适当的责任和义务，仍然是当务之急。

利用技术解决公平，偏见和歧视问题的局限性：已经有许多新的研究旨在让数学模型实现结果「公平」，以避免歧视。然而，如果没有一个可以解释社会和政治背景和历史的框架，这些公平的数学公式几乎不可避免地漏掉一些关键因素，甚至还会用最终增加伤害或忽视正义的方式来解决更为深刻的问题。对于确保解决核心问题并将重点从平等转移到正义来说，超越单纯的数学，扩大视野，扩大对 AI 公平性和偏见的研究，至关重要。

转向道德原则：今年出现了许多人工智能技术创建和部署的道德原则和指南，其中许多是为了解决人们对技术的担忧。但是，正如研究表明的那样，如果这类道德承诺与问责制，与公司的实践结构没有直接联系，那么，它们对软件开发实践几乎产生不了什么影响。此外，这些准则和指南很少得到法律层面的支持与监督，即便偏离准则，也没有什么后果责任。道德准则只有在真正融入人工智能发展过程，并得到对大众利益负责的问责机制的支持，才能真正有助于弥合人工智能问责制的差距，

报告接下来详细阐述了这些主题，并反映了最新学术研究，概述了继续前行的七个战略：

1. 扩大 AI 公平性研究，而不是仅仅关注数学和统计公平问题；

2. 研究和跟踪创建 AI 所需的全部基础设施，亦即人工智能系统的「完整堆栈供应链」，这是更负责任的审计形式所必需的；

3. 考虑创建和维护 AI 系统所需的多种劳动形式；

4. 致力于深化人工智能的跨学科性；

5. 分析 AI 存在的种族，性别和权力问题；

6. 制定新的政策干预和战略诉讼；

7. 研究人员，社会和技术部门内的组织者之间建立联盟。

这些方法旨在积极地重塑 AI 领域并解决日益增长的权力不平衡问题。