【论文】UC 伯克利教授：如何获得 AI 好处，不闯大祸？

如果自动驾驶汽车的上路，将美国每年大约40000例致死交通事故减少到一半，那么汽车厂商们可能不但不会收到20000封感谢信，反而会收到20000张法院传票。面对人工智能带来的种种难题，我们究竟要怎么做才能获得人工智能的好处，并且不会闯下大祸？

2015年初，英裔美籍计算机科学家Stuart Russell起草了一份公开信，他也是这份公开信首位签署人，在这份公开信中，Stuart Russell呼吁研究人员，虽然当前大家的目标是希望人工智能变得强大，但千万不要鼠目寸光，局限在这个目标上面。在这份公开信中写道，“我们提醒研究人员注意，随着人工智能系统的能力越来越强大，我们希望这个系统更加稳定，同时也要对人类有益。我们的人工智能系统，必须要做人类要求它们做的东西。”目前，已经有数千人在这份公开信上签名，包括谷歌，Facebook，微软公司内研究人工智能的专家，以及全球其他行业中心里的顶尖计算机科学家，物理学家，以及哲学家。在今年三月底，大约有300名研究人员开启了一项新研究，希望让人工智能对人类更加有益，而资助这份研究的资金则是由该公开信的第37位签署人赞助的，他就是现实版“钢铁侠”Elon Musk。

Russell今年53岁，是加州大学伯克利分校人工智能系统中心创始人兼计算机科学专业教授，他一直在关注人工智能的发展和影响。Russell写了200多页的论文，同时他还是人工智能领域里“标准教科书”-----《人工智能：一种现代化方法》作者（谷歌研究主管Peter Norvig也是该书作者）。但是，随着人工智能发展的速度越来越快，加剧了Russell对这一领域的担忧。

为了更好的阐述人工智能的稳健性，找到对人类有益的人工智能实现方式，Russell 特地写了一篇论文：《稳健并有益的人工智能：优先研究方向》。新智元翻译如下。

摘要

对人工智能的呼吁可能会为人类带来前所未有的益处，因此，非常值得花一些时间来探索如何在将这些益处最大化的同时避开可能的危险。这篇文章举出了不计其数的值得研究的方向（但无论从什么角度看都不能认为已经穷尽了），目标在于确保AI保持稳健及有益。

这份文档在起草时融入了2015年“AI的未来：机会与挑战”会议（见致谢）参与者的思想，并且也据此制作了一份拥有超过8000人签名、支持文中所列优先研究方向的公开信。

I. 短期优先研究方向

A. 优化AI对经济的影响

虽然对于AI在经济上的影响力的本质众说纷纭，如何将AI的作用与其他信息技术的作用分离开也意见不一，但是AI在行业中的成功应用——从制造业到信息服务业——确实展现出了它对于经济日益重大的影响力。许多经济学家和计算机科学家都认为，应该开展一些探索如何在最大化AI的经济利益的同时缓解负面效应（可能包括加剧不平等及失业率）的研究，这些研究将会是非常有价值的。这样的考虑推动了一些各异的研究方向，从经济学到心理学，跨度非常大。以下是我们举出的一些例子（并没有穷尽）。

1、劳动力市场预测：我们要如何预期各式各样的职业在何时、以怎样的顺序被自动化所取代？这将会对技能不那么娴熟的劳动者、有创造力的专业人士、以及不同类型的信息工作者（informationworker）产生怎样的影响？有一些人已经提出，AI有可能会极大地提高人类的总体财富。然而，日益增长的自动化可能会将收入分布的差别以幂定律（powerlaw）的形式大大拉开，而这种差距对不同的种族、阶层、以及性别可能有不同的影响。预测这种差距带来的经济影响和社会影响可能会成为有用的研究方向。

2、其他被颠覆的市场：经济的重要组成部分，包括金融、保险、精算、以及许多消费市场，在会学习、会建模、会预测人类和市场表现的AI技术面前都有可能得到颠覆。这些市场的特征可能可以被归纳为具有很高复杂度和因此产生的高额回报。

3、处理负面效应的政策：什么样的政策能够有助于愈加自动化的社会变得越来越繁荣？例如，Brynjolfsson和McAfee探索了许多诱导劳动密集型产业发展的政策和利用AI产生的财富来扶持失业人口的政策。干预手段，例如教育改革、学徒制项目、需要大量工人的基础设施计划、以及社会安全网络，都有哪些利弊？从古代的贵族到现代的许多卡塔尔公民，历史为我们提供了许多亚群体不需要为经济安全而努力的例子。什么样的社会结构和其他因素决定了这样的族群能否繁荣昌盛？失业与闲暇并不等同，而失业与不愉快、自我怀疑、以及孤立之间也有深刻的联系。什么样的政策和规范能够打破这种关联？理解这一点将会显著提高生活的中位数质量（medianquality）。关注基本工资提案之类的实证和理论研究将会为我们扫清迷雾。

4、经济衡量：有可能诸如国内人均产值（GDPper capita）无法对重度依赖AI和自动化的经济做出准确描述，这会让这些指数不再适用于作为政策制定的参考。研究更贴切的衡量方法对于决策来说会是有用的。

B. 法律和伦理研究

以智能和自主化为特征的系统，它的发展会带来重要的法律和伦理问题，而这些问题的答案将会对AI技术的生产者和消费者都产生不小的影响。这些问题遍及法律、公共政策、职业伦理、哲学伦理等各方面，需要来自计算机科学、法律、政治、伦理等方面的专家来解答。例如：

1、自动驾驶设备承担的责任和相关法律：如果自动驾驶汽车的上路将美国每年大约40000例致死交通事故减少到一半，那么汽车厂商们可能不但不会收到20000封感谢信，反而会收到20000张法院传票。怎样的法律框架才能最好地让自动驾驶设备（比如无人飞机和自动驾驶汽车）的安全效益得到体现？关于AI的法律问题是应该由现行（针对软件和网络的）“网络法（cyberlaw）”来处置，还是应该区别对待？无论是军事应用还是商业应用，政府都将需要决定引入相关领域专家进行支持的最佳方法，例如，圆桌讨论或是专家和学者组成的委员会。Calo曾提出建立联邦机器人委员会（Federal Robotics Commission）的想法。

2、机器伦理：一台自主化的设备应该如何进行权衡，比如说，在小概率对人类造成伤害和几乎可以确定大量损耗材料之间怎样选择？律师、伦理学家、以及政策制定者们又应该怎样让公众参与到这些事务里？这种权衡是否应该依照国家标准？

3、自主化武器：致命的自主化武器能否遵循人道主义律法？如果——就像某些组织提到的那样——自主化武器应当被禁止，是否有可能为这个目标而讨论出自主化武器的准确定义，而这种禁止在实际操作上能否强迫进行？如果使用致命自主化武器是得到了允许、或是合法的，这些武器应该被怎样整合入现有的指挥控制结构中、使得其责任能够与特定人类联系起来？什么样的技术现状和技术前景能够对这些问题有所提示，而对这些武器“有意义的人类控制（meaningfulhuman control）”又该怎样定义？自主化武器是否有可能导致“意外的”战斗甚至战争？最后，这些问题上应该以怎样的方式鼓励公开透明？

4、隐私：AI系统有能力对于从监控摄像头、电话线路、电子邮件等渠道获得的数据进行分析解释，这应当如何与隐私权融洽相处？网络安全和网络战争将如何牵扯到隐私风险？我们全盘利用AI和大数据的能力将部分地取决于我们管理和保护隐私的能力。

5、职业伦理：计算机科学家在关于AI发展和运用的法律及伦理学中应该是什么样的角色？过去和现在，对这些问题的探索包括致力于AI长远未来的AAAI 2008-09主席圆桌论坛、机器人EPSRC原则、以及最近宣告成立的一些项目，比如斯坦福的AI百年研究以及AAAI下属的AI影响与伦理问题委员会。

从公共政策的角度而言，AI(就像任何一种强力的新技术一样)既会带来大量全新的利益，也会带来大量全新的、需要避免的风险，而恰当的政策将能够确保我们在享用益处的同时让风险最小化。这引出了一些关于政策的问题，例如：

1.哪些政策值得研究，又应该怎样制定？

2.应该用什么标准来判断一项政策的优劣？候选标准包括核查遵从程度、强迫性、降低风险的能力、采纳程度、以及适应变化的环境的能力。

C.稳健性AI的计算机科学研究

随着自主化系统在社会中变得越来越普及，让它像预期中一样稳健地运行也就变得越来越重要。因此，自动驾驶设备、量化交易系统、自主化武器等的发展也引起了对于拥有高度稳健性的系统的兴趣。Weld和Etzioni认为，“除非我们有一些可靠的方法来让自主化代理（agent）变得安全，否则社会是会拒绝它们的”。AI系统未能像希望的那样运行，可能有不同的原因，而这些原因又与不同的稳健性研究领域相关：

1.验证：如何证明一个系统满足了某种理想的性质。（“我是否正确地搭建了系统？”）

2.效度：如何确保一个满足了要求的系统不会有不希望出现的行为和后果？（“我是否搭建了正确的系统？”）

3.安全：如何避免系统被未获授权的组织故意操控？

4.控制：如何在系统开始运行后保证人类对于AI系统能进行有意义的控制？（“好吧，我造的系统有点儿问题；我能修复它吗？”）

II 长远优先研究方向

对于一些AI研究者来说，一个被经常讨论的长期目标就是研发能够像人类一样从广泛的经验中学习、同时又在大部分认知任务的表现上超越人类的系统，这种系统因此将会对社会产生巨大的影响。如果这些努力将会在可见的未来获得成功的概率是无法忽视的，那么除了之前提到的部分之外，还有一些研究方向（接下来会举一些例子）也能帮助确保AI会是稳健而有益的。

要评估这种系统研发成功的可能性，不同的研究者会给出不同的答案。但是根据过去对技术进行预测的记录来看，几乎没有人会非常自信地认为这种可能性足以忽略不计。例如，在世时被一些人认为是当世最伟大的核物理学家的ErnestRutherford，在1933年——距离Szilard发明出核反应链不到24小时——的时候说核能是“月光”，而英国皇家天文学家RichardWoolley在1956年时将星际旅行称为“彻头彻尾的胡言乱语”。不仅如此，如果是要为AI稳健性研究争取一笔过得去的投资，这种系统研发成功的可能性不需要非常高，只要是不足以忽视就足够了，就像只要房屋烧毁的概率并没有低到能够忽略不计，人们就会为此在房屋保险上花一笔不低的投资。

A.验证

就像短期研究中提到的那样，促进可验证的（verifiable）底层软硬件的研究能够消除通用AI系统中许多大类的错误和问题。如果这样的系统变得越来越强力并且高度安全，可验证的安全属性将变得日益有价值。假如我们很好地理解了将可验证属性从部件扩展到整体系统的理论，那么即使是非常庞大的系统也能获得一定程度上的安全保证；在这之中，为掌控学习代理（agent）和高层级属性而设计的技术可能会有所帮助。理论研究，特别是针对非常通用的AI系统的理论研究，将会格外有用。

一个相关的验证研究主题是，系统调整、扩展、或是改善自我——可能连续多次发生——的可验证性。如果想直接将形式验证（formalverification）工具应用在这种更通用的情境中，就会面对新的困难，例如，一个足够强大的形式系统中无法直白地使用形式方法来获得关于功能相似的形式系统的准确性把握（aformal system that is sufficiently powerful cannot use formal methods in theobvious way to gain assurance about the accuracy of functionally similar formalsystems），否则就违背了哥德尔不完备定理。尚不清楚这个问题是否能被解决、能怎样被解决，也不清楚是否会有相似的使用其他验证方法的问题浮出水面。

最后，将形式验证技术真正应用到实体系统上通常都是非常困难的——特别是应用到那些在设计时没有考虑到验证问题的系统上。这带动了一些研究去探索将功能规格（functionalspecification）与实体状态相联系的通用理论。这类理论将使我们能够运用形式工具来预测和控制近似理性代理的系统的行为、其他满意度代理（satisficingagent）之类的设计、以及一些无法被标准代理形式主义（standard agent formalism）所简单描述的系统（强大的预测系统、定理证明系统、有限目的的科学或工程系统等等）。这样的理论也有可能会使得严格展示某个系统的能力局限于进行某种行动或完成某种推理成为可能。

B.效度

就像在短期优先研究方向里一样，尽管系统的形式正确性已经有所保证，效度问题——也即出现不希望出现的行为——仍然需要考虑。在长远考量中，AI系统可能变得越来越强大、越来越自主化，而这也就意味着效度的失利将会因此带来更高样的代价。

机器学习方法——一个我们在短期方向的效度研究中强调过的领域——的有力保障，对于长远的安全性来说同样也非常重要。为了最大化这类研究的长远价值，机器学习研究也许会关注对于通用AI系统而言最成问题的预料之外的泛化（unexpected generalization）。其中，目标可能旨在从理论和实际操作上来探究学习到的人类高层级概念的表征在全新的情境中应当如何泛化、如何避免泛化。另外，如果有一些概念能够得到可靠的学习，那么就有可能可以利用这些概念来定义任务和界限，让预期之外的结果出现的概率最小化，即使当自主化AI系统变得非常通用时也能获益。这个方面几乎没有研究，也意味着不管是理论工作还是实验工作都会非常有用。

数学工具——比如形式逻辑、概率、决策理论——已经对推理和决策的基础产生了很大的影响。然而，在推理和决策方面仍然有许多遗留的问题。这些问题如果能得到解决，可能会让强力系统的行为变得更加可靠也更加可预测。这个领域里研究的主题，举例来说，包括Horvitz和Russell提出的有限计算资源下的推理和决策、如何将AI系统的行为和所处环境或其他代理的行为之间的相关性纳入考虑、嵌入环境中的代理应该如何进行推理、以及如何对信念或其他确定性计算（deterministiccomputation）的逻辑结果的不确定性进行推理。这些话题如果放在一起考虑的话或许会有所帮助，因为它们看上去有深刻的联系。

C.安全

无法确定AI领域的长期进步是否会让整体的安全问题变得更简单或更棘手。从一方面来说，系统的结构和行为将变得越来越复杂，而基于AI的网络攻击可能会变得极为有效；从另一方面来说，AI和机器学习技术的运用加上底层系统可靠性的显著进步可能会使得加固后的系统比先进的系统更能抵抗攻击。从加密的角度而言，似乎在这种矛盾中更青睐防御者而不是攻击者；这可能会成为全心全意追求有效的防御研究的一个理由。

虽然短期方向中提到的安全研究可能在长远来看重要性日益增强，非常通用的系统也会有独特的安全问题。例如，如果效度和控制的问题没有得到解决，为可能在控制程度不高的环境下产生不希望的行为和结果的AI系统创造“容器（container）”可能就会非常有用。关于这个问题，理论的一面和实践的一面都值得进行探索。如果将AI放入“容器”被证明是一件难如登天的事，那么可能就会研究AI系统与容器并行的设计，让其弱点与优点为封包策略（containmentstrategy）带来提示。异常检测系统和自动化漏洞检测的设计可能会非常有帮助。总体而言，这种视角——防御来自系统内部和外部的攻击——将会在计算机安全领域引发有趣并且有价值的问题。

D.控制

有人认为，自主运行完成某些任务的通用AI系统将会经常受制于随着“有意义的人类控制”的难度被提高而带来的影响。针对不受制于这些影响、最小化这些影响、或是允许可靠的人类控制的系统的研究，在避免发生不希望出现的结果方面是非常有价值的。

如果一个AI系统正在选择能够完成某项给定任务的最佳行动，那么避开那些会阻止它继续追求完成任务的情况就是一个天然的子目标（而反过来说，追寻不受限制的情况有时候就成了有用的启发）。然而，如果我们想要重新为系统设立目标、解除目标、或是大幅改变它的决策过程，可能就会有问题；一个这样的系统将会理智地避免这些改变。不会表现出这些行为的系统被称为可更改的系统，这个领域中不管是理论研究还是实践工作都有一定历史、也非常有用。例如，有可能将实用功能或决策过程设计得让系统不会试图避免被关机或重新制定目标，而理论架构的研究将更好地让我们理解能回避我们不希望出现的行为的系统。

追求完成某个给定目标的AI系统所拥有的另一个天然的子目标，有人认为是获取各类具有可替代性的资源，例如，环境信息、不受损毁影响的安全位置、以及进一步的行动自由对于许多任务来说都具有工具意义上的实用性。Hammondet al(1995)将更普遍的“由于代理的行动，环境随着时间流逝而变得更适合于此代理”的情况命名为稳定化（stabilization）。这种子目标可能带来我们不希望出现的结果，而对于资源获取或是激进的稳定化是最优策略的情况进行更好的理解就，对于缓解它的影响来说将会非常有用。这个领域中可能的研究主题包括从某种程度上来说范围有限的“内部（domestic）”目标、高时间贴现率对资源获取策略的影响、以及对展现出这些子目标的简单系统的实验探索。