美人工智能发展联盟主席探讨人工智能的崛起

2015年10月，美国人工智能发展联盟（Association for theAdvancement of Artificial Intelligence，AAAI）主席Tom Dietterich和副主席Eric Horvitz在美国计算机学会通讯（CACM）刊发联合文章，对人工智能的崛起阐述了自己的观点。

他们讨论了近年来公众和媒体对人工智能日益增加的焦虑，分析了人工智能的进展并慎重地阐述了各种风险，强调了与人工智能和其他计算机科学相关的研究，包括人机交互、验证和安全性，并呼吁更多的投资，以更好地了解和解决不同的风险。其主要观点如下：

在过去一年，由于几位名人关于人工智能对未来人性威胁的言论，人工智能进入了公众视线。在过去几十年里，基于人工智能的自动感知、学习、推理和决策等已经成为人们生活中的普遍现象。

现在人们看到的人工智能只是即将到来的丰富内容的一小部分。例如，对当前人工智能技术的应用有可能拯救千百万生命。长期来看，机器智能的进步将会给医疗保健、教育、交通、商业和科学的整体进步带来深刻的良好影响。除了研发新的应用和服务，对智能计算基础的深入考察会帮助人们揭示关于认知的新规则，可以帮助回答一些在神经生物学、心理学和哲学上长期存在的问题。

人工智能的进展及新的基于人工智能的自动化系统的前景刺激着人们对与人工智能相关的潜在风险进行思考。

有一些来自非计算机科学领域的杰出人才阐述了他们关于人工智能系统可能对人类生存造成威胁的担心。有人担心机器会拥有超级智能并变得难以控制。有几位甚至幻想会出现“智能连锁反应”，即人工智能系统具有了能够递归设计越来越智能的版本的任务，并最终造成“智能爆炸”。尽管还有没有人正式地研究这种可能性，但这个过程与人们对学习和推理算法在计算复杂度上有界的认识是相违背的。然而，自我设计和优化的过程仍然可能会导致功能的突然提升。

我们相信计算机科学家必须继续考察机器智能失控的可能性，即使我们认为这种风险在遥远的将来都非常小。更重要的是，我们敦促计算机科学研究界密切关注关于人工智能的第二类近期挑战。随着人类社会在做高风险决策时越来越依赖于自动或半自动计算机系统，这些风险变得日益突出。特别地，我们指出五类风险：漏洞，网络安全，“魔法师的学徒”，共享的自主性，和社会经济影响。

风险1：人工智能软件的编程错误

人们对一般的软件错误都很熟悉，漏洞一般来自于软件应用和服务的开发与部署阶段，一些软件错误甚至可能带来非常大的代价甚至是死亡。

许多已经开发出的非人工智能软件系统具有很高的质量，例如自动驾驶系统和飞船系统必须经过严格的测试和认证，人工智能系统也需要同样的标准。一个技术挑战是必须保证通过机器学习方法开发出的系统能够正常运行，另一个挑战是要保证人工智能系统遇到意外情况时能够运行良好。

风险2：网络安全

在面对网络攻击时，人工智能算法像其他软件一样脆弱。当人们推出新的人工智能系统时，必须考虑它可能面对的新的攻击。例如，通过操纵训练数据或偏好信息和实用新型（约十个国家法律承认的一种保护发明）交易，对手有可能改变这些系统的行为。人们需要考虑网络攻击对人工智能系统的影响，特别是在用人工智能方法做高风险决策的时候。美国的很多投资机构和公司正在支持大规模的网络安全研究项目，人工智能技术自身也会提供新方法来检测并防御网络攻击。在将人工智能用于高风险决策之前，人们必须确认这些系统能够对抗大规模的网络攻击。

风险3：“魔法师的学徒”

假设人们要求自动驾驶汽车尽快赶到机场，自动驾驶系统是否会将汽车速度设定为123英里/小时，而置行人和其他驾驶者的安全于不顾？这不是一个新问题。所有人工智能系统都要遵循的一个重要原则是在与人的交互中必须推测人的真正意图，而不是机械地执行命令。任何人工智能系统必须分析并理解人所要求的一个行为是否会被大多数人判定为正常或者合理的。除了依赖内部机制来保证行为适当，人工智能系统需要具有与人一同工作的“能力”和“责任”，来获得答复和指导。它们必须知道应该在什么时候停止和询问方向，并能够随时接受答复。

风险4：共享的自主性

建立这样的合作系统带来了第四类风险，即由参与的不确定性及状态和目标的清晰度带来的挑战。创建能够随着人与人工智能系统变化而改变控制的实时系统是很困难的。例如，航空事故的发生经常与驾驶员要求解除自动驾驶时的误解有关。在这个问题上，人工智能方法能够通过预测何时需要人工控制及向人们提供需要的关键信息等方式帮助解决这些问题。

风险5：社会经济影响

第五类风险来自于急速增长的自动化技术对社会经济和财富分配产生的广泛影响。有几方面的证据显示，基于人工智能的自动化技术至少应该对人均国内生产总值与平均工资之间日益加大的差距负部分责任。人们需要更广泛地理解人工智能对就业和经济的影响。这些问题超出了计算机科学的领域，进入了经济政策的范畴。

前面的四类挑战已经受到研究关注，但仍需更大努力。我们敦促我们的同行及工业和政府资助机构更加重视软件质量，网络安全和人机协同工作，因为人们在一些对安全要求很高的功能上越来越多地依赖于人工智能。

同时，我们相信人工智能需要长期的学术研究关注。在与经济、政治科学及其他学科的同事一起工作时，我们应该指出自动化技术可能对经济领域造成破坏。对于超级智慧或其他可能由人工智能暂时失控带来的后果，也需要更深刻的研究来理解。如果我们发现有很大风险，就必须采取有效措施来中和并降低这种风险。我们应该研究并让社会了解这种关注。