【NSR特别专题】周志华：机器学习的挑战和影响：Thomas Dietterich访谈「全文翻译」

编者按：《国家科学评论》于2018年1月发表“机器学习”特别专题，由周志华教授组织并撰写文章。专题内容还包括对AAAI前主席Tom Dietterich的访谈，徐宗本院士、杨强教授、朱军博士、李航博士、张坤博士和Bernhard Scholkopf等人的精彩文章。

本文是对美国俄勒冈州立大学计算机科学名誉教授、人工智能 协会（AAAI，人工智能领域最负盛名的协会）前主席、国际机器学习协会的创始主席Thomas Dietterich的访谈，原作者是周志华教授。

本文为全文翻译。本专题的更多翻译文章将陆续刊出。

机器学习的挑战和影响：Thomas Dietterich访谈

作者：周志华

翻译：叶奎

校对：宋平

摘要

机器学习是当今人工智能（AI）浪潮的驱动力。在接受NSR采访时，美国俄勒冈州立大学计算机科学名誉教授、人工智能 协会（AAAI，人工智能领域最负盛名的协会）前主席、国际机器学习协会的创始主席Thomas Dietterich谈到了机器学习的最新进展和技术挑战，以及它对世界的巨大影响。

机器学习为什么重要

NSR：机器学习为什么有用？

Dietterich：机器学习为开发高性能软件提供了一种新方法。在传统的软件工程中，我们与用户交谈并制定需求，然后设计、实施并测试算法以实现这些需求。通过机器学习，我们仍然制定软件系统的总体目标，但我们自己不设计算法，而是收集训练数据（通常通过人工标注数据来收集），然后应用机器学习算法自动学习所需的功能。

这种新的方法使我们能够开发软件来解决以前的软件工程方法无法解决的许多问题。比如说，以前用于视觉目标检测和识别、语音识别、语言翻译的方法，性能还达不到可用水平。但随着机器学习的发展，一些系统在这些任务上的准确率能够与人类相媲美（或多或少）。

因此，机器学习作为一项关键技术，可实现诸如汽车自动驾驶、实时驾驶指令、跨语言的用户界面、支持语音的用户界面等应用程序。机器学习对网络搜索引擎、推荐系统、个性化广告也很有价值。许多人预测机器学习方法将带来医学革命，尤其是在医学图像的自动收集和分析等方面。机器学习也可用于改善现代公司的许多运作环节。例如，机器学习可以帮助预测客户需求并优化供应链。机器学习还是训练机器人执行柔性制造任务的关键技术。

NSR：为什么机器学习对科学界和社会都很重要？

Dietterich：机器学习方法有助于数据收集和分析。例如，应用机器学习方法来分析大型强子对撞机收集的大量数据。同时机器学习技术对分析天文数据也至关重要。机器学习技术能够协助设计实验，帮助科学家来决定收集哪些数据。机器人系统可以在实验室或现实世界中自动执行这些实验。例如，由Ross King开发的“自动化科学家”（Automated Scientist）能够自己设计、执行和分析自己的实验。远洋滑翔机器人就是由AI系统控制的。机器学习技术已经开始应用于控制无人机来收集生态系统数据和城市数据。

随着机器学习的发展，我们现在拥有的系统，能够以与人类相媲美的准确度[识别图像中的目标、识别语音、翻译语言]。---- Thomas Dietterich

我自己的研究侧重于应用机器学习来改善我们对地球生态系统的管理。例如，俄勒冈州经常发生由闪电引起的森林火灾。这些火灾可能破坏濒危物种的栖息地，并烧毁本来可以用于建造房屋的树木。造成这些大火的原因之一，是多年以来美国压制了每一场火灾。这不仅非常消耗财力，还让燃料在森林中积聚，以致当新的火灾开始时，它燃烧得非常猛烈且更具破坏性。我们正在应用机器学习（强化学习）方法来发现一些好的规则，指导我们确定哪些火灾应该被扑灭，以及哪些火灾应该让它自然燃烧。这些规则可以节省资金并帮助保护濒危物种。

机器学习方法也可用于绘制熊猫等濒危物种的位置和分布。在美国，我们开发了新的机器学习方法来预测和理解鸟类迁徙。类似的问题还包括新疾病的传播、空气污染的传播、交通流的传播等。

在商业和金融领域，机器学习方法可以帮助识别欺诈和盗窃。我的小组一直在研究异常检测的算法，它可以识别异常交易并将这些异常情况呈送给执法分析人员。

机器学习方法也可以促进“智慧城市”的发展。我提到过交通管理和污染测绘，机器学习技术还可以用来识别哪里需要新的基础设施（例如供水、电力、互联网）。在美国，机器学习已被应用于绘制含铅涂料的分布，这种含铅涂料被用在20世纪的旧建筑物中，还是一种神经毒素。

关于深度学习

NSR：您能评价一下深度学习的优势和缺点吗？

Dietterich：近期最激动人心的进展是深度学习方法的研究浪潮。大多数机器学习方法要求数据科学家定义一组“特征”来描述每个输入。例如，为了识别图像中的对象，数据科学家首先需要从图像中提取特征，例如边缘、斑点、纹理区域等。然后将这些特征输入到机器学习算法中以识别物体。深度学习让我们能够将原始图像（像素）输入给学习算法，而无需预先定义和提取特征。我们发现深度学习能够学到好的特征，且比我们手动提取的特征要好得多。因此，在输入（例如图像、语音信号等）与输出（例如对象、句子等）之间存在很大差距的问题中，深度学习能够比以前的机器学习方法做得更好。

但是，在许多问题中，特征是很容易获取的。例如，在欺诈检测中，我们可能会检查信用卡交易的次数，何时何地交易等。这些已经是高层特征，在这样的应用中，深度学习并不能提供太多的益处（如果有的话）。同时深度学习算法也很难训练，需要耗费大量时间，所以在大多数问题中，它们并不是首选方法。

深度学习是机器学习的一种特殊方法，使用起来相当困难，所以在特征容易获取的问题中，使用随机森林或增强树等方法通常会更好。这些方法非常易于使用，并且几乎不需要经验。它们还比深度学习方法快很多个数量级，因此它们可以在笔记本电脑或智能手机上运行，而不需要GPU超级计算机。机器学习工作的一个重要目标是使机器学习技术能够被只受过很少机器学习培训的人，或没正式接受机器学习培训的人员使用。我是BigML的公司的首席科学家，该公司开发了基于云的机器学习服务，这些服务非常易于使用。它们都基于决策树方法（包括提升树和随机森林）。

也有一些有趣的方法将深度学习与标准AI技术结合起来。最好的例子是Alpha Go，它结合了深度学习（分析棋局上的棋子分布）和蒙特卡洛树搜索（搜索棋局的未来状态以确定不同落子的影响）。同样，自动驾驶汽车将顶层软件（用于安全、控制、用户界面）与用于计算机视觉和活动识别的深度学习方法结合在一起。

近期最激动人心的最新进展是深度学习方法的研究浪潮。— Thomas Dietterich

机器学习的研究挑战

NSR：能否评论一下机器学习的研究挑战？

Dietterich： 机器学习有许多重要的研究挑战。第一个挑战是改进无监督和强化学习的方法。几乎所有最近的进展都在所谓的“监督学习”领域----有一个“老师”告诉计算机每个训练示例的正确答案。然而，在很多问题中我们缺乏老师，但拥有大量数据。一个例子是检测异常交易或欺诈性易。就要开发可以从这些数据中学习而无需老师的“异常检测”算法。普遍而言，有很多种“无监督”的学习算法可以在没有老师的情况下学习。

另一个需要更多研究的领域是强化学习。强化学习通过给予奖励或惩罚来训练计算机执行复杂的任务。在许多问题中，计算机可以自己计算奖励，这可以让计算机通过反复试验来学习，而不是从有老师监督的样本中学习。强化学习在控制问题中特别有用（如自动驾驶、机器人以及我之前提到的火灾管理问题等）。强化学习方法的速度仍然非常缓慢并且难以应用，因此研究人员正在研究加速方法。且现有的强化学习算法只可以在单一时间尺度上运行，这使得这些方法很难适用在有多个不同时间尺度的问题上。例如，通过将汽车保持在车道内来驾驶汽车的强化学习算法，无法学会规划从一个位置到另一个位置的路线，因为这些决策发生在非常不同的时间尺度上。关于分层强化学习的研究正试图解决这个问题。

机器学习的第二个主要研究是验证、确认、信任问题。传统的软件系统通常包含一些缺陷(bug)，但是因为软件工程师可以读取程序代码，所以他们可用设计好的测试来检查软件是否正常工作。但机器学习的结果是一个“黑箱”系统，它接受输入并产生输出，但很难检查。因此，机器学习研究中一个非常活跃的方向就是开发出使机器学习系统更易解释的方法（例如通过提供解释或将其结果转化为易于理解的形式）。还有一些关于自动检验和确认黑箱系统的研究。最有趣的新方向之一是制造自动化的“对手”，让它试图破坏机器学习系统。这种方法通常能够发现导致已学习程序（learned program）失败的输入。

相关的研究领域是“鲁棒机器学习”。我们希望鲁棒机器学习算法能在前提假设不成立的情况下，也能很好地工作。机器学习中最大的假设是，训练数据是独立分布的，且能够很好地代表未来系统的输入。一些研究人员正在探索如何使机器学习系统对这种假设不成立的情况更加鲁棒。

机器学习的第三大挑战是偏差问题。收集数据的方式往往存在偏差。例如，关于新药有效性的实验只在男性身上进行。机器学习系统可能会学到，这些药物只对35岁以上的人有效。但在女性身上的实验，效果可能完全不同。在一家公司中，数据可能是从当前客户那里收集的，但这些数据对预测新客户的行为可能没有用处，因为新客户可能在某种重要方面有所不同（比如更年轻、更熟悉互联网等）。目前的研究正在开发方法以检测这种偏差，并开发能够从这些偏差中恢复回来的学习算法。

关于高级AI的威胁

NSR:随着机器学习的快速发展，人类工作会受到机器的威胁吗？你能否评论“奇点理论”和有关高级人工智能风险的观点？

Dietterich：像所有新技术一样，机器学习肯定会改变就业市场。涉及简单重复活动的工作---- 无论是重复的体力劳动（如工厂工作和卡车驾驶）还是重复的智力活动（如法律、会计和医药方面的许多工作）---- 至少可能部分被软件和机器人取代。与工业革命一样，随着这些新技术的发展，经济格局可能会发生巨大变化（disruption）。重要的是机器学习和AI是否也会创造新的工作。这也在工业革命时期发生过，我认为这将在AI革命中再次发生。不过很难预测这些新工作会是什么。

我考虑了当互联网发展时发生了什么。20世纪80年代初，互联网协议刚发展起来并得到部署，那时我还是一名研究生。这些协议旨在使文件从一台计算机移动到另一台计算机，以及从本地计算机登录到远程计算机变得容易。我们当时并不知道万维网、搜索引擎、电子商务或社交网络！这意味着我们也没有预测到由此产生的新工作（网页设计师、用户体验工程师、数字广告、推荐系统设计师、网络安全工程师等）。

类似地，我认为今天预测未来的工作将会如何也是同样非常困难的。肯定会有工作产生在创建、训练、定制和维护AI系统的环节中。我怀疑将大多数现有工作完全自动化并不划算。相反，也许每项工作的80％都是自动化的，而人类只需要完成剩下的20％。这样一来，人类变得更有价值，并会得到很好的报酬。

我相信同理心，作为众多人类工作的一个方面，是很难自动化的。机器人和人工智能系统的经历与人类完全不同。不像人，他们将无法换位思考，因而无法理解人类并与人类产生同理心。他们需要像外星人或像“星际迷航”中的数据指挥官一样进行学习，才能预测和理解人类的情感。相反，人类自然而然就能做到这些，因为我们都知道身为一个人是什么感觉。因此，涉及同理心的工作（如咨询，辅导，管理，客户服务）是最不可能实现令人满意的自动化的。如果人类客户对“真实的人际互动”给予了重视，而不是接受与机器人或自动化系统的互动，这一认识就更确信了。

如果大部分工业和农业生产变得自动化，且其获得的财富均匀分布在整个社会，那么人类将有更多时间做其他事情。去参观其他国家和体验其他文化可能会变得比现在普及。体育、游戏、音乐、艺术也可能变得更流行。一百年前，按摩或修脚服务非常罕见，而现在这些几乎到处都有。谁知道人们会想要做什么，以及他们将在100年后想有什么体验？

关于“奇点”，有两种不同的流行概念。让我来分别谈谈。Ray Kurzweil的著作所说的奇点是说，由于许多技术指数级发展，我们很难看到遥远的未来。这是'技术奇点'的观点。一个真正数学意义上的奇点是指在这个点上，技术无限快地进步。但这是不可能的，因为所有技术都有限制（尽管我们不知道它们是什么）。赫伯特斯坦因（Herbert Stein）有一条著名的经济学定律：“如果一件事不能永远持续下去，它就会停下来。”这对摩尔定律来说是正确的，且对所有的AI技术都是如此。然而，尽管真正数学意义上的奇点是不可能的，但我们目前正在经历AI系统能力的指数级增长，所以他们在未来的能力将与他们当前的能力大不相同，并且准确地推断也是不可能的。所以我相信Kurzweil是正确的，在这个以指数级变化的未来，我们难以看得很远。

“奇点”的第二个概念是指所谓超级智能的崛起。英国数学家I.J. Good首先在1965年的一篇文章中认为，在某个时间点，人工智能技术将跨越一个阈值，跨越之后它能不断地提高自身的能力，接着它将迅速提升自己，并且比人类智能得多。这将是人类的“最后发明”。通常，阈值被假定为“人类级别AI”，即AI系统能够匹敌人类智能。由于几个原因，我不相信这个说法。首先，机器学习的整个目标是创建可以自主学习的计算机系统。这是一种自我改进的形式（通常它被用来改进学习系统本身，因此是递归式的自我改进）。然而，这样的系统在一次迭代之后就再也没有进步。也就是说，他们提升自己，但是最终的系统无法自我改善。我认为其原因是我们将问题看作是函数优化的问题，一旦找到了函数的最优值，根据定义，进一步的优化无法改进它。为了保持指数级的改进，每项技术都需要反复突破。例如，摩尔定律不是一个单一的过程，而是实际上是阶梯形的改进过程，其每个“台阶”都涉及不同的突破。我认为这就回到了Kurzweil所说的技术奇点，而不是超级智能。

其次，关于超级智能的争论是以匹敌人类智能为门槛，这是非常令人怀疑的。这让我觉得像是哥白尼和达尔文所推翻的错误想法。人类智能与计算机可以达到的智能可能并无不同。我们遇到的限制可能由很多因素决定，包括我们大脑的大小和计算能力，我们在地球上的生活时长，以及我们每个人都必须独立学习的事实（而不是像并行和分布式计算机）。与人类相比，计算机在各种各样的任务上都更加智能化，比如作业车间调度、路线规划、飞机控制、复杂系统（例如大气）仿真、网络搜索、记忆、算术、某些形式的定理证明等等。但是，这些超人类能力都没有导致I.J. Good所描述的那种超级智能。

第三，我们在人类中观察到，智能往往涉及广度而非深度。像斯蒂芬霍金（StephenHawking）这样伟大的物理学家在宇宙学方面比我更聪明，但是我在机器学习方面比他懂得更多。此外，实验表明，经过努力而成为某个领域的专家，其实在大多数其他方面并不比平均水平好。这表明，将智能比作梯子上的台阶----递归自我改进论据的基础----是错误的比喻。相反，我们应该把智能比喻为液体在桌子表面蔓延或隐喻为生物多样性，其中每条知识分支都在人类智能雨林中贡献着自己的力量。这个比喻没有喻指某种阈值，一旦超过，就会导致超级智能。

Kurzweil关于奇点的观点是正确的，并不意味着AI技术本质上是安全的，或我们没有什么可担心的。远不是这样。事实上，随着计算机变得更加智能化，我们趋向于让他们负责一些高风险决策比如控制自动驾驶汽车、管理电网或打仗（作为自主武器系统）等。正如我上面提到的那样，今天的机器学习技术不够可靠或不健全，以致不能委托其进行这种危险的决策。我非常担心，由于机器学习组件中存在一些错误，AI技术的过早部署可能会导致严重的生命损失。就像“2001太空漫游（A Space Odyssey）”中的HAL 9000一样，计算机可以“接管世界”，因为我们给他们权限能够自主控制重要系统，然后出现了编程错误或机器学习失败。我不相信电脑会自发地“决定”接管世界;那只是一部科幻小说的故事情节。我也不相信电脑会“想要像我们一样”；那是另一个故事线索，至少可以追溯到匹诺曹的故事（也许在中国文化中还有一个更老的故事？）。

我认为人们应该参与进所有这些高风险决策过程中来。— Thomas Dietterich

人类可能并不像计算机一样能够准确或快速地做出决定，但我们对这个世界难以预料的方面表现得更加鲁棒，因此能够更好地识别和响应计算机系统中的故障。出于这个原因，我认为人们应该参与进所有这些高风险决策过程中来。

其它

NSR：在美国，许多机器学习教授已经加入了大公司。您能评论一下吗？

Dietterich：是的，教授们进入公司后出现了巨大的“人才流失”。 让我来讨论其原因和影响。有几个原因。首先，由于许多公司正在参与开发新AI产品的竞赛，所以他们向这些教授提供非常高的薪水。其次，由于许多机器学习技术（尤其是深度学习）需要大量数据，并且公司能够收集大量数据，因此在公司进行大数据和深度学习研究比在大学更容易。第三，公司也可以购买或开发用于深度学习的专用计算机，例如GPU计算机或Google的张量处理单元（TPU），而这是在大学里很难做到的事情。

这有什么影响呢？主要的影响是，大学不能像过去那样培养那么多的AI和机器学习方向的学生，因为他们缺乏教学和指导研究的教授。大学也缺乏大数据集和特殊计算机（像GPU等）。工业界和政府应该提供资金收集数据集和购买专用计算机，来解决这些问题。我不确定政府如何解决人才流失问题，但他们可以解决数据和计算问题。

除了大数据和深度学习方面的工作之外，所有其他形式的机器学习（以及我上面列出的所有挑战）很容易在大学实验室中学习。例如，在俄勒冈州立大学的实验室中，我们正在研究异常检测、强化学习和鲁棒机器学习。

NSR：你能否评论一下中国的对该领域的贡献和影响？你是否感到有任何因素妨碍中国研究人员产生更大影响？

Dietterich：（在中国境内外工作的）中国科学家正在为机器学习和人工智能技术的发展做出巨大贡献。中国是深度语音识别和深度自然语言翻译的领导者，在中国政府和工业界对人工智能研究方面的重大投资下，我相信中国研究人员将会做出更多贡献。我认为妨碍中国研究人员产生更大影响的最大障碍是交流。大多数计算机科学研究以英文出版，由于英语对于中国人来说难以学习，这使得中国科学家很难撰写发表出有重大影响的论文和展示。同样的问题也发生西方。中国现在是人工智能研究的主要阵营之一（我猜想至少有25％）。不懂中文的西方人对中国的进步了解缓慢。我希望持续改进的语言翻译技术将有助于降低语言障碍。一个相关的交流问题是中国与世界其他地区之间的互联网连接通常很难使用。这使得召开电话会议或Skype会议变得很困难，而这通常意味着中国的研究人员不会被纳入国际研究项目。

NSR：你会对正进入这个领域的年轻研究人员有什么建议？

Dietterich：我的第一个建议是，学生尽可能多地学习数学。数学是机器学习的核心，数学很难独自学习。所以我建议大学的所有学生学习数学。我的第二个建议是尽可能多地阅读文献。不要只是阅读深度学习论文，而是要研究机器学习理论、人工智能、算法。新的学习算法源自对数学和优化问题结构的深刻理解。不要忘记，其他分支知识（例如统计学、运筹学、信息论、经济学、博弈论、科学哲学、神经科学、心理学）中的想法对于机器学习和人工智能的发展非常重要。获得在团队中工作的经验是很有价值的。今天的大多数研究都是合作型的，所以你应该练习团队工作并学习如何解决矛盾。最后，培养你在编程和沟通方面的技能很重要。学会编程并掌握最新的软件工程工具。学会写作并善于演讲。这不仅仅是学习英语语法和词汇。你必须学会在具体的场合里，讲述一个关于你的研究的引人入胜的故事，并在其中提出核心思想。

• 《国家科学评论》（National Science Review, NSR）是我国第一份英文版自然科学综述性学术期刊，定位于全方位、多角度反映中外科学研究的重要成就，深度解读重大科技事件、重要科技政策，旨在展示世界（尤其是我国）前沿研究和热点研究的最新进展和代表性成果，引领学科发展，促进学术交流。NSR的报道范围涵盖数理科学、化学科学、生命科学、地球科学、材料科学、信息科学等六大领域。基于科睿唯安发布的2016年度的期刊引证报告（Journal Citation Reports，JCR），NSR的最新影响因子达到8.843，稳居全球多学科综合类期刊的第五名（8%，Q1）。NSR发表的所有论文全文可以在线免费阅读和下载。
• 本文经《National Science Review》(NSR,《国家科学评论》英文版）授权翻译，“机器学习”专题的更多翻译文章将陆续刊出。