人工智能简史

用户9624935

发布于 2022-04-02 14:58:47

1.5K0

发布于 2022-04-02 14:58:47

文章被收录于专栏：凯云实验室凯云实验室

Artificial Intelligence (AI)，是在1956年的达特茅斯会议上提出来的，标志着人工智能这一学科的诞生。

从1956年到2016年，刚好是60年。在过去的60年里，人工智能经历了三个阶段：

二十世纪五十年代到七十年代：推理期，其出发点是，数学家真聪明。让计算机具有逻辑推理能力：为什么仅有逻辑推理能力不能实现人工智能？困难在哪里？
二十世纪七十年代中期开始：知识期，其出发点是，知识就是力量。让计算机具有知识：由人把知识总结出来，再教给计算机——这是相当困难的。
二十世纪九十年代到现在：学习期，其出发点是，让系统自己学。

同时，也催生了人工智能的三大派别：

符号主义：主要内容是关于符号计算、演算和逻辑推理，用演算和推理的办法来证明。比如说像机器证明就是符号主义。
连接主义：目前非常流行的神经网络、神经元网络、深度学习，这些都是连接主义。
行为主义：行为主义其实是从控制论衍生出来的，目前提及较少，但不能忽略。

作者注：关于学派的分法，《终极算法》一书分为五类：符号学派，联结学派，进化学派，贝叶斯学派和类推学派。

人工智能的三个派别和三个阶段并没有对应和界限，三个派别是在三个阶段的交织中发展起来的。著名信息论和人工智能专家钟义信在《弘扬Simon的源头创新精神，开拓AI的新理念新路径》报告中指出三大学派的的出现是一直以来还原论把复杂的系统分而治之研究的结果。因为整体上解决智能问题在物理和数学上都存在巨大的困难，所以在模仿大脑的功能研究上，出现了符号主义；在模仿大脑结构的研究上，出现了连接主义，在模仿人类行为的研究上（什么样的环境刺激会产生什么样的行为反应），出现了行为主义。

作者注：看待人工智能的历史，要把人工智能的历史和神经网路的历史稍微区分一下，不能把神经网络的历史看作是人工智能的历史。所以本文不单独列举神经网络的发展历史和重大事件，留在下一篇文章中探讨。

人工智能发展的过程中，经历了三次大事件，这些大事件导致了人工智能的发展进入三次低谷，被称为"AI winter"：

1973年，英国发表了James Lighthill报告，批评人工智能研究进展令人失望，建议取消机器人的研究。为了回应批评和国会的压力，美国和英国政府停止了人工智能研究的资助。
1992年，日本智能（第五代）计算机的研制宣告失败。这次失败有一个收获，是在潘云鹤《人工智能走向2.0》一文指出的，这次失败表明：驱动人工智能的发展主要靠创新的知识和软件，硬件的作用是支持其运行。
在80年代，也诞生了cyc项目，一个包含所有人类常识的数据库。该项目随着互联网搜索引擎的崛起而衰败。潘云鹤在《人工智能走向2.0》指出：海量知识不能靠专家人工表达，要从环境中自动学习。也就是周志华指出的：由人把知识总结出来，再教给计算机——这是相当困难的。

在过去的60年里，人工智能领域共有8位科学家成为图领奖得主：

1969，Marvin Minsky：奖励他在创造，塑造，推动和加速人工智能这一领域的核心作用。
1971，John McCarthy：麦卡锡的讲座《人工智能的研究现状》概括了他在人工智能领域的成就，也概括了值得奖励的原因。
1975，Allen Newell and Herbert A. Simon：奖励他们在二十多年的联合科学工作中，最初与兰德公司的JC Shaw合作，随后与卡内基梅隆大学的众多教师和学生同事合作，对人工智能，人类认知心理学和列表处理方面做出的基础贡献。
1994，Edward Feigenbaum and Raj Reddy：奖励他们在开创了大规模人工智能系统的设计和建造，展示了人工智能技术的实际重要性和潜在的商业影响。
2010，Leslie G. Valiant：奖励他对于计算理论的变革性贡献，包括可能近似正确（PAC）学习的理论，枚举和代数计算的复杂性以及并行和分布式计算的理论。
2011，Judea Pearl：奖励他对人工智能的基础贡献：概率和因果推理的微积分。

上面这8位科学家，Marvin Minsky是MIT教授，最早提出连接主义，后来发表的《Perceptrons》一书指出感知机无法处理异或问题，导致连接主义长时间陷入低谷。不过著名信息论和人工智能专家钟义信说，另一个方面来看，马文·明斯基指出这个问题以后，经过人们的研究，提出了所谓的多层感知机，我们只要增加一个顶层就可以极大地提高神经网络表达的能力，可以逼近任意的问题。所以这个事情又从它的负面走向了正面，产生了积极的效果。

John McCarthy，Allen Newell， Herbert A. Simon、Edward Feigenbaum几位都是非常典型的符号主义代表，他们最早推动了机器证明、人工智能、通用人工智能机、知识工程的进步。

作者注：值得一提的是Herbert A. Simon是美国卡内基－梅隆大学心理学教授，1978年诺贝尔奖金获得者（经济学）。1968-1972年任美国总统科学顾问、行为科学和人工智能的创始人之一。西蒙教授为科学界的知名学者，在企业管理、计算机设计和决策理论方面有所创见。

Raj Reddy主要是做语音识别的，李开复、沈向阳的老师。

Leslie G. Valiant的贡献是机器学习理论，Judea Pearl的贡献是概率计算和因果推理，高文院士说，他们的工作是未来人工智能的重点走向。

以上从分别从三个时期，三大学派，三次大事件以及8位图领奖得主的角度，总结了人工智能的简史。以下是我的一些不成熟思考：

第一，计算的本质与智能的本质。《类脑智能研究的回顾和展望》指出，现有人工智能系统通用性较差与其计算理论基础和系统设计原理有密不可分的关系。计算机的计算本质和基础架构是图灵机模型和冯诺伊曼体系结构，其共同的缺点是缺乏自适应性。图灵计算的本质是使用预定义的规则对一组输入符号进行处理，规则是限定的，输入也受限于预定义的形式。图灵机模型取决于人对物理世界的认知程度，因此人限定了机器描述问题，解决问题的程度。而冯诺伊曼体系结构是存储程序式计算，程序也是预先设定好的，无法根据外界的变化和需求的变化进行自我演化。总结来看，计算的本质可以用一个数学公式f(x)=y来表达，是问题求解的范畴。

那智能的本质是什么？如何表达？著名信息论和人工智能专家钟义信给了一个探讨性的定义：智能一定是在环境的作用下，人跟环境相互作用，不断的去学习，不断的去进化，在这个过程当中展开了智能的活动。反之，如果没有这种主体跟客体的相互作用，如果一切都是十全十美，如果不需要做出任何的改进，那就不需要思考、不需要学习，也就不需要智能。所以，一定要在主体跟客体相互作用过程当中来考察智能才有意义。李衍达院士在《沿Simon 开拓下去》的报告中探讨了智能的功能与智能的机理问题，指出基因的层次没有鸿沟，人和所有生物的机理是相同的，区别的是进化：自动适应外界变化而优化自身结构的功能。而且人脑在进化过程里面通过DNA的改变，改变了神经元的连接，这个连接既记录了学习的结果，又优化了学习算法。既简化了所需要的元件，又节省了能耗，非常巧妙。

智能路径：感知反应->条件反射（存储，记忆）->决策（意志、欲望和目的）

第二，关于程序员转型。和第一个问题有关，我们都是学习图灵机模型和冯诺伊曼架构长大的，思维方式相对固定。深度学习今年非常火爆，程序员又要开始转型。关于转型，我注意到几个论调：

转型深度学习，数学是首要的基础；
转型深度学习，开始大量学习TensorFlow框架；
大二大三优秀学生学习起来很快，有经验的程序员学习来很苦；

以上我都不太认同，人类是万物之灵，遇到新问题，学习新东西，再正常不过的事情，何来转型之说？如果非要说有什么需要转变，我觉得是到思维方式的转变：

数学只是工具，TensorFlow只是封装的平台，而深度学习是有理论瓶颈的，工程界一直以来轻视学术的思维定势需要改变了。国内程序员同时是科学家的太少了，科学家有点高，做个学者吧。感觉要做一个好的科学家，不只是研究技术，而是在研究哲学，研究一些物质的本质、规律，研究一些最基础的东西。
大多数程序员都是“程序员”思维，这是软件工业化的结果。重接口，重输入，重交付，这是一种软件外包的思维。输入是什么？输出是什么？程序如何实现？这些都造成了思维懒惰的一代程序员，从来不去问为什么程序这么做。而深度学习恰恰是讨论程序为什么这么实现的问题，其输出是模型，是算法。这是程序员需要改变的思维方式。
人工智能更强调创新，特别是源头创新。在这个领域，有大量的问题都是崭新的，需要采用一些数学理论，结合实际需求来探索。我们在学习机器学习理论和算法的时候，需要有意识的突破已有的认知，特别是图灵机模型和冯诺伊曼体系结构。

第三，脑复杂？还是环境复杂？傅小兰在《Simon与认知科学研究》报告中提到了《分布式认知》，指出认知现象在认知主体和环境间分布的本质：认知既分布于个体内与个体间，也分布于媒介、环境、文化、社会和时间等之中（Cole & Engestrom, 1993）。Herbert A. Simon 也指出，一个人，若视作行为系统，是很简单的。他的行为随时间而表现出的表面复杂性主要是他所处环境的复杂性的反映。人——或至少人的智力要素——也许是比较简单的，人的行为的复杂性也许大半来自人的环境，来自人对优秀设计的搜索，因此，“在相当大的程度上，要研究人类便要研究设计科学。它不仅是技术教育的专业要素，也是每个知书识字人的核心学科”。

第四，从上而下还是从下而上？人工智能从上而下研究的开创者和代表人物是Herbert A. Simon，他当时想到，人的大脑活动是分层次的，在底层的机理没有搞清楚时，他认为也不妨碍对于高层概念、推理、问题求解层次进行研究。符号学派就是自上而下的典型代表，但至今符号学派一直受到自下而上的连接主义压制。自下而上的代表是日本的第五代计算机计划，东京大学元岗达教授提出“第五代计算机的构想”，随后日本制定了研制五代机的十年计划，总预算达4.3亿美元。以渊一博为所长的“新一代计算机技术研究所”苦苦奋战了近十年，他们几乎没有回过家，近乎玩命式的拼搏；然而，由于没有突破关键性技术难题，无法实现自然语言人机对话，程序自动生成等目标，最终于1992年宣告失败！这或许也是图灵机模型和冯诺伊曼架构的失败。然而，峰回路转，得益于分布式计算和大数据时代，深度学习成为主流的自下而上方法。近五年来，深度学习在“视”、“听”、“说”等领域取得了的巨大成功，但这还不能表明自下而上的胜利或者神经网络模型的正确。神经网络只是从下而上对大脑的粗糙模拟和抽象，是否是正确的大脑学习隐喻还不得而知。但神经网络的成功又引发了一些自下而上的尝试，据称IBM有一个名为“突触”的项目，研究芯片级类脑计算设备，支持低频率，低功耗，和大量链接等神经网络功能。

第五，鲁棒性？可解释性？魔术性？这几个问题是现在机器学习，特别是深度学习面临的主要问题。人类犯错：水平从九段降到八段，机器犯错：水平从九段降到业余，这就是鲁棒性。鲁棒性要求，“好的时候”要好，“坏的时候”不能太坏。在封闭静态环境中，重要因素大多是“定”的，而在开放动态环境中，一切都是变的，开放环境的鲁棒性，这也是自动驾驶面临的困难所在。关于可解释性，也被称为深度学习的黑箱模型。若学习器不能给出治疗理由，则难以说服患者接受昂贵的治疗方案。若学习器不能给出停机检测的理由，则难以判断停机检测的风险和代价。这些案例都需要机器学习的模型给出解释，否则难以应用到难以用于高风险应用。而机器学习魔术性是指即便相同数据，普通用户很难获得机器学习专家级性能。就是专家之间，是特别考验团队实力的，也有一点运气在里面。门派都一样，功力不一般。

第六，目前的研究热点和我的方向。深度学习是很火的，不过周志华说的很中肯：“深度学习中间还有很多困难而又重要的问题值得深入研究，但这些真正值得研究的问题，就我看到的情况而言，好像做的人非常少。大多数人在干什么呢？拿它做做应用，调调参数，性能刷几个点，然后发几篇文章。这样虽然容易发表文章，但恐怕很难产生有影响的成果。” 另外，周志华在引领集成学习的发展方向，CCAI17可以看到一些方向，中国香港科技大学计算机系主任杨强谈到的迁移学习，日本理化学研究所杉山将谈到的弱监督机器学习等。我的计划是，从历史中观其大略；感知机，神经网络，反向传播，深度学习是一条线，已经是必备的基础了；然后向增强学习发力；在技术上打通分布式系统，大数据和机器学习；在业务和需求上结合金融场景。