理解计算：从√2到AlphaGo——第2季神经计算的历史背景

原创

SIGAI学习与实践平台

修改于 2018-07-02 16:56:07

3820

修改于 2018-07-02 16:56:07

SIGAI特邀作者：twinlj77
作者简介：大学教师
研究方向：机器学习、信息安全

导言
尽管“神经网络”这个词的出现已经有些年头，但是人们并没有对其建立严格的数学符号和形式化的表示，而且神经网络从一开始就不是独立的学科，它来源于生理学，心理学，物理，数学，工程的交叉领域，所以这种交叉使的神经网络的研究看起来有点混乱。特别是现在的“深度学习”，有点急于撇清与神经网络的联系，我将通过对这一段漫长历史的回顾，来看看他们之间无法割舍的血缘关系。

感知机的出现标志着一门称之为“神经计算“的研究领域的诞生，现在更一般说法就是人工神经网络，尽管这个说法现在看起来已经不那么时髦。感知机是计算机科学家们借助神经科学或脑科学的研究成果，对实现人工智能所做的一次伟大而又具有深远意义的尝试。感知机在为人工神经网络的发展历程中起到的作用非常有趣，我们将在后面看到这一点。然而，人工神经网络(Artificial Neural Network的发展简直是一波三折，可以认为它的兴衰完全反映了人工智能道路的崎岖坎坷，实际上到目前为止，没人敢说他真正理解什么是人工智能。生理心理学家大都持谨慎的态度，一部分计算机科学家更加雄心勃勃，最激动的则是一些小报记者。本文的历史追溯应该比你在很多地方看到的要古老的多。

希腊哲学家亚里士多德(Aristotle 前384年-公元前322)认为人的意识、想象和记忆都植根于人的心脏。古埃及人也是这么认为的。所以，古埃及人在制作木乃伊时，会仔细处理心脏，反而将脑子扔掉。这可能是大家在电影中看到的木乃伊大多傻傻的一个原因。

公元170年，古罗马时期最有影响力的医学大师，曾经给角斗士疗伤的罗马医生盖伦( Galen，130-200左右))，认为脑子控制人的脾气和身体的功能。他的病人包括被角斗士纳尔西斯(Narcissus)刺杀的古罗马皇帝康茂德(Commodus)（公元180至192在位）。没错，根据这个故事改编的电影就是由极富魅力的克劳罗素主演的史诗大片《角斗士》。盖伦最大成就来自于那些当众演示的动物解剖和生理实验；他在大庭广众面前运用修辞学技巧所进行的逻辑性很强，言辞犀利的辩论让人印象深刻。然而，使人印象更深刻的则是他的傲慢态度和刻薄语言，这深深地激怒和伤害了许多成就不如他的同行们。他接受亚里士多德"在自然中一切都是有目的的"的观点，认为人体构造，如手上的肌肉和骨骼，大脑等，都执行事先安排好的功能。盖伦的最基本的理论是生命来自于“气”，例如脑中的“动气”（Pneumaphysicon）决定运动、感知和感觉。直到1600多年后，意大利生理学家伽尔伐尼( Luigi Galvani) 才提出：脑神经之间是通过电脉冲来相互交流的。从此脑电波的概念才得到广泛接受。盖伦还提出了’气质’这一概念，形成了关于人格的4种气质学说(胆汁质，多血质，粘液质，抑郁质)。不用说，这一定是一个经常拿刀在动物身体上开窗的人提出的，盖伦把伤口比喻成进入身体的窗户。此分类方式一直在心理学中沿用至今。他的理论持续流行了1200多年，遗憾的是，我们现在几乎开始用“气质“来形容男士和女士的外貌了。

现代神经网络领域的研究背景起源于19世纪末和20世纪初，那简直是多学科交叉发展的黄金时代，那是一个感觉随便搞搞研究就能开辟一个学科的时代。对于神经系统的结构，当时人们众说纷纭：神经细胞之间到底是相互独立的还是相互融合的？对于这个问题的回答代表了学界的两种意见：一种说法是神经细胞之间是相互独立的，那么细胞之间又是以何种形式传递信号的呢？在当时，这种形式仍属未知；一种则认为神经细胞之间是相互融合的，那么这将意味着整个神经系统是一个巨大的网络，神经细胞胞体将只负责提供支持和营养，脑将作为一个整体来实现它的功能。上述两种意见各自拥有自己的支持者。然而在当时，第二种意见，也被称为网状理论还是占据了主流——至少它看上去更加合理，也不需要研究什么“未知的形式”去完善理论。现代的人工神经网络至少从字面上看更接近网状理论，然而它的发展却是由坚定地站在反对网状理论的一边的西班牙著名的生理学家圣地亚哥·拉蒙-卡哈尔（Santiago Ramón y Cajal，1852年5月1日－1934年10月17日）奠定了基础。

卡哈尔致力于观察视网膜神经细胞之间的联系，这里的观察是真的用眼睛看，他的这种研究只需一台过得去的显微镜就能开张了。这主要是因为卡哈尔本身并不富裕(看看那简陋的实验台和打满补丁的外套), 这种情况在当时的科学界其实很少见。那个时候显微镜的发展对生理学和神经科学的作用完全可以跟现在GPU的发展对计算科学的作用相媲美。不同之处则是显微镜不断的将物体放大，而GPU的基本单元则一个劲的是使自己变小。有意思的是,在20世纪后半，神经科学和计算科学相结合诞生的神经计算(Neural Computing)，显微镜终于和集成电路联系在一起。19世纪，高质量消色差浸液物镜的出现，使显微镜观察微细结构的能力大为提高。19世纪70年代，德国人阿贝(Ernest Abbe)奠定了显微镜成像的古典理论基础：阿贝正弦条件，确定了可见光波段上显微镜分辨本领的极限，为迄今光学设计的基本依据之一。同时他也进入一个以发明复合式显微镜著称的公司，卡尔·蔡司(Zeiss)股份公司, 阿贝博士幸运的结识了奥多 (Otto Schott)，一位30岁的刚得到博士学位的玻璃化学家。他们进行合作，很快地于1886年生产了新型玻璃，能充分地表现阿贝的正弦学说，大大改善透镜品质。这种新型玻璃为新显微镜的物镜开辟出一条新的道路。1938年，鲁斯卡(Ernst Ruska)将电子流作为一种新的光源，使物体成像，构造出第一台透射电子显微镜以来，我们现在能够把物体放大到200万倍，一个神经元细胞的突触(我将在后面的文中解释)看起来就像花洒一样大。

实际上，显微镜制造和观察技术的发展为另一项更为紧迫和有价值的研究提供了有力武器。借助这种工具，19世纪后半叶包括科赫、巴斯德等在内的生物学家和医学家发现并研究了细菌和微生物。他们借助显微镜的研究成果使得整个医学迈进了细菌学时代，它研制出鸡霍乱疫苗、狂犬病疫苗，炭疽疫苗等多种疫苗，这项发明挽救了无数的人。跟这比起来，人类在智能领域到目前为止所取得进展简直都可以忽略。这位被世人颂为 “进入科学王国的最完美无缺的人”，不仅是个理论上的天才，还是个善于解决实际问题的人，他创立了一整套独特的微生物学基本研究方法，并开始用“实践—理论—实践”的方法开展研究，其发明的巴氏消毒法(温度灭菌法)你几乎天天都在使用。

通过显微镜来观察脑神经细胞的过程也颇有点运气成分。细胞有自己的特点，细胞内部含有一些具有特定形态结构和功能的微器官，称为细胞器。某些细胞器的折射率与细胞质很相近，这影响了对细胞内部的观察。通俗的讲，如果你把细胞比作人一个人的话，这个人的内部器官几乎是透明的，就像隐形人一样。1872年，在意大利一家厨房里发生了神经科学中的一次重大进展。帕维亚大学年轻的医学研究生卡米洛·高尔基（Camillo Golgi）由于对大脑的强烈兴趣而在医院的厨房建立了一个简易实验室。偶然地将一脑块放入盛有硝酸银溶液的碟子中，并在其中浸泡了几个星期。结果，高尔基发现了一个极其重要的反应。当他取出脑块时，变化已经发生了。在显微镜下出现了一种复杂的图案：在网状的缠结中悬浮着黑色的斑点。这种情况实际上比我们想象的更加复杂，这种染色过程只随机地标记出十分之一到百分之一的细胞，因此表现为苍白的黄褐色背景上的黑点。如果全部染色的话，黑色斑点的重合度将使我们什么都看不到。到目前为止，仍然无人完全了解的这个神奇的变化过程。我只能说幸运女神偏爱卡米洛·高尔基（Camillo Golgi）。这是人类第一次在显微镜下清晰地看到构成大脑的神经细胞的模样。“我眼前有坚实的证据，它表明了我所称的无处不在的神经网络的存在。” 高尔基断言到。

高尔基的发现使得它更加坚定的支持网状理论，他认为大脑类似于循环系统那样相互连通的网状结构，这些细胞的网状结构作为一个整体来完成大脑的基本功能。然而这种坚定的想法则把更加深刻的发现让给了意志坚定的卡哈尔。卡哈尔研究并改进了高尔基染色法，即换用了更高浓度的其他液体并且延长了浸泡时间，从而获得了更清晰可靠染色样本，这种技巧现在依然是生物专业大学生的必修课。作为一个天才，他在他心爱Zeiss光学显微镜下（他的自传中他强烈表达了拥有高性能显微镜的喜悦，他的很多照片也都是与显微镜合影），凭借着自己高超的观察能力和绘画技艺，他完成了数百幅美观、细致的神经解剖学绘图。这些绘图后来长期被用作教学的范本，直到现在仍然可以出现在某些教材的对应章节中，下图3(a),(b)是《卡哈尔灵魂的蝴蝶》一书中的一些作品。

这些图绝不仅仅因为他针对客观事物细致入微的观察以及严谨而认真的记录，更是因为他对神经结构功能的理解和分析。卡哈尔凭借其天才的观察力和想象力，从粗陋设备获得的模糊数据得出了对神经科学起到重大作用的精确的结论。卡哈尔通过手工绘图，使得这些神经结构变得清晰且易于理解。图3(c)是卡哈尔绘制的脊椎动物视神经相关通路的图。在图中，卡哈尔已经绘制出了神经之间不连续的结构（后人命名为突触）。他靠直觉想出了神经元突触的形式和功能。尽管当时视网膜细胞已经被充分认识，但这些细胞的排列及其缘由仍然不太清楚。卡哈尔发现既然视锥细胞(感强光和颜色)和视杆细胞(感弱光)传递的信息相互隔离，那么那种认为神经细胞相互融合成为一大网络的见解显然站不住脚。从所有一切的开始，视觉就与大脑有着密切的联系，这种联系是如此密切，人工智能有时候甚至可以被看作人工视觉(计算机视觉)。过硬的事实使得神经元理论开始赢得尊敬。卡哈尔确定了若干个重要的规律，并且在研究中始终贯彻：1神经系统由神经元这样的基本单位构成，但在研究功能时，需要整体考虑各个结构之间的相互作用；2神经信号的传导大多是单向的；3神经元之间是生理结构上不连续的，神经信号可以跨过这种不连续的结构而传递下去。天才科学家总能凭借直觉和想象力创建指导后来研究人员的一套理论，后人在更先进的技术以及更精密的仪器支持下，证明了卡哈尔的结论正确性。

卡哈尔的另一项工作也颇为有趣，他写了一本《致青年学者(Advice for a Young Investigator)》的小册子，这本小书给一边吐槽西班牙政府的无能，一边却给出到目前依然值得借鉴的科学研究的精辟思想，在亚马逊和豆瓣几乎得到满分评价。本书特别适合研究生阅读，他给出了一名青年研究者应该具备的几乎所有品质。他特别强调了持久专注的重要性：“持久的专注可以让研究者觉察到最复杂的问题之中闪现的一线微光。” “多数缺乏自信的人对持久的精神专注产生的非凡力量一无所知，这种脑力的极端化能够改善判断、增强分析、激发有益的想象，像收集火种那样把在黑暗中探索问题时遇到的理性因素聚集起来——可以发现那些最微小的精妙联系。” 他还指出“嗜书者的博学如果不能维持人的长期进步并使其取得一定成就，便没有多大价值。我们不仅需要知识，还需要转化知识。不仅会体验，而且能创造。这就是真正热爱科学的人应该遵循的标准。“ 最最有趣的部分则是他极度认真的教育青年研究者该找什么样的伴侣。卡哈尔认为身体健康、精神奋发向上的职业型女性是年轻研究者唯一可以向往的理想对象，他把女性分为知识型、财富型、文艺型、职业型。知识型在当时显然太少，而财富型女性和文艺型女性在他看来明显不靠谱，尤其是文艺型的。财富型的女子虽然奢侈浪费却至少是自掏腰包，她们也不喜欢书本杂志，只去珠宝店和时装店，但是文艺型女子无论是浏览珠宝时装，还是检视书商的货物，都是一样的兴奋和狂热。” 悠闲、奢华、炫耀生活的女人很难不把这些嗜好传染给她的丈夫“ 他认真的写道。 ”那些妻子们肤浅无知、炫耀浮华的性格，使辉煌的事业被迫中止，逼着年轻的科学家们弃学从政、把显微镜换成汽车，晚上还要把他们从实验室中拉出来，陪着她们参加聚会或者去剧院看戏。“ 我想他最不能容忍的就是把他那心爱的显微镜换成汽车了。像许多神话天才一样，卡哈尔更献身于他的事业而非他的家庭。卡哈尔沉迷于他的显微镜中，无法回应他的妻子，那时她尖叫着度过了6岁女儿死去的夜晚。在哀嚎中，显微镜的灯光是卡哈尔唯一的避难所。

卡哈尔还是一名心理学家，当时的心理学家都对梦有一种痴迷，他认为“做梦是大脑生理机能最有趣且最奇妙的现象。” 你可以坚定的宣称什么时候计算机能做梦了，人工智能也就实现了。可是，目前的科学家们到现在对梦境如何产生也给不了太多解释，绝大多数理论都只能低调的宣称自己只是一种“假说”。在世纪之交的1900年，伟大的弗洛伊德出版了《梦的解析》，极力想表明一个观点：「所有梦境都是被压抑欲望的结果」,为了证明弗洛伊德是错的，卡哈尔开始做梦境笔记并收集其他人的梦境，严格并有逻辑的分析这些梦境。《卡哈尔的梦》于2014年在西班牙出版，其中包括卡哈尔在1918到1934年1月去世前记录的103个梦。在女儿死后的三十年，这位当代“神经科学之父“梦到他正溺水于西班牙海岸，把他的小女儿紧紧搂在怀里。这个梦不需要解析。

高尔基和卡哈尔先后完成的工作对神经系统的发展做出了巨大贡献，但是两者依然坚持各自观点。在他们同时分享1906年的诺贝尔奖的时候，斯德哥尔摩市政厅便成了他们最好的宣传各自观点的平台。高尔基首先发言，他以脑部受损后功能的恢复以及脑组织强大一致的信息整合能力为依据再次申明了自己对网状理论的支持。随后，卡哈尔则说：“的确，如果神经中枢是由运动神经……和感觉神经相互融合并连续组成的网络，那么事情会变得非常方便、经济和易于分析。不幸的是，大自然似乎无视了我们智力上对方便和一致的需求，而往往乐于表现出复杂性和多样性。” 我们必须对100多年前的科学家们给予足够的尊重，高尔基的染色法是跨时代的，但不足以支撑对神经元更深入、更细致的研究，卡哈尔是幸运的，他得到了更接近事实的结论，所以被誉为 “神经科学之父“。

现在的人工神经网络的很多研究者把神经网络看作是一个函数逼近器，从宏观上看这是把网络看成了一个整体，有点类似网状理论。而在另一类模型中，一种借鉴视觉特性提出的模型，卷积神经网络(我们后面将详细介绍)则利用了视觉神经元独立性的特点。之前的感知机，我们也将会看到，它彻头彻尾就是一个单一的神经元细胞！因此，在计算机科学领域则更多的是借鉴一种思想，可以认为计算科学交叉使用了网状理论和神经元理论。

那么神经元到底是个什么东西？神经元（Neuron）就是一种细胞，神经元理论认为神经系统由大量的神经元构成，是神经系统的基本结构和功能单位之一，卡哈尔的“神经元学说”提出神经细胞由细胞体、树突和轴突三部分组成，它是神经系统的基本单位，如图4所示。

早在1865年，年轻的德国解剖学家Dieters (Otto Friedrich Carl Dieters)同样借助光学显微镜对脊髓神经元进行了描述，他将轴突和树突分别描述为神经元细胞的“轴线管状物”和“原生质突起”，这是一种不能再直白的描述了。遗憾的是在这项研究成果还没发表的时候，他就不幸的因为伤寒去世了，他在论文中的遗愿“这些突起(树突),从今以后将被称作原生质突起”也并没有实现。1889 年，德国的Wilhelm His 将“原生质突起(离细胞体比较近的树状分支) ”命名为“树突 ”(dendrite)，原指一种树枝状晶体。1896 年，德国解剖学会会长Kolliker (Rudolph Albert von Kolliker) 将“轴线管状物”命名为“轴突”( axon)，由上图黄色的髓鞘包裹的轴状物。谢灵顿(Charles Scott Sherrington)于1896年提出使用突触(synapse)这个术语来描述一个神经元与另一个神经元之间的接触部位，并认为神经元与神经元之间在这个部位进行信息沟通，我们已经知道这个部位最早是由卡哈尔在他心爱的光学显微镜下作了组织学描述。除了神经元的结构以外，卡哈尔凭借其天才的直觉，断言神经冲动的传导方向是自树突到胞体再到轴突，一般是单向的。

通过利用显微镜来对神经元结构进行定义以外，我们还需要一些科学家给出关于神经元功能和运作原理的进一步理解。尽管谢灵顿 1896年把神经元与神经元之间的机能接点命名为突触，当时他虽然还不了解接点的具体形态，但是他指出神经元与神经元之间是不连续的，而且推论有些突触是兴奋性的有些突触是抑制性的。1911年，艾德里安(Edgar Adrian，1889 -1937 )从剑桥大学毕业后，开始研究控制肌肉活动的神经冲动问题。他是研究神经兴奋的电作用的第一个专家。他利用青蛙进行神经兴奋传导方面的试验。艾德里安发现外界刺激只有增强到一定阈值时才会引起神经冲动，此后即使再增加刺激强度，神经冲动的强度和传导速度也不会增加。这种阶梯跳跃的形式，就是生理学上著名的“全或无”法则。他和谢灵顿一起由于“关于神经功能方面的发现”而获得1932年诺贝尔生理学或医学奖。

你可以把神经元想象成一个小小的，滑溜溜的小扫帚，把柄就是轴突，用来扫地的一端就是树突，把柄另一段则是突触。树突主要用来获取其扫帚的突触传给他们的刺激，这种刺激单向的传递到扫帚另一端的突触，突触本身就像一个花洒一样，把它的感受以化学或电作用的方式传给其他小扫帚。这些小扫帚，头尾相连或头尾相连，但并不真正接触，它们构成的比拳头大不了多少的地方绝对是全宇宙当中最神奇的地方。

现在我们大都了解神经元具有感受刺激和传导兴奋的功能，通过接受、整合、传导和输出信息实现信息交换。从信息转换角度来看，神经元可以被认为是一个基本的编码单元。我们将会看到(第3季中)，人工神经网络的不仅从结构上，更重要的是从功能上，几乎完全借鉴了这种思想。直到1943年，关于神经系统的研究一直都是在生理学与心理学方面，这项研究主要依赖于显微镜，电学以及化学作用。由于诺贝尔奖频繁的授予关于神经系统的开创性工作，尽管距离真正的神经网络模型(第1季的感知机(1957))还有10多年的路要走，一些有远见的数学家也开始准备联合心理学家为神经元(网络)建立数学模型了。