《深度学习》：一线领军人物写的人工智能简史

作者是深度学习领域的领军人物，本书可以算是作者写的人工智能简史，涉及到作者参与的一些项目，作者跟许多业内知名科学家都有学术交往。

书中涉及到一些人工智能算法的基本原理，没学过高数、没有编程基础的读者恐怕是比较难看懂的。不过看不懂可以跳过去，至少一些学术发展的故事还是挺有意思的。

总体评价4.5星，非常好。

以下是书中一些内容的摘抄：

1：关于如何构建人工智能，当时存在两种不同的观点：一种观点主张基于逻辑和计算机程序，曾主宰人工智能的研究和应用数十年；另一种观点则主张直接从数据中学习，经历了更长时间的摸索才逐渐成熟。P5

2：公路上罕见的驾驶事件经常会导致事故。自动驾驶汽车的不同之处就在于，当一辆汽车遇到罕见事件时，相应的学习体验会被传递给所有其他自动驾驶汽车，这是一种集体智能。P8

3：尽管物体的位置、大小、方向和受到的光照不同，我们却很少在识别物体时感到吃力。计算机视觉研究中最早的想法之一是将物体的模板与图像中的像素进行匹配，但是这种方法收效甚微，因为同一物体不同角度的两个图像中的像素并不匹配。P36

4：20世纪60年代，没有人能想到我们要花上50年，计算机的运算能力需要提升100万倍，才能让计算机视觉达到人类的水平。当时有一种带有误导性的直觉，认为编写计算机视觉程序很容易。P38

5：我开始即兴发挥，“食物上这只苍蝇的大脑只有10万个神经元；它大概重1毫克，要消耗1毫瓦的能量，”我边说边驱赶苍蝇，“苍蝇能看，能飞，可以自己确定飞行方向，还能觅食。但最不可思议的是，它可以通过繁殖来进行自我复制。P42

6：最后，第三排的一名学生这样回答：“数字计算机是一种通用设备，它可以被编程来计算任何东西，虽然效率很低，但苍蝇是一种专用计算机，可以看和飞，但无法平衡我的账户收支。”这就是正确答案。P42

7：任何人工智能的难题都可以被解决。唯一能证明这一论断成立的是这样一个事实：自然界通过进化已经解决了这些难题。但在20世纪50年代就已经存在各种暗示，如果AI研究者能够选择完全不同于符号处理的方式，计算机会如何表现出智能行为。P46

8：令人惊讶的是，人中（即鼻子和嘴唇之间的部分）是最显著的特征，大多数男性人中的面积更大。眼睛周围的区域（男性较大）和上颊（女性较大）对于性别分类也有着很高的信息价值。感知器会权衡来自所有这些位置的证据来做出决定，我们也是这样来做判定的，尽管我们可能无法描述出到底是怎么做到的。P55

9：压倒感知器的最后一根稻草是马文·明斯基和西摩尔·帕普特在1969年发表的数学专著《感知器》（Perceptrons）。他们明确的几何分析表明，感知器的能力是有限的：它们只能区分线性可分的类别。P57

10：这次经历告诉我，复杂性可能不是通向理解大脑功能的坦途。为了理解大脑，我必须了解，大自然如何通过进化早早就解决了大量的问题，并将这些解决方案自下而上地传递给进化链上的物种。我们大脑中的离子通道在几十亿年前的细菌体内就存在了。P71

11：神经元负责处理携带信息的信号，而计算则是试图理解大自然这一过程中缺失的环节。我在过去的40年中一直在追求这一目标，并开创了一个新的领域，叫作“计算神经科学”。P73

12：还有另外一种关于记忆持久性的可能解释：它们也许就像我们身体上的伤疤，已经成为我们生活中过往事件的标记。这些标记并非位于不断发生转变的神经元内部，而是位于外部神经元之间的空隙中，那里的细胞外基质由类似疤痕组织中胶原蛋白的蛋白聚糖构成，这种基质是一种可以维持多年的坚韧的材料。P83

13：杰罗姆几乎没说错过什么话，他曾经指出，人工智能中使用的算法在运行了数十亿个步骤之后，却常常得不到一个正确的结论，而大脑只需要经历大约100个步骤，通常就会得出一个正确的结论。P109

14：柯克帕特里克使用了一种叫作“模拟退火”（simulated annealing）的算法来解决局部最小值问题。假设你想把一堆电子元件装到两块电路板上，怎么放置这些元件可以使连接元件的接线数量最少呢？P115

15：尽管神经网络在物理学和工程学中的兴起十分迅速，但传统的认知科学家却迟迟不能接受它作为理解记忆和语言处理的形式体系。除了拉荷亚的并行分布处理（PDP）研究组和一些独立的研究者，符号处理仍然是业界的主流方法。P127

16：虽然按照今天的标准来看，这一成果微不足道，但我们的网络很好地证明了反向传播网络如何能够有效地表征英语音韵。这是我们得到的第一个暗示，即神经网络学习语言（符号表征的典型代表）的方式和人类的学习方式相同。P137

17：1986年，我带着话语网络参加了《今日秀》（Today show）节目，那一期的收视率很惊人。在此之前，神经网络一直是一门神秘的学科。我还遇到过很多人，他们在观看这个节目时是第一次听到神经网络这个概念。P138

18：杨立昆在2003年去了纽约大学后，仍继续开发他的视觉网络，现在被称为卷积网络（ConvNet）。这个网络的基本结构是基于卷积的，卷积可以被想象成一个小的滑动滤波器，在滑过整张图像的过程中创建一个特征层。P157

19：生成网络试图增加判别网络的错误率，而判别网络则试图降低自身的错误率。由这两个目标之间的紧张关系产生的图像，拥有令人难以置信的照片级的真实感。P165

20：这项技术正在迅速发展，其下一个前沿领域是生成逼真的电影。通过训练一个反复演绎的生成式对抗网络，与类似玛丽莲·梦露这样的演员参演的电影进行对比，应该有可能创造出已过世的演员出演的新作品。P165

21：现在想象一下经过训练的新一代对抗网络，它们可以生产新款式和高级时装，式样几乎无穷无尽。时尚界可能正处于一个新时代的边缘，而许多其他依赖创意的行业也面临着相同的处境。P168

22：尽管深度学习网络的能力已经在许多应用中得到了证明，但如果单靠自身，它们在现实世界中永远都无法存活下来。它们受到了研究者的青睐，后者为其提供数据，调整超参数，例如学习速度、层数和每层中的单元数量，以改善收敛效果，还为其提供了大量计算资源。P170

23：2016年，加州大学圣迭戈分校的物理学家马西莫·维加索拉（Massimo Vergassola）和我都在思考，是否可以利用时间差分学习，让滑翔机在高空翱翔几小时，而且像许多鸟类那样不用消耗太多能量。P185

24：利用所有这些数据，Facebook可以创建我们的心智理论，并用它来预测我们的偏好和政治倾向，甚至有一天可能会比我们更了解我们自己。Facebook有朝一日会成为奥威尔小说中老大哥的化身吗？P198

25：在印度，超过10亿的公民可以通过指纹、虹膜扫描、照片和12位身份号码（比社会安全号码多3位数字）信息进行唯一的身份识别。印度的Aadhaar是世界上最大的生物特征识别项目。P209

26：有时我演讲的开场白便是，大脑是已知宇宙中最复杂的设备。但我的妻子比阿特丽斯是一位医生，她经常提醒我说，大脑只是身体的一部分，而身体比大脑更复杂，尽管身体的复杂性（从运动性演变而来）是不同的。P211

27：现在，深度学习网络拥有数百万个单元和数十亿个权重。这比人类大脑皮层中的神经元和突触的数量还要少1万倍——人类1立方毫米的皮层组织就包含了10亿个突触。如果世界上的所有传感器都连接到互联网，并通过深度学习网络相互连接，那么有一天，互联网可能会醒来并主动说出：“Hello，world!”（你好，世界！）P236

28：乔姆斯基的立场是基于想象力的匮乏，但从逻辑来说符合了奥格尔的第二定律：进化比你聪明，而这个“你”也包括像乔姆斯基这样的专家。事实上，当一位专家告诉你自然界的某些事情是不可能的时候，你应该保持谨慎——不管这个论证有多么合理或者令人信服。P301

29：我在麻省理工学院的一次演讲中，开门见山地说道：“语言太重要了，不能只留给语言学家去研究。”[13]我的意思是，我们不应该只停留在行为层面描述语言。我们应该理解语言背后的生物学原理和潜在的生物学机制，以及智人的语言能力是如何演变的。P302

30：AI@50的最后一天举行了宴会。在晚餐结束时，1956年达特茅斯人工智能夏季研究项目的5名回归成员简要介绍了会议和人工智能的未来。在问答期间，我站起来，转向明斯基说道：“神经网络社区有一种看法：你是上世纪70年代需要为神经网络萧条负责的魔鬼。你是魔鬼吗？”P309

31：我们可能会发现细胞和大脑中使进化成为可能的操作系统。如果我们能解决这些问题，就可能会有想象不到的收获。自然可能比我们每一个人都更聪明，但作为一个物种，我并不认为人类无法解决智能难题。P320

全文完