【报告】神经网络：技术发展与未来挑战（PDF下载）

【新智元导读】本文为爱思唯尔收费报告。西班牙格拉纳达大学研究人员系统梳理神经网络历史，从模型、模拟器到实现几方面阐释神经网络发展，展示了随时间推移，神经网络如何催生了计算神经学、神经工程学、计算智能和机器学习等学科。论文还探讨了与脑科学相关的信息处理研究，介绍了欧洲人类大脑计划、美国脑计划等各国神经网络相关重大科研项目，是对神经网络和计算神经科学的发展进行系统和全局理解的好资料。

神经网络：早期研究、当前框架和新的挑战

作者：Alberto Prieto, Beatriz Prieto , Eva Martinez Ortigosa , Eduardo Ros , Francisco Pelayo , Julio Ortega , Ignacio Rojas

摘要

本文从模型、模拟器及实现这几方面深入神经网络发展历程，发展神经网络有两个目的，一是弄清神经系统的运作机制，二是制造在功能上与之相似的系统，论文展示了随时间推移，神经网络如何催生了计算神经学、神经工程学、计算智能和机器学习等学科。更深入地理解人脑被视为本世纪的一大难题，论文还介绍了各国神经网络相关的重大科研项目。对神经网络和计算神经科学的发展有更系统和全局的理解。

神经网络：早期研究、当前框架和新的挑战

1. 神经网络（ANN）研究和目标简介

2. ANN 相关话题

2.1 模型、结构和算法

2.2 模拟器和专用硬件

2.2.1 模拟器

2.2.2 模拟器平台及神经硬件

2.2.2.1 通用平台

2.2.2.2 神经硬件

2.2.2.3 神经形态电路

2.2.2.4 神经加速器

2.2.2.5 神经形态计算机和系统

2.2.2.6 嵌入式神经形态系统

2.2.2.7 其他技术和趋势

3. 现实世界应用领域

4. 当前框架

5. 理解大脑生理结构面临的问题

6. 结论

7. 致谢

8. 参考文献

研究目标概述

总的来说，发展人工神经网络或模型有两个目的：首先，是为了弄清神经系统的运作机制；其次，是在此基础上制造具有类似功能的信息处理系统。虽然现在计算机在某些任务上能比人脑运作效率更高，但计算机的性能无法与人脑的认知力、灵活性和能耗相提并论。

从系统工程的角度看，神经网络被视为“黑箱”，因为它只模仿人脑的行为而非结构，虽然能完成同样的任务，但研究网络结构并不会对系统运作机制提供信息。因此，当遇到类似的问题时，人们抛开原始系统的组织结构原理，转而使用具有特定功能的神经网络结构解决问题。神经网络的好处之一是它是非线性的黑箱，描述了几乎所有非线性的动态。如今，人工神经网络研究已经走向成熟。人工神经网络被用于解决很多真实世界问题，并且成效明显比统计模型等传统的数据分析方法更好。

近年来，欧美政府机构批准了针对人脑的长期研究计划，并且投入了可观的经济资源。研究的对象包括各种不同形式和不同阶段的人工神经网络，而通过这些研究所取得的成就，我们也能看出这个领域未来几年所面临的最大困难。

处理信息的人工神经系统涉及很多学科，神经学家和心理学家能通过在研究中整合计算机和工程学的知识，在本学习的量化分析上取得更好的成果，并进而设计出更好的系统模型；计算机科学家和工程师也能从生物学、心理学的启示中，设计更适合现实世界的系统和解决方案。物理学家和应用数学家也会由此在自己前进的道路上发现突破。目前，研发神经网络计算模型有以下两个目的：

• 对人脑进行逆向工程，有助于为神经科学、认知科学和心理学提出假说制定框架，并且这些假说都是能通过实验证明的。对这些模型进行计算机模拟，就能在虚拟环境中进行实验，因此无需进行侵入性手术以及反复试验，也能获取有关人脑结构和功能更多的信息。这些技术还可以用于预测基因表达的不同会如何产生不同的神经元连接。
• 制造能够模仿自然网络的人工系统。正如上文所言，现代计算机眼下仍然不具备人脑那样的认知力、灵活性和低能耗。此外，通过学习，人脑还具备了自我修复、调节的功能。而这些都可以用于下一代颠覆性计算模型。

人工神经网络的缘起是用简化的数学模型模仿人脑如何完成特定的任务。因此，基本的概念认为人脑是一台信息处理机，非常复杂、非线性的并行计算系统。该领域最显著的特征是：

• 使用大规模相互连接的简单处理器（神经元）
• 并行计算和分布式计算
• 非线性动态
• 网络元素整体互联
• 自组织
• 高速计算力
• 经由学习调节网络参数完成特定任务或适应环境

人工神经网络被成功应用于一系列不同的领域和专业，通过观察和分析再加上信息处理，解决了很多科学和现实世界产业问题。

本文将分析神经网络的这些特性、研究现状以及领域未来的挑战。文本结构如下：第二节分析与神经网络相关的概念和研究，第三节描述当前神经网络整合的不同框架和学科以及它们彼此间的关系，第四节描述人脑计划等近年来欧美政府发起的研究项目，其中涉及了各种类型的神经网络研究，第五节是结论。最后，本文并没有试图涵盖尽量多的参考资料，本文通过举例论证观点。

神经网络相关话题

从不同的角度看神经网络能看到各种各样的话题：数据问题、学习、结构和算法、模拟器和硬件实现等等。

神经网络的应用主要从信息处理相关的能力演化而来，有各种不同的数据呈现形式。将数据输入神经网络前，经常要经过预处理，几种主要的预处理数据问题包括：

1. 用于学习的数据有限
2. 数据不平衡
3. 数据不完备
4. 海量的数据
5. 高维度

学习由估计模型现有数据的不同参数构成，也是神经网络对信息处理贡献最大的一个概念，学习使以下过程成为可能：

不需要了解某个过程的内在机制也能实现这一过程

同一个神经网络模型能够用于各种不同的任务

根据环境做出改变从而适应系统

学习的三大基本类型

• 预测或监督学习
• 描述或无监督学习
• 强化学习

上述三种类型以外，还有半监督学习等变体。下文将结合神经网络的模型、结构和算法对这些学习类型进行介绍。

模型、结构和算法

上文中提到，发展神经模型的原因，一是为了理解人脑运行机制，从而能够不使用生物组织进行试验也能进行预测和分析。当建模的目标是为了辅助生物学或神经科学研究，最重要的一点就是收集尽可能收集有关神经回路连接以及执行某个认知任务的具体工作机制的数据。

而从发展神经网名模型的第二个原因，工程学建造系统的角度看，目前还没有办法能够设计出一种“通用”也即能够适用于任何信息处理问题的模型。通常而言，能够很好地解决特定领域问题的模型都不适合解决其他领域的问题。因此，大量用于解决特定问题的模型被开发出来，除了不同的数据类型以外，也发展出每个模型不同的算法和训练方式。工程师一直以来要做的就是找到模型、数据和算法最佳的配比。

神经网络的发展和成熟大致经历了四个阶段，每个大约持续二十年的时间，分别是上世纪四十年代到五十年代、上世纪六十年代到七十年代、上世纪八十年代到九十年代，以及2000年至今。

在第一阶段，单个神经元模型和学习规则被提出，感知机就是这样的例子。

第二个阶段，最主要的是单层神经网络的学习规则，以及循环网络的统计应用。

第三个阶段是人们第二次开始对神经网络研究感兴趣的阶段，自组织图的研究更深一步。这个时期出现了多层神经网络及其应用，贝叶斯方法和高斯过程，以及向量机（SVM）。

第四个阶段，从大约2000年开始一直持续至今，虽然相比此前没有模型提出，但是对此前模型的理论研究有所深入，对复杂价值网络（CVNN）的兴趣也有提升。近年来，深度神经网络（DNN）也是研究的一大热门。DNN最重要的话题之一就是极高的训练计算成本。

模拟器和专用硬件

现实世界应用

近几十年来对大脑以及神经系统的生物学研究有了长足发展，而且在不同尺度运作机制的复杂性也得到了比较好的研究。

在与神经网络相关的领域，对大脑更深的理解能促使我们通过逆向工程设计出计算网络并将其整合进入不同的人工智能系统，解决日常生活中的不同问题。人脑是非常复杂的系统，现有的提取数据的试验方法十分有限，而且也以间接方式为主。因此，了解神经网络拓扑学和适应机制的方法十分有限。尽管近来动物实验得到长足发展，提供了丰富的数据，但人脑有很多独特的功能，比如推理、社交，没有办法从动物身上获取数据。此外，缺乏整合统一数据的通用工具也是个很大的问题。

对人脑更好更深的理解是本世纪的一大难题，需要全世界的实验室和研究机构进行通力合作。下文将介绍两个代表性项目，欧洲的人脑计划（HBP）和美国的大脑计划（BRAIN），以及其他国家的一些研究。

监督学习

分类

模式识别

回归分析或函数逼近

无监督学习

聚类

提取因子

发现图结构

矩阵

信号检测

系统识别

信号压缩

频谱预计

队列信号分析

结论

（略）