【神经网络丨主题周】深度学习中5种常见的网络类型

小编说：神经网络是20 世纪80 年代人工智能发展中的热点研究领域。截至目前，学术界已经提出了各种各样的神经网络模型，例如感知器、前馈型神经网络、卷积神经网络、循环神经网络、组织映射等。本文将向大家介绍深度学习中5种常见的网络类型。 本文选自《神经网络与深度学习应用实战》

• 1 卷积神经网络

卷积神经网络属于前面介绍的前馈神经网络之一，它对于图形图像的处理有着独特的效果，在结构上至少包括卷积层和池化层。卷积神经网络是最近几年不断发展的深度学习网络，并广泛被学术界重视和在企业中应用，代表性的卷积神经网络包括LeNet-5、VGG、AlexNet 等。

目前卷积神经网络主要应用于影像中物体检测和识别、视频理解，除此之外，卷积神经网络还被应用于自然语言处理。实践证明，卷积神经网络可以有效地应用于自然语言处理中的语义分析、句子建模、分类等。同时，卷积神经网络还被应用于计算机围棋领域，在2016 年3月AlphaGo 对战李世乭的围棋比赛中，展示了包含卷积神经网络的深度学习在围棋领域的重大突破。

• 2 循环神经网络

不同于卷积神经网络，循环神经网络更擅长于对语言文本的处理。文本的分析处理，更看重时序上的输入与上下文的联系。循环神经网络的内部记忆结构，刚好满足这样的需求场景，因此在文本处理方面循环神经网络更胜一筹。此网络概念从提出到现在已经有二三十年历史，在理论与实践方面有不少积累。特别是1997 年LSTM 神经元的引入，解决了此网络模型的疑难问题，使得此网络在市场应用中广泛落地。

目前循环神经网络的主要落地场景在机器翻译、情感分析等NLP 领域。特别是近几年媒体曝光较多的新闻写稿机器人，也是基于循环神经网络的一个应用。除此之外，循环神经网络还可以实现自动作诗、自动写歌词，甚至自动写代码。

• 3 深度信念网络

深度信念网络是于2006 年由Geoffreg Hinton 提出的神经网络结构，它是一种生成模型，由多个受限玻尔兹曼机组成，采用逐层的方式进行训练，其结构可以理解为由多层简单学习模型组合而成的复合模型。深度信念网络是一个可以对训练的数据样本进行深层次表达的图形模型。

深度信念网络可以作为其他深度神经网络的预训练部分，主要做深度神经网络的权值初始化工作。众所周知，不合适的权值初始化方式会影响模型最终的性能，而采取预训练的方式可以尽可能更优地初始化权值，这样的方式可以有效提升模型的性能和收敛速度。

深度信念网络还可以衍生为其他类型的神经网络，例如卷积深度信念网络。卷积深度信念网络是目前深度学习中较新的发展分支，在结构上具有卷积神经网络的优势，在训练上也具备深度信念网络的预训练优势。

• 4 生成对抗网络

生成对抗网络将对抗的思想引入机器学习领域，对抗的双方为判别模型和生成模型。其中，判别模型的职责是准确区分真实数据和生成数据，而生成模型负责生成符合真实数据概率分布的新数据。通过判别模型和生成模型两个神经网络的对抗训练，生成对抗网络能够有效地生成符合真实数据分布的新数据。

生成对抗网络主要用于样本数据概率分布的建模，并生成与训练数据相同分布的新数据，例如，生成图像、语音、文字等。目前，GAN 主要应用于图像与视觉领域，以及自然语言处理领域，例如，提升图像分辨率、还原遮挡或破损图像、基于文本描述生成图像等。生成对抗网络为创造无监督学习模型提供了强有力的算法框架，未来将会更多地应用于无监督学习领域。

• 5 深度强化学习

深度强化学习是近几年深度学习中非常重要的技术领域，与其他机器学习的差异在于，深度强化学习更加注重基于环境的改变而调整自身的行为。Google 于2015 年2 月在Nature 杂志上发表了“Human-level control through deep reinforcement learning”，详细阐述了通过深度强化学习计算机可以自己玩《Atari 2600》电子游戏。

深度强化学习的运行机制由四个基本组件组成：环境、代理、动作、反馈。通过四者的关系，强调代理如何在环境给予的奖励或者惩罚的刺激下，逐渐改变自己的行为动作，使得尽可能使用环境，从而达到环境给予的奖励值最大，逐步形成符合最大利益的惯性行为。

有监督学习在目前的工程实践中是比较成功的，但是对于处理一些难以学习和训练的特征，有监督学习并不能取得较好的效果。深度强化学习与传统的有监督学习方式不同，它不需要用户标记的数据作为训练集。深度强化学习更加注重在线规则，探索未知数据与环境之间的关系，并找到平衡点。