神经网络的相关概念

一

神经网络的相关概念

1.1

感知机

感知机是由科学家Frank Rosenblatt发明于1950至1960年代，它受到了Warren McCulloch 和Walter Pitts的更早工作的启发。其具体结构如下图所示：

感知机结构图（出处见水印）

其中的 x是感知机的输入，一个感知机还可以有更多的输入，但这些输入都必须是二进制的输入； w1,w2 是表示各个输入对于输出的重要程度，称为权重。

感知机的输出是1还是0主要通过下式进行判断：

我们可以将感知机的书写方法进行简化，首先将上式中的求和运算用向量相乘的形式进行表示，其次用偏移值 bb (bias)来代替阈值threshold，于是感知机的表达形式可以写成如下的形式：

从上式可以明显的看出偏移值 bb 是一种对神经元被激活程度的度量。当然一个感知机也可以通过构复杂的网络构成更精细的决策方式。

1.2

sigmoid神经元

sigmoid神经元与感知机相比做了一些修改，使得它在轻微改变其权值和偏移时只会引起小幅度的输出变化，进而防止轻微改变网络中任何一个感知机的权值或偏移有时甚至会导致感知机的输出完全翻转，并且可能以某种非常复杂的方式彻底改变网络中其余部分的现象出现。

sigmoid神经元的具体形式如下图所示：

神经元结构图（出处见水印）

它的数学表达形式为：

将sigmoid函数的图像及其阶跃函数的图像绘制出来如下图所示：

sigmoid函数图像及其阶跃函数图像（出处见水印）

将sigmoid神经元中的sigmoid函数换为阶梯函数（阶跃函数）即可以得到之前介绍的感知机，因此感知机与sigmoid神经元是十分相似的。不同的地方在于sigmoid函数使我们就得到了一个平滑的感知机，也正是因为这个平滑的感知机使得选择权值(w)和偏移(b)的轻微改变 量并使输出按照预期发生小幅度变化成为易事。

1.3

深度学习

我们采用下图的这种方式试图理解神经网络进行分类的。

图片出处见水印

它将一个人脸检测问题转化为对于图像每一个小部分的检测，如在左上角是否一个眼睛等。之后为了检测这个眼镜是否存在，又将检测眼睛的工作进一步分解为如下图的几个部分：

图片出处见水印

最终的结果是，我们设计出了一个网络，它将一个非常复杂的问题——这张图像是否有一张人脸——分解成在单像素层面上就可回答的非常简单的问题。在前面的网络层，它回答关于输入图像非常简单明确的问题，在后面的网络层，它建立了一个更加复杂和抽象的层级结构。包含这种多层结构（两层或更多隐含层）的网络叫做深度神经网络（deep neural network）。