学习笔记：单层感知器基础知识

单层感知器是美国心理学家Frank Rosenblatt于1958年提出的一种具有单层计算单元的神经网络，称为Perceptron，即感知器。单层感知器的结构和功能非常简单，目前在解决实际问题时已经很少被采用，但它对于研究神经网络具有重要意义。

单层感知器的网络结构

顾名思义，单层感知器只有一层处理单元，位于输出层。输入层节点只负责引入外部信息，本身节点是没有信息处理能力的。输出层节点既具有信息处理的能力又向外部输出处理信息。可见，单层感知器包含两层：输入层（又称为感知层）和输出层（又称为处理层），如下图所示。

单层感知器的数学模型

单层感知器是一种典型的前馈神经网络，为便于说明，这里以一个4输入2输出（4个输入节点2个输出节点）的感知器为例，其网络模型如下图所示。4输入意味着对其中任意一个神经元而言，都有4个权值，分别与4个不同的输入相对应。2输出意味着该网络有2个神经元。这里注意wkj下标的含义：k表示第k个神经元；j表示第j个输入。因此，wkj就表示第k个神经元的第j个输入对应的权值。这样，不难得出一个结论：对于m输入n输出的单层感知器，共有mxn个权值。

根据单个神经元的数学模型，不难推导出单层感知器输出节点与输入节点之间的数学关系，如下图所示。

这里激活函数为符号函数，具体表达式如下图所示。

此外，偏置可以认为是输入为恒为1的节点对应的权值，从而形成如下图所示的网络结构。

采用这种结构的好处是把对偏置的处理融合到矩阵相乘运算中，如下图所示。此时，需要注意，输入节点第1个元素恒为1，权值向量第1个元素为偏置。

我们采用此方式借助Python描述一个3输入2输出的单层感知器，如下图代码所示。这里偏置为-0.5。

单层感知器的学习规则

单层感知器学习规则如下图所示，这里假定网络为m输入n输出。每个输出所用到的权值是相互独立的，因此可单独训练。

假定训练数据以行为单位构成矩阵，那么训练过程可用下图方式表示。

采用Python实现，如下图所示代码。这里是一个3输入1输出的单层感知器。训练数据共3行，每行第1个元素为1，对应的权值实际上为偏置。

综上所述，可得出如下结论：对于m输入n输出的单层感知器，共有mxn个权值，n个偏置。每个输出对应的权值是相互独立的，可单独训练。