神经网络学习之M-P模型

概念

所谓M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型，它实际上就是对单个神经元的一种建模。

生物神经元模型

1. 每个神经元都是一个多输入单输出的信息处理单元；

2. 神经元输入分兴奋性输入和抑制性输入两种类型；

3. 神经元具有空间整合特性和阈值特性（兴奋和抑制，超过阈值为兴奋，低于是抑制）；

4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁；

按照生物神经元，我们建立M-P模型。为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。

M-P模型的示意图

生物神经元模型与人工构造的MP模型的一个对比

两者对比

结合M-P模型示意图来看，对于某一个神经元j，它可能接受同时接受了许多个输入信号，用χi表示。

由于生物神经元具有不同的突触性质和突触强度，所以对神经元的影响不同，我们用权值ωij来表示，其大小则代表了突出的不同连接强度。

θj表示为一个阈值（threshold），或称为偏置（bias），超过阈值为兴奋，低于是抑制。

由于累加性，我们对全部输入信号进行累加整合，相当于生物神经元中的膜电位（水的变化总量），其值就为：

净激活，后边可简化

基本MP模型

激发函数的介绍

基本模型

由于累加性，我们对全部输入信号进行累加整合，相当于生物神经元中的膜电位（水的变化总量），其值就为

net'j(t)称为净激活(net activation)

所以可以简化为，若将阈值看成是神经元j的一个输入x0的权重w0j，则上面的式子可以简化为：

简化后的公式

若用X表示输入向量，用W表示权重向量，即：

向量形式

则神经元的输出可以表示为向量相乘的形式：

向量形式公式

M-P模型在人工神经网络中的地位

首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。

其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。

对M-P人工神经元进行改进的主要方式有如下几个方面:

1、神经元的内部改造：对人工神经元取不同的非线性函数；

2、对输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。

3、神经网络的结构上的改造：人工神经元之间的联接形式不同。

4、算法的改进：在人工神经网络权值和阈值取求的方法上不同。

5、其它形式的改造。

几种典型的激活函数(Activation Function)

线性函数

三个线性激活函数

非线性

非线性的激活函数

对称型阶跃函数

阶跃函数

阶跃函数

高斯函数: 是可微的，分一维和高维，用下式表示：如图(a)和(b)

(a)

(b)

一维

二维