专栏首页深度学习计算机视觉神经网络学习之M-P模型

神经网络学习之M-P模型

概念

所谓M-P模型,其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型,它实际上就是对单个神经元的一种建模。

生物神经元模型

1. 每个神经元都是一个多输入单输出的信息处理单元;

2. 神经元输入分兴奋性输入和抑制性输入两种类型;

3. 神经元具有空间整合特性和阈值特性(兴奋和抑制,超过阈值为兴奋,低于是抑制);

4. 神经元输入与输出间有固定的时滞,主要取决于突触延搁;

按照生物神经元,我们建立M-P模型。为了使得建模更加简单,以便于进行形式化表达,我们忽略时间整合作用、不应期等复杂因素,并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。

M-P模型的示意图

生物神经元模型与人工构造的MP模型的一个对比

两者对比

结合M-P模型示意图来看,对于某一个神经元j,它可能接受同时接受了许多个输入信号,用χi表示。

由于生物神经元具有不同的突触性质和突触强度,所以对神经元的影响不同,我们用权值ωij来表示,其大小则代表了突出的不同连接强度。

θj表示为一个阈值(threshold),或称为偏置(bias),超过阈值为兴奋,低于是抑制。

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为:

净激活,后边可简化

基本MP模型

激发函数的介绍

基本模型

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为

net'j(t)称为净激活(net activation)

所以可以简化为,若将阈值看成是神经元j的一个输入x0的权重w0j,则上面的式子可以简化为:

简化后的公式

若用X表示输入向量,用W表示权重向量,即:

向量形式

则神经元的输出可以表示为向量相乘的形式:

向量形式公式

M-P模型在人工神经网络中的地位

首先M-P模型是所有人工神经元中第一个被建立起来的,它在多个方面都显示出生物神经元所具有的基本特性。

其次,目前其它形式的人工神经元已有很多,但大多数都是在M-P模型的基础上经过不同的修正,改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。

对M-P人工神经元进行改进的主要方式有如下几个方面:

1、神经元的内部改造:对人工神经元取不同的非线性函数;

2、对输入和输出做不同的限制:离散的(某些离散点)和连续的(整个实数域)。

3、神经网络的结构上的改造:人工神经元之间的联接形式不同。

4、算法的改进:在人工神经网络权值和阈值取求的方法上不同。

5、其它形式的改造。

几种典型的激活函数(Activation Function)

线性函数

三个线性激活函数

非线性

非线性的激活函数

对称型阶跃函数

阶跃函数

阶跃函数

高斯函数: 是可微的,分一维和高维,用下式表示:如图(a)和(b)

(a)

(b)

一维

二维

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 操作系统知识梳理共9次缺页

    第一章:概述 什么是操作系统? 是一段一直运行在计算机上的程序 是资源的分配者 向上管理软件向下管理硬件 为用户提供良好接口 中断的概念? 中断指当出现需要时,...

    张俊怡
  • Detectron结构解析

    科研人员除了科研能力,如果能具备优秀的工程能力,将是非常棒的。本文记录了detectron pytorch版本的代码结构笔记,一起来学习一下大神优美的工程架构。...

    张俊怡
  • java多线程通信方式

    1、同步 通过synchronized关键字这种方式来实现线程间的通信。 (学Linux的时候学过共享内存通信,在C中通过全局变量也行,虽然java木有) ...

    张俊怡
  • 人工神经网络简介

    为了处理极其复杂的问题,例如图像的识别或对人类语言的理解,大概已知功能的数学模型通常是不够的(欠拟合问题)。

    iOSDevLog
  • 多图 | 从神经元到CNN、RNN、GAN…神经网络看本文绝对够了

    作者 | FJODOR VAN VEEN 编译 | AI100(ID:rgznai100) 在深度学习十分火热的今天,不时会涌现出各种新型的人工神经网络,想要实...

    AI科技大本营
  • 【机器学习】如何简单形象又有趣地讲解神经网络是什么?

    这种能自动对输入的东西进行分类的机器,就叫做分类器。 分类器的输入是一个数值向量,叫做特征(向量)。在第一个例子里,分类器的输入是一堆0、1值,表示字典里的每...

    zenRRan
  • 通俗易懂:彻底明白什么是神经网络

    问题导读 1.你认为神经网络最重要的用途是什么? 2.什么是神经元? 3.什么是反向传播算法?

    用户1410343
  • 人工神经网络简介

    我在上学的时候非常讨厌生物学,却热爱数学。在经过很长一段时间之后,我现在终于开始接触一个将数学和生物学结合在一起的领域:受生物神经网络启发而诞生的人工神经网络(...

    PALIN
  • 《Scikit-Learn与TensorFlow机器学习实用指南》 第10章 人工神经网络

    鸟类启发我们飞翔,牛蒡植物启发了尼龙绳,大自然也激发了许多其他发明。从逻辑上看,大脑是如何构建智能机器的灵感。这是启发人工神经网络(ANN)的关键思想。然而,尽...

    SeanCheney
  • Chrome 开发者工具的小技巧

    Chrome的开发者工具是个很强大的东西,相信程序员们都不会陌生,不过有些小功能可能并不为大众所知,所以,写下这篇文章罗列一下可能你所不知道的功能,有的功能可能...

    happyJared

扫码关注云+社区

领取腾讯云代金券