专栏首页null的专栏深度学习算法原理——神经网络的基本原理

深度学习算法原理——神经网络的基本原理

一、神经网络

1、神经元概述

神经网络是由一个个的被称为“神经元”的基本单元构成,单个神经元的结构如下图所示:

Sigmoid函数的区间为[0,1],而tanh函数的区间为[−1,1]。

若是使用sigmoid作为神经元的激活函数,则当神经元的输出为1时表示该神经元被激活,否则称为未被激活。同样,对于激活函数是tanh时,神经元的输出为1时表示该神经元被激活,否则称为未被激活。

2、神经网络

2.1、神经网络的结构

神经网络是由很多的神经元联结而成的,一个简单的神经网络的结构如下图所示:

其中一个神经元的输出是另一个神经元的输入,+1项表示的是偏置项。上图是含有一个隐含层的神经网络模型,L1层称为输入层,L2层称为隐含层,L3层称为输出层。

2.2、神经网络中的参数说明

2.3、神经网络的计算

2.4、其他形式的神经网络模型

上述以单隐层神经网络为例介绍了神经网络的基本结构,在神经网络的结构中,可以包含多个隐含层,神经网络的输出神经单元也可以是多个,如下面的含多隐层多输出单元的神经网络模型:

2.5、神经网络中参数的求解

2.6、神经网络的学习过程

对于神经网络的学过程,大致分为如下的几步:

  • 初始化参数,包括权重、偏置、网络层结构,激活函数等等
  • 循环计算
    • 正向传播,计算误差
    • 反向传播,调整参数
  • 返回最终的神经网络模型

参考文献

1、英文版:UFLDL Tutorial

2、中文版:UFLDL教程

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习算法原理——栈式自编码神经网络

    注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,...

    zhaozhiyong
  • 简单易学的机器学习算法——马尔可夫链蒙特卡罗方法MCMC

    对于一般的分布的采样,在很多的编程语言中都有实现,如最基本的满足均匀分布的随机数,但是对于复杂的分布,要想对其采样,却没有实现好的函数,在这里,可以使用马尔可夫...

    zhaozhiyong
  • 简单易学的机器学习算法——K-Means算法

    一、聚类算法的简介     聚类算法是一种典型的无监督学习算法,主要用于将相似的样本自动归到一个类别中。聚类算法与分类算法最大的区别是:聚类算法是无监督的学习算...

    zhaozhiyong
  • 基于Python的深层神经网络

    ANN(人工神经网络)受生物神经网络的启发。它可以通过观察示例来学习执行任务,我们不需要使用特定于任务的规则对它们进行编程。 ANN可以查看标记为“猫”或“无猫...

    liuxuewen
  • 张高兴的 Windows 10 IoT 开发笔记:使用 MAX7219 驱动数码管

    张高兴
  • Abp通用配置模块的设计

    下面我将尝试用最简单易懂的方式,对Abp源码中通用配置模块的实现方式加以提炼和精简,尽量继承原作者的设计思想,给大家呈现通用配置模块的“最佳实践”。

    圣杰
  • .NET Core使用Quartz执行调度任务进阶

    Quartz.Net是一个强大、开源、轻量的作业调度框架,在平时的项目开发当中也会时不时的需要运用到定时调度方面的功能,例如每日凌晨需要统计前一天的数据,又或...

    小世界的野孩子
  • 10.JAVA-接口、工厂模式、代理模式、详解

    接口属于一个特殊的类,这个类里面只能有抽象方法和全局常量 (该概念在JDK1.8之后被打破,在1.8后接口中还可以定义普通方法和静态方法,在后续章节会详讲)

    张诺谦
  • [C#1] 11-接口

    接口与继承 CLR规定一个类型只能有一个基类型,这种继承成为单继承; 接口继承是指一个类型继承的是接口中的方法签名,而非方法实现,通常称为实现接口; 接口仅仅是...

    blackheart
  • 设计模式之适配器模式

    网购支付:(工商支付,建设支付2种)很显然这是两个不同的开发商做的开发,故提供的接口方法不一致,也理所当然。

    用户7657330

扫码关注云+社区

领取腾讯云代金券