深度学习算法原理——神经网络的基本原理

一、神经网络

1、神经元概述

神经网络是由一个个的被称为“神经元”的基本单元构成,单个神经元的结构如下图所示:

Sigmoid函数的区间为[0,1],而tanh函数的区间为[−1,1]。

若是使用sigmoid作为神经元的激活函数,则当神经元的输出为1时表示该神经元被激活,否则称为未被激活。同样,对于激活函数是tanh时,神经元的输出为1时表示该神经元被激活,否则称为未被激活。

2、神经网络

2.1、神经网络的结构

神经网络是由很多的神经元联结而成的,一个简单的神经网络的结构如下图所示:

其中一个神经元的输出是另一个神经元的输入,+1项表示的是偏置项。上图是含有一个隐含层的神经网络模型,L1层称为输入层,L2层称为隐含层,L3层称为输出层。

2.2、神经网络中的参数说明

2.3、神经网络的计算

2.4、其他形式的神经网络模型

上述以单隐层神经网络为例介绍了神经网络的基本结构,在神经网络的结构中,可以包含多个隐含层,神经网络的输出神经单元也可以是多个,如下面的含多隐层多输出单元的神经网络模型:

2.5、神经网络中参数的求解

2.6、神经网络的学习过程

对于神经网络的学过程,大致分为如下的几步:

  • 初始化参数,包括权重、偏置、网络层结构,激活函数等等
  • 循环计算
    • 正向传播,计算误差
    • 反向传播,调整参数
  • 返回最终的神经网络模型

参考文献

1、英文版:UFLDL Tutorial

2、中文版:UFLDL教程

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杂七杂八

卷积神经网络详解(上)

卷积操作就是用卷积后得到的图组数据重构输入图像,然后作为后续输入 我们得到一些数据,作为网络的输入,在CNN中有滤波器,现在我们假设只有一个滤波器,如图所示 ...

702
来自专栏yl 成长笔记

空间向量在任意平面的投影公式推导 (矩阵方法)

若 V是Rn 的一个子空间,已知V的一组基向量 {b1, b2, b3,...  bk} 

2.3K3
来自专栏机器学习算法与Python学习

卷积神经网络详解

注:看本文之前最好能构理解前馈圣经网络以及BP(后向传播)算法,可以看之前发的相关文章或者看知乎、简书、博客园等相关博客。 卷积神经网络(Convolution...

3108
来自专栏AI深度学习求索

AI科技:如何利用图片像素之间的像素度进行图像分割?

论文:Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakl...

1422
来自专栏贾志刚-OpenCV学堂

卷积神经网络是如何实现不变性特征提取的

传统的图像特征提取(特征工程)主要是基于各种先验模型,通过提取图像关键点、生成描述子特征数据、进行数据匹配或者机器学习方法对特征数据二分类/多分类实现图像的对象...

1692
来自专栏YG小书屋

简单二层神经网络介绍

2854
来自专栏量化投资与机器学习

深度学习Matlab工具箱代码注释之cnntrain.m

%%========================================================================= %...

2208
来自专栏帮你学MatLab

MATLAB智能算法30个案例分析(3-2)

神经网路部分 function err=Bpfun(x,P,T,hiddennum,P_test,T_test) %% 训练&测试BP网络 %% 输入 % x...

3535
来自专栏超然的博客

MIT-线性代数笔记(7-11)

找出“主变量”pivotvariables,主列,即主元所在的列,其他列,称为自由列。(自由列表示可以自由或任意分配数值,列2和列4的数值是任意的,因此x2和x...

1101
来自专栏帮你学MatLab

工具函数

工具函数 显示对比结果 clc %% 不使用遗传算法 %% 使用随机权值和阈值 inputnum=size(P,1); % 输入层神经元个数 o...

3056

扫码关注云+社区

领取腾讯云代金券