抱歉,你查看的文章不存在

深度学习笔记-浅层神经网络


浅层神经网络

什么是浅层神经网络,我们看一下下面这个图:

分为如下: 1.Input Layer 2.Hidden Layer 3.Output Layer 这是传统上的2层浅层神经网络,Input Layer一般不计为神经网络层。

浅层神经网络的输出和向量化

我们来看一下浅层神经网络的数据输出,如何一步一步进行计算和求解的特别是在多样本情况下数据时如何处理?

神经网络输出

我们来看一下权重W:

激活函数

我们现在熟悉的函数一直是sigmod function,在浅层神经网络中的激活函数都在hidden layer和在output layer。之前我们介绍过sigmod函数的值域是属于[0,1]。有很多激活函数,我们不一定使用sigmod function作为激活函数,我们可以用tanh function也可以来作为激活函数,并且tanh function表现要比sigmod function好。我们来看一下tanh function:

该tah 激活函数的值域在[-1,1]是sigmod 函数平移之后的结果,并且实验证明tanh activation function在hidden layer要比sigmod function要好,tanh的激活函数的平均值更接近于0,更容易优化和实践。一般在hidden layers都使用tanh function,有一个特别的例外就是在output layer,因为output layer的输出为大于等于0,小于等于1的范围值域,所以更适合sigmod函数。 值得注意的是:无论是sigmod function还是tanh function都有一个共同的缺点就是在z很大或者很小时计算梯度时收敛速度会很慢,我们来看一下ReLu(修正性单元)。一般在二元分类中,输出层为sigmod函数,而在其他使用的激活函数是ReLu函数。

一般我们在分类时在hidden layer和output layer采用的都是非线性激活函数,只有一种情况例外就是在线性回归中输出是线性的实数,那么它的output layer的激活函数可以是线性的激活函数,但是在hidden layer还是使用非线性激活函数。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

Brian

72 篇文章22 人订阅

相关文章

来自专栏机器学习算法工程师

RNN入门与实践

作者:叶虎 编辑:黄俊嘉 引言 递归神经网络(Recurrent Neural Network, RNN)是神经网络家族的重要成员,而且也是深度学习领域中的得...

39770
来自专栏LhWorld哥陪你聊算法

【机器学习】--层次聚类从初识到应用

聚类就是对大量未知标注的数据集,按数据的内在相似性将数据集划分为多个类别,使类别内的数据相似度较大而类别间的数据相似度较小. 数据聚类算法可以分为结构性或者分...

32730
来自专栏杨熹的专栏

用 Doc2Vec 得到文档/段落/句子的向量表达

本文结构: Doc2Vec 有什么用 两种实现方法 用 Gensim 训练 Doc2Vec ---- Doc2Vec 或者叫做 paragraph2vec, s...

2K100
来自专栏AI研习社

一文详解 Word2vec 之 Skip-Gram 模型(结构篇)

这次的分享主要是对Word2Vec模型的两篇英文文档的翻译、理解和整合,这两篇英文文档都是介绍Word2Vec中的Skip-Gram模型。下一篇专栏文章将会用T...

70040
来自专栏用户2442861的专栏

聚类算法原理及python实现

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

28940
来自专栏机器学习算法原理与实践

感知机原理小结

    感知机可以说是最古老的分类方法之一了,在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强,但是它的原理却值得好好研究。因为研究透了感知...

9420
来自专栏智能算法

KNN最近邻算法及其Python实现

k-NN是一种基本的分类和回归方法,用于分类时,算法思路较简单:通过计算不同特征之间的距离方法来得到最近的k个训练实例,根据k个实例的类别采用多数表决等方式进...

94270
来自专栏null的专栏

机器学习算法实现解析——libFM之libFM的训练过程之Adaptive Regularization

本节主要介绍的是libFM源码分析的第五部分之二——libFM的训练过程之Adaptive Regularization的方法。 5.3、Adaptive Re...

71170
来自专栏LhWorld哥陪你聊算法

【TensorFlow篇】--DNN初始和应用

正向传播:在开始的每一层上都有一个参数值w,初始的时候是随机的,前向带入的是每一个样本值。

14820
来自专栏张俊红

Sklearn参数详解—GBDT

这篇介绍Boosting的第二个模型GBDT,GBDT和Adaboost都是Boosting模型的一种,但是略有不同,主要有以下两点不同:

23240

扫码关注云+社区

领取腾讯云代金券