深度学习笔记-浅层神经网络


浅层神经网络

什么是浅层神经网络,我们看一下下面这个图:

分为如下: 1.Input Layer 2.Hidden Layer 3.Output Layer 这是传统上的2层浅层神经网络,Input Layer一般不计为神经网络层。

浅层神经网络的输出和向量化

我们来看一下浅层神经网络的数据输出,如何一步一步进行计算和求解的特别是在多样本情况下数据时如何处理?

神经网络输出

我们来看一下权重W:

激活函数

我们现在熟悉的函数一直是sigmod function,在浅层神经网络中的激活函数都在hidden layer和在output layer。之前我们介绍过sigmod函数的值域是属于[0,1]。有很多激活函数,我们不一定使用sigmod function作为激活函数,我们可以用tanh function也可以来作为激活函数,并且tanh function表现要比sigmod function好。我们来看一下tanh function:

该tah 激活函数的值域在[-1,1]是sigmod 函数平移之后的结果,并且实验证明tanh activation function在hidden layer要比sigmod function要好,tanh的激活函数的平均值更接近于0,更容易优化和实践。一般在hidden layers都使用tanh function,有一个特别的例外就是在output layer,因为output layer的输出为大于等于0,小于等于1的范围值域,所以更适合sigmod函数。 值得注意的是:无论是sigmod function还是tanh function都有一个共同的缺点就是在z很大或者很小时计算梯度时收敛速度会很慢,我们来看一下ReLu(修正性单元)。一般在二元分类中,输出层为sigmod函数,而在其他使用的激活函数是ReLu函数。

一般我们在分类时在hidden layer和output layer采用的都是非线性激活函数,只有一种情况例外就是在线性回归中输出是线性的实数,那么它的output layer的激活函数可以是线性的激活函数,但是在hidden layer还是使用非线性激活函数。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法原理与实践

感知机原理小结

    感知机可以说是最古老的分类方法之一了,在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强,但是它的原理却值得好好研究。因为研究透了感知...

772
来自专栏LhWorld哥陪你聊算法

【深度学习篇】--神经网络中解决梯度弥散问题

在梯度下降中,随着算法反向反馈到前面几层,梯度会越来越小,最终,没有变化,这时或许还没有收敛到比较好的解,这就是梯度消失问题,深度学习遭受不稳定的梯度,不同层学...

3684
来自专栏AI研习社

一文详解 Word2vec 之 Skip-Gram 模型(结构篇)

这次的分享主要是对Word2Vec模型的两篇英文文档的翻译、理解和整合,这两篇英文文档都是介绍Word2Vec中的Skip-Gram模型。下一篇专栏文章将会用T...

5454
来自专栏null的专栏

利用Theano理解深度学习——Auto Encoder

注:本系列是基于参考文献中的内容,并对其进行整理,注释形成的一系列关于深度学习的基本理论与实践的材料,基本内容与参考文献保持一致,并对这个专题起名为“利用The...

3708
来自专栏机器学习算法工程师

RNN入门与实践

作者:叶虎 编辑:黄俊嘉 引言 递归神经网络(Recurrent Neural Network, RNN)是神经网络家族的重要成员,而且也是深度学习领域中的得...

3477
来自专栏机器之心

教程 | 基础入门:深度学习矩阵运算的概念和代码实现

选自Medium 机器之心编译 参与:蒋思源 本文从向量的概念与运算扩展到矩阵运算的概念与代码实现,对机器学习或者是深度学习的入门者提供最基础,也是最实用的教...

43313
来自专栏智能算法

KNN最近邻算法及其Python实现

k-NN是一种基本的分类和回归方法,用于分类时,算法思路较简单:通过计算不同特征之间的距离方法来得到最近的k个训练实例,根据k个实例的类别采用多数表决等方式进...

7837
来自专栏机器学习算法与理论

核技巧

关于映射到更高维平面的方法。 对数据进行某种形式的转换,从而得到新的变量来表示数据。从一个特征空间转换到另一个特征空间(特征空间映射)。 其实也就是另外一种距离...

3186
来自专栏杨熹的专栏

用 Doc2Vec 得到文档/段落/句子的向量表达

本文结构: Doc2Vec 有什么用 两种实现方法 用 Gensim 训练 Doc2Vec ---- Doc2Vec 或者叫做 paragraph2vec, s...

1.6K10
来自专栏张俊红

Sklearn参数详解—GBDT

这篇介绍Boosting的第二个模型GBDT,GBDT和Adaboost都是Boosting模型的一种,但是略有不同,主要有以下两点不同:

1704

扫码关注云+社区