神经网络训练细节part1(上)

训练神经网络

神经网络的历史

  • 1960年左右,弗兰克·罗森布拉特设计了感知机
  • 1960年,威德罗和霍夫制造出了适应性神经元,他们将这些感知机整合成了一个多层次的感知机网络
  • 1986年,神经网络再次有了一个突破性进展,论文中第一次用清晰的公式很好的阐述了反向传播概念,提出损失函数,讨论了反向传播、梯度下降等问题。
  • 2006年,第一次建立了神经网络的模型,同时提出了深度学习
  • 2010年,神经网络有了非常大的成果,尤其是在语音合成方面。

激活函数

我们之前提到了激活函数有很多种,下面将着重介绍一下这些函数。

sigmoid

sigmoid有3个问题

  • 在图像的饱和区域,梯度消失
  • sigmoid函数的输出不是关于原点中心对称的
  • 相比其他激活函数,指数运算相对耗时

tanh

  • 区间在[-1,1]
  • 中心对称
  • 梯度消失

relu

  • 激活时,不会产生梯度弥散问题,即梯度不会为0
  • 计算高效
  • 收敛速度快
  • 不是关于原点中心对称
  • 当x小于0时,同样有梯度消失问题

Leaky relu

  • 不会发生梯度消失问题
  • 计算高效

ELU

  • 继承了RELU的所有优点

数据处理

  • 归一化
  • 零中心化
  • PCA
  • 图像常用下面方法

权重初始化

  • small random numbers(gaussian with zero mean and 1e-2 standard deviation) w = 0.01*np.random.randn(D,H)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

​大牛的《深度学习》笔记,60分钟带你学完Deep Learning(下)

导读:昨天我们为大家带来了大牛Zouxy学习深度学习的笔记的上篇。今天我们继续为大家带来教程的下篇,让我们看看这位大牛在深度学习领域还有什么独到的理解~ |六、...

36460
来自专栏机器之心

神经网络求解新思路:OpenAI用线性网络计算非线性问题

AI选自OpenAI 作者:JAKOB FOERSTER 机器之心编译 使用线性网络进行非线性计算是一种特立独行的思路,近日,OpenAI 发布了一篇博客,介绍...

30960
来自专栏机器人网

【深度】一图看完深度学习架构谱系图

金成勳在 GitHub 上梳理出的谱系图如下,小编在此基础上对各个分支网络做了介绍、补充,希望对读者了解网络体系间的关联有所帮助。如有缺陷,欢迎大家留言补充。 ...

30450
来自专栏用户2442861的专栏

浅谈协方差矩阵

统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述:

1.1K20
来自专栏MyBlog

利用双向注意流进行机器理解

本文基于Bi-Directional Attention Flow For Machine Comprehension一文

11830
来自专栏人工智能

盘点机器学习中那些神奇的损失函数

盘点机器学习中那些神奇的损失函数 这周深圳真的变冷,以前读书的时候,只要天气变到我会冷到哆嗦就知道,快过年了,算算,还有21天,2017就过去了,我在2016年...

38160
来自专栏用户2442861的专栏

Alexnet总结/论文笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

15730
来自专栏计算机视觉战队

最近流行的激活函数

最近又看了点深度学习的东西,主要看了一些关于激活函数的内容,不知道算不算新颖,但是我想把自己阅读后的分享一下,请各位给予评价与指点,谢谢! 一般激活函数有如下一...

31950
来自专栏iOSDevLog

《机器学习实战》算法总结

[美]Peter Harrington. 机器学习实战 (图灵程序设计丛书 72)

13440
来自专栏机器学习算法与Python学习

干货 | 受限玻尔兹曼机基础教程

定义与结构 受限玻尔兹曼机(RBM)由Geoff Hinton发明,是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法。 下载pdf,请后台回复关键...

565130

扫码关注云+社区

领取腾讯云代金券