《深度学习Ng》课程学习笔记02week3——超参数调试、Batch正则化和程序框架

http://blog.csdn.net/u011239443/article/details/78088602

3.1 调试处理

  • 参数:

- 不要使用格子点调参,而应该使用随机点调参。因为格子点对于单一粒度

  • 调参时,我们可以先调参选到几个结果较优的点(如图被蓝色圈住的)

3.2 为超参数选择合适的范围

对于 alpha 的取值:

我们不应该如上述的方法取值,而应先划分(如下),再取值:

3.3 超参数训练的实践:Pandas VS Caviar

3.4 正则化网络的激活函数

输入的0均值标准化:

隐藏层的0均值标准化:

3.5 将 Batch Norm 拟合进神经网络

  • 使用微批:
  • 梯度下降:

3.6 Batch Norm 为什么奏效?

当训练集中X发布改变的时候,需要重新训练模型:

我们吧某隐藏层之后的神经网络看成一个模型,可知就算是同分布的数据X从整个网络正向传播,由于W、b的变化,到了该隐藏层,输出分布也都会不同。所以Batch Norm 奏效就是由于避免的这种分布的不同而造成的问题:

3.7 测试时的 Batch Norm

3.8 Softmax 回归

最终预测的各个类别的概率之和不一定等于1:

3.9 训练一个 Softmax 分类器

  • 损失函数:
  • 梯度下降:

3.10 深度学习框架

3.11 TensorFlow

参阅:TensorFlow实战——入门

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

机器学习三人行(系列三)----end-to-end机器学习

系列二我们详细介绍了数据下载,数据透析以及数据的不同分组方式,详情请参考:机器学习三人行(系列二)----机器学习前奏,洞悉数据之美!。但是在真正进行训练之前,...

39580
来自专栏文武兼修ing——机器学习与IC设计

基于sklearn的线性支持向量机分类器原理代码实现

原理 分类器 机器学习的分类器,均可以看成一个或一组超平面,将label不同的数据点在数据空间中分开。对于线性可分问题,属于相同label的数据点在数据空间中可...

42690
来自专栏机器学习算法工程师

Batchnorm原理详解

作者:刘威威 小编:赵一帆 前言:Batchnorm是深度网络中经常用到的加速神经网络训练,加速收敛速度及稳定性的算法,可以说是目前深度网络必不可少的一部分。...

95660
来自专栏新智元

【干货】深度学习必备:随机梯度下降(SGD)优化算法及可视化

【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机...

76980
来自专栏算法channel

Tensorflow笔记|tensorflow做线性回归

本系列推送主要参考: Stanford University CS20SI: Tensorflow for Deep Learning Research. 01...

37260
来自专栏机器学习算法与Python学习

TensorFlow实战:CNN构建MNIST识别(Python完整源码)

在文章(TensorFlow实战:SoftMax手写体MNIST识别(Python完整源码))中,我们MNIST手写体识别数据集,使用TensorFlow构建了...

1.7K90
来自专栏Petrichor的专栏

论文阅读: R-FCN

由上表易知,R-FCN就是为了 解决 不共享的proposal处理过程 而诞生的。

28630
来自专栏ATYUN订阅号

神经网络太臃肿?教你如何将神经网络减小四分之一

想要让深度神经网络更快,更节能一般有两种方法。一种方法是提出更好的神经网络设计。例如,MobileNet比VGG16小32倍,快10倍,但结果相同。另一种方法是...

38770
来自专栏AI深度学习求索

弱监督语义分割算法|AE-PSL算法对抗性擦除最具有判别性区域

这是一篇有趣的弱监督语义分割算法,最有趣的在什么地方呢?它通过将图片中最重要的、最具有判别性的部分擦除了,从而来得到次判别性区域,不明白他为什么会舍弃最好的而求...

27320
来自专栏机器学习与自然语言处理

Stanford机器学习笔记-1.线性回归

Content: 1. Linear Regression   1.1 Linear Regression with one variable     1.1....

20290

扫码关注云+社区

领取腾讯云代金券