tensorflow学习笔记(三十六):learning rate decay

learning rate decay

在训练神经网络的时候,通常在训练刚开始的时候使用较大的learning rate, 随着训练的进行,我们会慢慢的减小learning rate。对于这种常用的训练策略,tensorflow 也提供了相应的API让我们可以更简单的将这个方法应用到我们训练网络的过程中。

接口 tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 参数: learning_rate : 初始的learning rate global_step : 全局的step,与 decay_stepdecay_rate一起决定了 learning rate的变化。 staircase : 如果为 True global_step/decay_step 向下取整

更新公式:

decayed_learning_rate = learning_rate *
                        decay_rate ^ (global_step / decay_steps)

这个代码可以看一下 learning_rate 的变化趋势:

import tensorflow as tf

global_step = tf.Variable(0, trainable=False)

initial_learning_rate = 0.1 #初始学习率

learning_rate = tf.train.exponential_decay(initial_learning_rate,
                                           global_step=global_step,
                                           decay_steps=10,decay_rate=0.9)
opt = tf.train.GradientDescentOptimizer(learning_rate)

add_global = global_step.assign_add(1)
with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(learning_rate))
    for i in range(10):
        _, rate = sess.run([add_global, learning_rate])
        print(rate)

用法:

import tensorflow as tf

global_step = tf.Variable(0, trainable=False)

initial_learning_rate = 0.1 #初始学习率

learning_rate = tf.train.exponential_decay(initial_learning_rate,
                                           global_step=global_step,
                                           decay_steps=10,decay_rate=0.9)
opt = tf.train.GradientDescentOptimizer(learning_rate)

add_global = global_step.assign_add(1)
with tf.control_denpendices([add_global]):
    train_op = opt.minimise(loss)

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(learning_rate))
    for i in range(10):
        _= sess.run(train_op)
        print(rate)

参考资料

https://www.tensorflow.org/api_docs/python/tf/train/exponential_decay

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏C/C++基础

使用互斥量封装的类

632
来自专栏mathor

“达观杯”文本智能处理挑战赛

 由于提供的数据集较大,一般运行时间再10到15分钟之间,基础电脑配置在4核8G的样子(越消耗内存在6.2G),因此,一般可能会遇到内存溢出的错误

522
来自专栏AI黑科技工具箱

1.试水:可定制的数据预处理与如此简单的数据增强(下)

上一部分我们讲了MXNet中NDArray模块实际上有很多可以继续玩的地方,不限于卷积,包括循环神经网络RNN、线性上采样、池化操作等,都可以直接用NDArra...

2263
来自专栏程序生活

斯坦福tensorflow教程-tensorflow 实现线性回归代码结果

1022
来自专栏应兆康的专栏

17. 如果你有一个很大的开发集,把它分为两个子集,只着眼于其中一个

981
来自专栏有趣的Python

13- 深度学习之神经网络核心原理与算法-TensorFlow介绍与框架挑选

2288
来自专栏杨熹的专栏

TensorFlow-3: 用 feed-forward neural network 识别数字

今天继续看 TensorFlow Mechanics 101: https://www.tensorflow.org/get_started/mnist/me...

3428
来自专栏人工智能头条

实战Google深度学习框架:TensorFlow计算加速

2325
来自专栏WD学习记录

21个项目玩转深度学习 学习笔记(2)

事实上,必须先读入数据后才能进行计算,假设读入用时0.1s,计算用时0.9秒,那么没过1s,GPU都会有0.1s无事可做,大大降低了运算的效率。

861
来自专栏杨熹的专栏

TensorFlow-3: 用 feed-forward neural network 识别数字

这一节讲了使用 MNIST 数据集训练并评估一个简易前馈神经网络(feed-forward neural network),input,output 和前两节是...

4660

扫码关注云+社区