tensorflow学习笔记(二十七):leaky relu

tensorflow leaky relu

tensorflow 0.12.0及之前,都没有内置的leaky relu函数,那么我们如何实现leaky relu函数呢?

方法1

def relu(x, alpha=0., max_value=None):
    '''ReLU.

    alpha: slope of negative section.
    '''
    negative_part = tf.nn.relu(-x)
    x = tf.nn.relu(x)
    if max_value is not None:
        x = tf.clip_by_value(x, tf.cast(0., dtype=_FLOATX),
                             tf.cast(max_value, dtype=_FLOATX))
    x -= tf.constant(alpha, dtype=_FLOATX) * negative_part
    return x

方法2

x = tf.maximum(alpha*x,x)

这两种方法,在BP的时候,梯度都会被正确的计算的。 另外,关于tf.clip...函数在BP的时候,梯度也是会被正确计算的

import tensorflow as tf
w1 = tf.Variable(0) #0或5时,打印出来1, 2时打印出来1,6时打印出来0,-1时打印出来0
g = tf.clip_by_value(w1, 0, 5)
grad = tf.gradients(g, [w1])

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(grad))

参考资料 https://groups.google.com/a/tensorflow.org/forum/#!topic/discuss/V6aeBw4nlaE

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏漫漫深度学习路

pytorch学习笔记(十七):python 端扩展 pytorch

pytorch 虽然提供了很多的 op 使得我们很容易的使用。但是当已有的 op 无法满足我们的要求的时候,那就需要自己动手来扩展。 pytorch 提供了两种...

2567
来自专栏Java面试通关手册

精研3道简单的网易2018校招编程题

下面三道编程题来自网易2018校招编程题,这三道应该来说是非常简单的编程题了,这些题目大家稍微有点编程和数学基础的话应该没什么问题。看答案之前一定要自己先想一下...

1656
来自专栏数据结构与算法

2729:Blah数集

2729:Blah数集 查看 提交 统计 提问 总时间限制:3000ms内存限制:65536kB描述大数学家高斯小时候偶然间发现一种有趣的自然数集合Blah,对...

2704
来自专栏转载gongluck的CSDN博客

bmp图像大小biSizeImage算法公式由来

LPBITMAPINFOHEADER lpbmiHeader; // ... 计算BMP方法 法一:lpbmiHeader->biSizeImage = (cx...

3845
来自专栏xcywt

《大话数据结构》一些基础知识

第一章 数据结构绪论 1.4 基本概念和术语 1.4.1 数据 数据:描述客观事物的符号,是计算机中可以操作的对象,是能被极端及识别,并输入给计算机处理的符号集...

3359
来自专栏zingpLiu

python2.x之pyshp的使用

1666
来自专栏进击的君君的前端之路

Math对象、数组、日期函数

1345
来自专栏武培轩的专栏

Leetcode#832. Flipping an Image(翻转图像)

水平翻转图片就是将图片的每一行都进行翻转,即逆序。例如,水平翻转 [1, 1, 0] 的结果是 [0, 1, 1]。

973
来自专栏点滴积累

python通过一个语句分析几个常用函数和概念

前言 过年也没完全闲着,每天用一点点时间学点东西,本文为大家介绍几个python操作的细节,包含all、any、for in等操作,以及介绍我解决问题的思路。 ...

2655
来自专栏漫漫深度学习路

pytorch: Variable detach 与 detach_

pytorch detach 与 detach_ pytorch 的 Variable 对象中有两个方法,detach和 detach_ 本文主要介绍这两个方法...

45910

扫码关注云+社区