问tf.clip_by_average_norm与tf.clip_by_norm在tensorflow中的差异
EN

Stack Overflow用户

提问于 2016-12-05 03:56:14

回答 1查看 699关注 0票数 1

我不完全确定两个梯度裁剪操作符clip_by_average_norm和clip_by_norm之间的区别。从文档中可以看出，clip_by_norm使用的是l2norm而不是l2norm_avg。

我明白梯度的L2-范数是什么，但是“平均L2-范数”也对应什么？

文献参考

tensorflow

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-12-05 20:02:55

文档有点模棱两可，从测试和实施来看，avg_norm是norm/len(vector)

 def testClipByAverageNormClipped(self):
    # Norm clipping when average clip_norm < 0.83333333
    with self.test_session():
      x = tf.constant([-3.0, 0.0, 0.0, 4.0, 0.0, 0.0], shape=[2, 3])
      # Average norm of x = sqrt(3^2 + 4^2) / 6 = 0.83333333

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40966850

复制

相似问题

问tf.clip_by_average_norm与tf.clip_by_norm在tensorflow中的差异
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问tf.clip_by_average_norm与tf.clip_by_norm在tensorflow中的差异EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问tf.clip_by_average_norm与tf.clip_by_norm在tensorflow中的差异
EN