首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >tf.clip_by_average_norm与tf.clip_by_norm在tensorflow中的差异

tf.clip_by_average_norm与tf.clip_by_norm在tensorflow中的差异
EN

Stack Overflow用户
提问于 2016-12-05 03:56:14
回答 1查看 699关注 0票数 1

我不完全确定两个梯度裁剪操作符clip_by_average_normclip_by_norm之间的区别。从文档中可以看出,clip_by_norm使用的是l2norm而不是l2norm_avg

我明白梯度的L2-范数是什么,但是“平均L2-范数”也对应什么?

文献参考

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-12-05 20:02:55

文档有点模棱两可,从测试实施来看,avg_normnorm/len(vector)

代码语言:javascript
运行
复制
 def testClipByAverageNormClipped(self):
    # Norm clipping when average clip_norm < 0.83333333
    with self.test_session():
      x = tf.constant([-3.0, 0.0, 0.0, 4.0, 0.0, 0.0], shape=[2, 3])
      # Average norm of x = sqrt(3^2 + 4^2) / 6 = 0.83333333
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/40966850

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档