Tensorflow:如何确定clip_norm在使用clip_by_norm或clip_by_global_norm时的值？
Tensorflow:如何确定clip_norm在使用clip_by_norm或clip_by_global_norm时的值？
提问于 2018-04-12 04:17:43
我正在试图了解如何在使用clip_norm或规范与Tensorboard时确定规范的值。
在Tensorflow中，我们可以使用compute_gradients的优化器来获得梯度并将其添加到tf.summary.histogram中。在Tensorboard中，我们可以在DISTRIBUTIONS选项卡中观察到梯度的范围。然后在使用clip_value时，我们可以确定价值的范围。
另一方面，如何在clip_norm板中计算/显示范数或全局范数，以确定其值。
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-04-19 12:58:15
要查看Tensorboard中的规范或全局规范，可以手动计算它。
对于范数(不是全局的)，您可以像往常一样使用compute_gradients获得梯度，使用tf.norm计算梯度l2范数。这给出了一个标量值。您可以使用tf.summary.scalar将其添加到Tensorboard中。
对于全局范数，您可以使用tf.global_norm计算它，然后将它添加到Tensorboard (也是标量摘要)。
编辑
请注意，tf.norm期望单张量。因此，您需要计算范数，并为每个梯度张量添加到Tensorboard。与使用tf.summary.histogram查看值时所做的相同。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49787924
复制相关文章
相似问题
腾讯云开发者
