如何在TensorFlow GradientTape中使用多个渐变？

文章/答案/技术大牛

发布

1回答

tensorflow中的Pytorch等效特性？

tensorflow、keras、neural-network、pytorch

我最近读了一段Pytorch代码，遇到了loss.backward()和optimizer.step()函数，有没有类似于使用tensorflow/keras的函数呢？

浏览 2提问于2020-05-05得票数 6

2回答

如何在TensorFlow变量上获得损失的梯度？

tensorflow

要做到这一点，一种方法是查看在调用train之后变量发生了多少变化，但显然，这可能会根据学习算法的不同而变化很大(例如，使用RProp这样的东西几乎不可能区分)，而且不是很干净。提前谢谢。

浏览 0提问于2016-02-05得票数 47

回答已采纳

1回答

采用梯度时的张量流2.0；错误表示没有为任何变量提供梯度

tensorflow

嘿，我正在转换老版本的张量流，考虑一个简单的线性回归模型 import tensorflow as tffrom tensorflow这很奇怪，因为我把神经网络作为可训练变量，它在前进过程中通过了。我去了教程，但看起来所有新的实现都需要手动调用梯度函数并将梯度应用于优化器。较老的方式，通过定义操作可以自动处理这一点。我有点想继续使用这种方式。有什么帮助吗？

浏览 17提问于2019-10-04得票数 1

回答已采纳

1回答

python、tensorflow、keras、neural-network、gradient

with tf.GradientTape() as tape1: output1 = NN_model1(input1

浏览 15提问于2021-04-01得票数 0

回答已采纳

1回答

如何在Tensorflow 2中结合使用GradientTape和AutoGraph？

python-3.x、tensorflow

我不知道如何在TensorFlow2中的AutoGraph上运行GradientTape代码。我想在TPU上运行GradientTape代码。我想从在CPU上测试它开始。使用AutoGraph，TPU代码的运行速度会快得多。我尝试观察输入变量，并尝试将参数传递给包含GradientTape的函数，但都失败了。(y, x) print(dy_dx) Output：tf.Tensor(6.0, shape=(), dtype=float32)解释:使用紧

浏览 13提问于2019-09-07得票数 2

回答已采纳

1回答

如何使用tensorflow 2从keras模型中获得评估的梯度？

tensorflow、keras

我正在尝试从keras模型中获取梯度。后端函数keras.backend.gradients创建了一个符号函数，需要对一些特定的输入进行求值。以下代码确实可以解决此问题，但它使用了旧的tensorflow会话，尤其是feed_dict。import numpy as npfrom keras import backend as K

浏览 28提问于2019-10-20得票数 1

1回答

尝试使用grad-CAM热图可视化ML，但K.gradients返回零值

python、tensorflow、keras、heatmap

为了可视化ML过程的结果，我决定使用CAM热图。我在我的模型上使用了here提供的代码，但是对于pooled_grads_value，pooled_grads_value, conv_layer_output_value = iterate([x]我是这样使用它的： import matplotlib.image as mpimgimport matplotlib.pyplot as我还尝试了使用tensorflow.keras.G

浏览 49提问于2020-09-08得票数 2

1回答

使用GradientTape代替。如何在代码中直接替换它？

machine-learning、deep-learning、neural-network、conv-neural-network、tensorflow2.0

Use tf.GradientTape instead. 任何帮助都是感激的，谢谢！

浏览 5提问于2020-12-01得票数 1

1回答

在TensorFlow2.0中，`Tensor.grad`的等效语法是什么

python、pytorch、tensorflow2.0、gradient

在Pytorch中，我们可以通过以下方式访问变量x的梯度 z.grad 在Tensorflow 2中相同的语法是什么？我的目标是减少梯度。以下是Pytorch代码 if z.grad > 1000: z.grad = 10 tensorflow 2可以应用相同的功能吗？谢谢

浏览 23提问于2020-12-25得票数 1

回答已采纳

1回答

内部错误:尝试在没有Tensorflow句柄数据的情况下获取变量的梯度(或类似值)

tensorflow、nlp、bert-language-model、tensorflow-hub、gradienttape

我正在使用Tensorflow为一个二进制情感分析类调整BERT。我想使用自定义训练循环/损失函数。为了进行调试，我尝试将我的训练循环简化为只计算标准的二进制交叉熵，这应该等同于我使用二进制交叉熵作为损失函数来调用model.fit() (它工作得非常好)。注意:我使用的是tensorflow 2.3.0。在tf.GradientTape()中运行ypred = model(train_x)时似乎出现了这个问题： def train_step

浏览 27提问于2021-08-17得票数 0

1回答

Tensorflow渐变磁带返回None

python、tensorflow

我正在使用Python1.14.0和TensorFlow (3.6.8)。我正在尝试使用tensorflow_probability的lbfgs优化器实现(documentation/example)。如果我运行文档中提供的示例代码，它工作得很好。我尝试对我自己的代码遵循相同的过程，使用tf.GradientTape()方法来计算目标函数。当这样做的时候，渐变返回为None类型。我不明白为什么其中一个可以工作，但另一个却不能。编辑:我意识到使用</

浏览 16提问于2019-10-04得票数 0

回答已采纳

2回答

如何在Tensorflow* 2.0中使用gradient_override_map？*

python、tensorflow、tensorflow2.0

我试图在Tensorflow 2.0中使用gradient_override_map。这里有一个，我也将用它作为示例。在2.0中，GradientTape可用于计算梯度，如下所示：print(tf.version.VERSION) # 2.0.0-alpha0 还有tf.custom_gradient装饰符，它可以用于定义新函数的梯度(同样，使用)： import tensorflow as

浏览 1提问于2019-04-19得票数 6

回答已采纳

1回答

tf.math.reduce_max允许像torch.max那样的梯度流吗？

tensorflow、deep-learning、pytorch

我正在尝试在Tensorflow中构建一个多标签二进制分类模型。该模型在两层之间有一个tf.math.reduce_max运算符(它不是Max池化，它用于不同的目的)。并且类的数量是3。我使用的是二进制交叉熵损失和Adam优化器。即使经过几个小时的训练，当我检查预测时，所有的预测都在0.49到0.51的范围内。该模型似乎没有学习到任何东西，并且正在进行随机预测，这让我认为使用tf.math.reduce_max函数可能会导致问题。然而，我在网上看到torch.max函数允许通过它反向传播渐变。当我检

浏览 90提问于2020-07-03得票数 2

回答已采纳

1回答

在tensorflow* 2.0中，如何计算输入变量的损失梯度？*

tensorflow

在TensorFlow2.0中，TensorFlow2.0不支持tf.gradients，并且GradientTape只计算可训练权重的梯度，那么如何像TF1.0那样获得输入的梯度？

浏览 1提问于2020-01-14得票数 1

1回答

使用MultivariateNormalTriL发行版时，Tensorflow* GradientTape返回NaNs*

tensorflow、tensorflow-probability

我使用网络输出从tensorflow_probability和GradientTape实例化MultivariateNormalTriL分布，以记录计算损失后的梯度。在随机数目的训练步骤之后，GradientTape返回网络某些层的NaN值。网络和分布的输出中的所有值看起来都没问题。它们是一些随机数。不是太小，不是太大。所有计算出的损失值也都是正常的。除了来自GradienTape的渐变之外，没有任何其他地方的NaNs。据我所知

浏览 15提问于2021-02-14得票数 0

1回答

在全局上下文中使用一个GradientTape

python、tensorflow、tensorflow2.0

我想使用来观察急切执行模式下的渐变。是否可以只创建一次GradientTape，然后将所有内容记录下来，就好像它具有全局上下文一样？下面是我想做的一个例子：import tensorflow as tf y=2*xtf.gradients(z, x) # RuntimeError, not supported in eager executionwith tf.Grad

浏览 13提问于2019-10-30得票数 1

1回答

使用tf.GradientTape代替

python、tensorflow、keras

from tensorflow.keras.applications import VGG16 model = VGG16Use tf.GradientTape instead

浏览 7提问于2021-02-16得票数 6

回答已采纳

2回答

如何在反向传播前直接设置层的梯度？

python、tensorflow、backpropagation、gradient-descent

想象一个定义如下的微型网络，其中TensorFlow是一个典型的辅助函数，用于定义权重矩阵和激活函数的线性变量： final_layer = linear(linear(_input,10,tf.nn.tanh如何通过内置优化器之一使用此梯度信息来反向传播和更新网络参数？我目前使用的变通方法是构造一个由_deriv和final_layer之间的内积组成的人工损失(因为这个损失的导数w.r.t.final_layer将等于_deriv)。

浏览 1提问于2016-10-11得票数 4

1回答

对于我的数值函数模型，tf.tape.gradient()返回None

python、tensorflow、gradienttape

我在试着用tf.GradientTape()。import tensorflow as tfimport numpy as npimport scipy.integrateXX = tf.Variable(0.1)learning_rate = 0.01 with tf.GradientTape] = None , dloss_dparams[1] = None Tr

浏览 4提问于2021-01-29得票数 1

2回答

试图在非持久性磁带上调用tape.gradient时，它仍然处于活动状态。

tensorflow

为什么TensorFlow给我运行时错误(在标题中)？ 6 with tf.GradientTapetape.gradient(loss_value, model.vari

浏览 0提问于2018-05-09得票数 4

回答已采纳

点击加载更多

tensorflow中的Pytorch等效特性？

如何在TensorFlow变量上获得损失的梯度？

采用梯度时的张量流2.0；错误表示没有为任何变量提供梯度