我想计算keras模型的Hessian矩阵w.r.t。它使用tf.hessians以图形模式输入。下面是一个最小的例子from tensorflow import keras
keras.Input): return
浏览 15提问于2021-06-12得票数 0
回答已采纳
假设我想计算一个标量值函数关于一些参数W(例如前馈神经网络的权值和偏差)的Hessian值。= tf.hessians(loss, params)
您会期望session.run(tf.hessian,feed_dict={})返回一个2x2矩阵(等于W)。虽然我可以很容易地重塑张量来获得我想要的矩阵，但当params变成一个变大小的张量列表时(例如，当模型是一个深度神经网络时)，这个操作可能会非常麻烦。然而，在我看
浏览 3提问于2018-08-21得票数 4
回答已采纳
我有一个经过训练的keras模型，我需要计算输出相对于输入的梯度和hessian。输入X是一个5000x3numpy数组，输出y是5000x1。使用keras的梯度函数和tensorflow的梯度函数都可以很好地计算梯度，我得到了一个包含正确值的5000x3数组，但是使用tf.hessian()的hessian函数只返回0。这不应该是这种情况，因为我的模型
浏览 19提问于2019-02-26得票数 1
当我们需要计算双梯度或Hessian时，在tensorflow中，我们可以使用tf.hessians(F(x),x)，或者使用tf.gradient(tf.gradients(F(x),x)[0], x但是，当x没有排名第一时，有人告诉我使用tf.hessians()时出现了以下错误。
ValueError:不能计算Hessian，因为xs的元素0没有等级1..张量模型输入/动作:0必须有1级。接收到的2级，形状(?= tf.gradients(self.a
浏览 2提问于2017-08-24得票数 2
回答已采纳
1回答
对于NN的自定义丢失，我使用以下函数
return loss
我所有的调度，基于Input(shape=(2,))，都是上述片段中注释行的变化，主要是试图找到结果张量的正确指数化。果然，我不知道张量到底是如何工作的。顺便说一句，我知道在TensorFlow本身中，我可以简单地使用tf.hessia
浏览 1提问于2018-04-20得票数 6
回答已采纳
是一种简单的方法，可以判断临界点是最小值、最大值还是鞍点。我目前正在尝试在tensorflow中为一个简单的神经网络实现这样的测试。以下权重集用于建模具有两个输入、一个隐层和两个隐藏单元的异或神经网络，以及一个输出单元： 'h1': tf.Variable(np.empty([2, 2]), namegradients = tf.gradients(mse_op, [weights['h1'], weights['b1&#x
浏览 1提问于2018-05-02得票数 2
我想在keras中创建自己的损失函数，它包含导数。linear'))model.compile(loss=model_loss, optimizer='adam')
它类似于 post，但这篇文章将二维变量分离为两个一维变量。有没有其他方法可以在不分离输入的情况下获得梯度？
浏览 58提问于2019-03-14得票数 0
回答已采纳
1回答
除了y_true和y_predict的均方误差外，我还想在成本函数中使用y_true的二阶导数，因为我的模型目前非常动态。假设我有y_predicted (256,100，1)。第一个维度对应于样本(每个样本之间的delta_t为0.1s)。现在我想通过第一个维度来区分，即对于y_predictied中的每一行(0-dim)。
浏览 3提问于2018-12-17得票数 1
我正在尝试不同的tf.contrib.opt.ScipyOptimizerInterface优化方法，其中一些方法(如信任-精确)需要目标函数的恒心。**的tf.hessians作为的
我试图为它提供hess=tf.hessians(loss,variable) (它返回一个张量列表)，但它需要一个可调用的对象。如果我直接输入hess=tf.hessians，就会得到TypeError: hessians() takes at least 2 argu
浏览 2提问于2018-03-24得票数 1
回答已采纳
设x和y是长度N的向量，z是函数z= f(x，y)。在Tensorflow v1.0.0中，tf.hessians(z，x)和tf.hessians(z，y)都返回N乘N矩阵，这正是我所期望的。但是，当我使用tf.concat将x和y连接到大小为2*N的向量p并运行tf.hessian(z，p)时，它将返回错误"ValueError: None值不受支持“。我理解这是因为在计算图x，y ->z和x，y -> p中，p和z之间没有梯度，为了绕过这个问
浏览 5提问于2017-04-13得票数 0
回答已采纳
2回答
我有一个基本的Keras模型，用于MNIST分类。现在，对于训练中的样本z，我要计算模型参数的关于该样本丢失的恒心矩阵。我想对训练数据进行平均化(n是训练数据的数量)。
我可以计算左项和右项，想要计算Hessian项。我不知道如何计算一批示例的模型权重(向量化)。我只能在一次速度太慢的样本
浏览 11提问于2022-11-16得票数 0
1回答
SIFT中的边缘响应去除
、、、
在Lowe的论文4.1节中，使用Hessian矩阵的主曲率比来消除可能属于边缘的点。我的问题是，为什么在DoG上应用Hessian矩阵来识别具有潜在边的点？
我从了解到，黑森语应该类似于哈里斯角点的检测。区别在于，Hes
浏览 6提问于2011-09-02得票数 1
所以我有一个名为W的tf.Variable()，它属于shape=[1]。我知道tf.hessians(loss, W)不等于tf.gradients(tf.gradients(loss, W), W)，尽管它应该是一样的:二阶导数。这里是代码的一个小要点，如果我试图用双梯度替换Hessian：，但我观察到如果我使用双梯度，结果不收敛。
浏览 16提问于2017-07-30得票数 1
在tensorflow中计算Hessian非常容易：f = (x[0] + x[1]** 2 + x[0] * x[1] + x[2]) ** 2这将正确地返回 [20., 34.,在我的实际情况中，我需要将其拆分为两个变量：x (保存前两个变量)和y (保存最后一个变量)，而不是使用一个
浏览 2提问于2019-01-09得票数 3
回答已采纳
2回答
理解PyMC3函数的参数
、、、
data.sum()) std_q = ((1/pm.find_hessian(mean_q, vars=[p]))**0.5)[0]我尝试搜索google，并查看pm.Binomial的参数pm.Binomial和函数find_hessian(例如，vars关键字的含义)是什么，但是我没有看到任何解释。有人不仅能
浏览 2提问于2021-10-27得票数 0
回答已采纳
如何在PyTorch中计算大型神经网络或变压器模型的Hessian矩阵？我知道torch.autograd.functional.hessian，但它似乎只计算函数的Hessian，而不是神经网络。问题是，我想计算关于权值的Hessian函数，但是对于大型神经网络来说，把它写成权值的函数是非常低效的。有更好的方法吗？如有任何建议，将不胜感激。谢谢。
浏览 24提问于2022-03-14得票数 2
我理解它的数学部分，但我试图理解它的代码部分。我的玩具代码如下-b = tf.constant([1, 1, 2], dtype=tf.float32)tf.hessians(a, b) RuntimeError:启用急切执行时不支持tf.gradients。
浏览 1提问于2019-12-09得票数 0
回答已采纳
1回答
以下是本文中日志似然函数的快照：，其中e:检查效率。这是众所周知的。n:样本量
这个公式产生了所需的样本大小，以便在给定侵染率的情况下，以选定
浏览 4提问于2020-07-27得票数 0
我正在阅读他的第一篇论文，我从那里获得了一个实现。在代码的某个点，Hessian矩阵的对角线由一个函数set_hessian近似，如下所示。在set_hessian()的最后，提到了# approximate the expected values of z*(H@z)。的对角线逼近？我之所以要理解这个结构，是因为我想要得到最小的特征值，对角矩阵的逆，以及Hessian</
浏览 5提问于2022-04-29得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
