腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(806)
视频
沙龙
1
回答
Pytorch
中
神经网络
的
前
向
雅
可比
很慢
、
、
我在
pytorch
中计算一个2层
前
馈
神经网络
的
前
向
jacobian (输出相对于输入
的
导数),我
的
结果是正确
的
,但相对较慢。考虑到计算
的
性质,我预计它
的
速度大约与通过网络
的
前
向
传递一样快(或者可能是2-3倍长),但是在这个例程上运行优化步骤(在我
的
测试示例
中
,我只需要所有点
的
jacobian=
浏览 18
提问于2019-01-27
得票数 2
回答已采纳
1
回答
在
pytorch
中
,和
的
梯度是否等于
神经网络
的
梯度之和?
、
、
、
假设我有下面的代码,我想计算L
的
雅
可比
矩阵,这是由
Pytorch
中
的
神经网络
做出
的
预测,L
的
大小为nx1,其中n是小批量样本
的
数量。为了避免L (n个条目)
的
每个条目的for循环来计算小批量
中
每个样本
的
雅
可比
,我发现一些代码只是将
神经网络
(L)
的
n个预测相对于输入求和,然后计算和
的
梯度。首先,
浏览 26
提问于2020-09-27
得票数 2
回答已采纳
1
回答
JAX
中
Hessian矩阵
的
高效计算
在JAX
的
Quickstart教程
中
,我发现可以使用以下代码行有效地计算可微函数fun
的
Hessian矩阵: return jit(jacfwd(jacfwd(fun))) return jit(jacrev(jacrev(fun))) 下面是一个最低限度
的
工作示例
浏览 4
提问于2022-01-03
得票数 3
回答已采纳
1
回答
PyTorch
自梯度:自定义函数梯度
的
维数?
、
、
问题摘要:如何处理自定义函数向后传递
中
输入和输出
的
维数?但是对于更高
的
维度,向后传球变得令人困惑。显然,
PyTorch
只接受backward
的
结果,该结果与forward
的
结果具有相同
的
维度(用于相同
的
输入)。它不是
雅
可比
的
?但是,
PyTorch
实现只需要维度n
的
向量。那么,向后
的
结果实际上意味着什么,它不可能是
雅
可比<
浏览 0
提问于2020-11-10
得票数 2
回答已采纳
1
回答
消失梯度:检查输出梯度
、
、
、
、
对于
前
馈网络或RNN,理论上我们应该检查输出梯度随时间变化
的
权重,以检查它是否消失为零。在下面的代码
中
,我不确定是否应该将输入'xtr‘输入到定义在权重上
的
后端函数
中
。bias我看过一些文章,演示如何获得输出wrt \textit{inputs}
的
梯度
向
model.input上定义
的
函数提供输入肯定是正确
的</e
浏览 0
提问于2022-01-30
得票数 0
回答已采纳
1
回答
解决tf.reshape破坏梯度流
的
方法(jacobian)
、
我有一个计算
神经网络
雅
可比
的
程序,但是为了正确地定义
雅
可比
,我用tf.reshape来生成数据向量(据我所知,jacobian: dy/dx只在y和x是向量(不是矩阵或张量)时才定义)。#caulculate jacobian return Jz我
的
问题是,Jz总是以零为
浏览 1
提问于2022-01-21
得票数 2
3
回答
什么是反向传播?
我有一个概念上
的
问题,因为术语困扰着我。反向传播算法是一种
神经网络
训练算法,还是仅仅是一种递归算法来计算
神经网络
的
雅
可比
?那么这个Jacobian将作为主要训练算法
的
一部分,例如最陡峭
的
下降?因此,计算雅
可比
矩阵(
神经网络
输出到网络参数
的
偏导数)是一种训练算法还是一种数值方法?
浏览 0
提问于2021-09-08
得票数 4
回答已采纳
1
回答
计算Jacobian x Jacobian.T
的
有效方法
、
、
、
、
假设J是某些函数f相对于某些参数
的
雅
可比
。是否有有效
的
方法(在
PyTorch
或Jax
中
)具有一个函数,该函数接受两个输入(x1和x2)并计算J(x1)*J(x2).transpose(),而不实例化内存
中
的
整个J矩阵?我遇到过类似jvp(f, input, v=vjp(f, input))
的
东西,但我并不完全理解它,也不确定我想要什么。
浏览 0
提问于2020-08-24
得票数 2
回答已采纳
1
回答
是否有一种方法来使用外部损耗函数在火把?
、
、
、
pytorch
神经网络
的
一个典型骨架有一个
前
向
()方法,然后根据
前
向
传递
的
输出计算损失,并对该损失调用反向()来更新梯度。如果我
的
损失是外部决定
的
(例如,通过在某些RL环境
中
运行模拟)。我还能这样利用这个典型
的
结构吗? 这可能有点愚蠢,因为我们不再确切地知道每个输出元素对损失
的
影响有多大,但也许有一些我不知道
的
诡计。否则,我不知道如何将<em
浏览 3
提问于2017-07-22
得票数 1
回答已采纳
1
回答
PyTorch
:有可能区分一个矩阵吗?
、
、
如何在
PyTorch
中区分矩阵?
浏览 4
提问于2020-07-26
得票数 2
1
回答
如何从有
向
图实现
PyTorch
NN
、
、
我是
Pytorch
的
新手,也是自学
的
新手,我想创建一个接受有
向
图
的
ANN。我还希望将每个连接
的
预定义权重和偏差传递给它,但现在愿意忽略它。我对这些条件
的
动机是,我正在尝试实现NEAT算法,该算法基本上是使用遗传算法来进化网络。], [6]], '3':[[], [6]], '4':[[1, 7], []], '5':[[7], []], '6':[[2, 3], [7]], '7&
浏览 12
提问于2020-03-10
得票数 1
2
回答
GradientTape在多重
雅
可比
计算
中
的
重复使用
、
、
、
、
我试图计算TensorFlow
神经网络
的
输出相对于它
的
输入
的
雅
可比
。这很容易用tf.GradientTape.jacobian方法实现。对于一个非平凡
的
雅
可比
计算(例如,对于具有非线性激活函数
的
深卷积
神经网络
),重复重新运行GradientTape计算和评估jacobian方法是非常昂贵
的
。我从中得知,梯度(因此也是
雅
可比
)是通过自动微分计算<e
浏览 5
提问于2020-02-03
得票数 2
回答已采纳
2
回答
Python测试:函数是如何在不提供函数名称
的
情况下自动调用
的
?
、
我正在研究vanilla_vae 及其单元测试test_vae
中
的
代码。在下面的test_loss(self)函数
的
代码片段
中
,我对test_loss(self)函数
中
的
self.model(x)部分如何直接调用VanillaVAE类
的
前进方法而没有提到函数名感到困惑。
浏览 9
提问于2022-05-30
得票数 0
1
回答
如何区分多输出
的
神经网络
?
、
、
因为我们知道自动区分是由tf.GradientTape在Python
中
实现
的
,例如: func_1= u(x, y)del tape1 它可以得到单个输出
神经网络
的
导数。我有一个
神经网络
,它有两个输入x,y和两个输出f1,f2。我想得到df1/dx,df1/dy,df2
浏览 8
提问于2022-08-03
得票数 0
回答已采纳
0
回答
什么时候可以使用无尺度
神经网络
?
、
前
馈
神经网络
的
结构是有
向
无环网络(DAG)。
神经网络
结构,例如在MLP
中
,我们通常在实践中看到具有固定结构,其中每层
中
的
节点链接到下一层
中
的
每个节点。一般
的
DAG结构何时可能优于在某种意义上具有
可比
性
的
MLP风格
的
结构(例如,具有相同权重数量
的
MLP )?这个问题
的
灵感来自生物学,在生物学
中
,
浏览 7
提问于2016-07-11
得票数 1
1
回答
如何将
pytorch
模型集成到动态优化
中
,例如在Pyomo或gekko
中
、
、
、
假设我有一个
pytorch
模型,描述了某个多维系统基于自身状态x和外部执行器u
的
演化,所以x_(t+1) = f(x_t,u_t),f是
pytorch
的人工
神经网络
。现在我想解决一个动态优化问题,找到一个最优
的
u值序列,以最小化依赖于x
的
目标。类似于:s.t.:x_(t+1) = f(x_t,u_t)有没有一种简单
的
方法可以使用像py
浏览 28
提问于2021-05-26
得票数 2
回答已采纳
3
回答
反向传播和反模式自差有什么区别?
、
、
、
通过这个,我熟悉以下内容: 据我所知,反向模式自减首先在正向上通过图,然后在第二次传递
中
,计算输出与输入有关
的
所有偏导数。这与传播算法非常相似。
浏览 3
提问于2018-04-19
得票数 15
回答已采纳
3
回答
函数同时返回值和
雅
可比
的
非线性最小二乘解
、
、
、
我正试图加速解决Python
中
的
一个非线性最小二乘问题。我可以计算函数值和
雅
可比
,通过一个向前通过,(val, jac) = fun。像这样
的
求解器只接受两个独立
的
函数,fun和jac,对于我
的
问题,这意味着函数值必须在每次迭代中计算两次(一次在fun
中
,一次在jac
中
)。 有什么办法可以避免两次解决原始问题吗?更通用
的
函数scipy.optimize.minimize使用jac=True关键字支持上面的样式,但是对
浏览 26
提问于2022-06-26
得票数 0
回答已采纳
1
回答
如何选择用伴随方法计算部分?
有具体
的
选择吗?你能选择正反向模式吗?openMDAO用统一
的
方法计算导数,这不重要吗?
浏览 2
提问于2020-04-23
得票数 0
回答已采纳
1
回答
用java询问step by step levenberg-marquardt
、
我正在尝试用Java语言编写levenberg marquardt,下面是我
的
代码: call.calc_jacobian} else { } } 函数calc_jacobian是我用来计算
前
馈和反向传播操作
的
函数,用于计算
雅
可比
的
值。函数koreksi_w使用
浏览 4
提问于2013-05-21
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
人工神经网络ANN中的前向传播和R语言分析学生成绩数据案例
Pytorch 学习引发的思考
通过梯度检验帮助实现反向传播
PyTorch官方教程书限时免费!500页内容带你上手最流行框架
还差一步之学习神经网络
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券