腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在火炬
中
截断
时间
的
反向
传播
(BPTT)
pytorch
、
backpropagation
、
truncated
在
pytorch
中
,我训练RNN/GRU/LSTM网络,方法是启动
反向
传播
(通过时间):当序列很长时,我希望通过时间进行
截断
的
反向
传播
,而不是使用整个序列
的
时间进行正常
的
反向
传播
但是,我在
Pytorch
中
找不到任何参数或函数来设置
截断
的
BPTT。我错过了吗?
浏览 3
提问于2018-12-24
得票数 6
1
回答
PyTorch
中
的
截断
反向
传播
(
代码
检查
)
pytorch
、
backpropagation
对于K1=K2
的
简单情况,我正在尝试在
PyTorch
中
实现
截断
的
反向
传播
。我在下面有一个实现,可以产生合理
的
输出,但我只想确保它是正确
的
。当我在网上查找TBTT
的
PyTorch
示例时,它们在分离隐藏状态和归零梯度以及这些操作
的
顺序方面做了一些不一致
的
事情。如果我弄错了,请告诉我。在下面的
代码
中
,H维护当前
的
隐藏
浏览 35
提问于2020-07-15
得票数 5
回答已采纳
1
回答
PyTorch
丢失()和
反向
传播
是否理解lambda层?
pytorch
、
backpropagation
、
resnet
、
autograd
我一直在使用这里提供
的
代码
的
resnet56模型:。我注意到这个实现与许多其他在线可用
的
ResNet示例不同,我想知道
PyTorch
使用损耗()
的
反向
传播
算法是否可以解释所提供
的
代码
中
的
lambda层和快捷方式。如果是这样的话,是否有人能深入了解
PyTorch
如何能够为
反向
传播
解释lambda层(例如,
PyTorch</
浏览 4
提问于2020-01-19
得票数 1
回答已采纳
1
回答
PyTorch
中
的
可微图像压缩操作
pytorch
、
conv-neural-network
、
gradient-descent
、
image-compression
在CNN分类模型训练
中
,在计算损失时,我在
PyTorch
中
对图像应用编码jpeg压缩。当我调用loss.backward()时,它还必须通过对图像执行
的
编码和压缩操作进行
反向
传播
。这些压缩算法(例如编码和JPEG压缩)是否是可微
的
,否则如何通过这些操作
反向
传播
损失梯度? 如果这些操作不是可微
的
,那么在执行H.264编码和JPEG压缩
的
PyTorch
中
是否存在可微压
浏览 9
提问于2020-04-10
得票数 2
1
回答
PyTorch
中
的
Dict支持
machine-learning
、
deep-learning
、
pytorch
PyTorch
是否支持类似dict
的
对象,通过这些对象我们可以
反向
传播
梯度,比如
PyTorch
中
的
张量? 我
的
目标是计算一个大型矩阵
中
的
几个元素(1%)
的
梯度。但是如果我使用
PyTorch
的
标准张量来存储矩阵,我需要将整个矩阵保存在我
的
GPU
中
,这会导致由于在训练期间可用
的
GPU内存有限而造成
的</em
浏览 6
提问于2022-03-08
得票数 2
1
回答
如何在
pytorch
中
收集每个观察值
的
预测?
pytorch
但我仍然想使用
pytorch
的
backward进行
反向
传播
。 每个观察值进行1次预测,然后用于后续预测。但是,应该如何存储每个预测,以便我们可以计算损失并恢复
传播
?我们能不能只创建一个正态列表,并将其附加到每个预测
中
?或者这将不允许
反向
传播
?
浏览 18
提问于2020-03-10
得票数 1
回答已采纳
2
回答
pytorch
中
的
tensorflow stop_gradient等效项
tensorflow
、
pytorch
pytorch
中
的
tf.stop_gradient()等价物是什么(提供了一种在
反向
传播
过程
中
不计算某些变量
的
梯度
的
方法)?
浏览 70
提问于2018-07-26
得票数 8
1
回答
Flux.jl
中
是否有`zero_grad()`函数
julia
、
flux.jl
在
PyTorch
中
,在进行
反向
传播
之前,通常必须将梯度置零。在Flux
中
是这样
的
吗?如果是这样的话,编程
的
方式是什么呢?
浏览 13
提问于2021-06-27
得票数 0
回答已采纳
4
回答
在LSTM
中
“
截断
梯度”是什么意思?
tensorflow
、
recurrent-neural-network
、
lstm
我正在学习关于LSTM:
的
tensorflow教程。 这一节说
代码
使用“
截断
反向
传播
”,那么这到底意味着什么呢?
浏览 9
提问于2016-08-01
得票数 4
回答已采纳
1
回答
是否有数学验证
的
TBPTT (
截断
反向
传播
时间)
rnn
、
gradient-descent
、
mathematics
我
的
问题在标题里。我目前正在寻找关于该算法
的
论文或学术参考,即使是在一个新
的
框架
中
。 谢谢你所有可能
的
答复
浏览 0
提问于2018-05-18
得票数 1
3
回答
在
pytorch
中
,y.backward([0.11.0,0.0001])
的
含义
pytorch
在
pytorch
中
,y.backward([0.1, 1.0, 0.0001])是什么意思? 我知道y.backward()指的是
反向
传播
。但是[0.1, 1.0, 0.0001]在y.backward([0.1, 1.0, 0.0001])
中
的
含义是什么呢
浏览 1
提问于2018-03-23
得票数 4
1
回答
为什么使用retain_graph=True不会导致错误?
python
、
neural-network
、
deep-learning
、
pytorch
如果我需要通过神经网络
反向
传播
两次,并且我没有使用retain_graph=True,我会得到一个错误。 为什么?我意识到保持用于第一个
反向
传播
的
中间变量在第二个
反向
传播
中
重用是很好
的
。然而,为什么不简单地重新计算它们,就像最初在第一次
反向
传播
中计算它们一样?
浏览 0
提问于2019-08-11
得票数 0
1
回答
pytorch
如何实现从输出层到输入层
的
反向
传播
pytorch
假设我们已经训练了一个网络模型,我想从输出层
反向
传播
到输入层(而不是第一层),以获得新
的
输入数据。我想知道
pytorch
中
是否有函数或其他现有函数可以实现此函数,我在
pytorch
教程
中
找不到相关函数。
浏览 22
提问于2021-02-03
得票数 0
1
回答
神经网络梯度
的
研究
pytorch
、
neural-network
、
gradient
假设我定义了一个神经网络;m:r^2x Net_params -> R^2;y= M(x,theta),我需要一种方法来得到在特定输入下求出
的
梯度:dM/dx_x=x_0和dM/d_theta x=x_x_class NeuralNetwork(nn.Module): super().torch.tensor([1,0])y.backward()grad_par
浏览 5
提问于2022-11-25
得票数 0
1
回答
多输出
的
前向函数?
python
、
pytorch
、
autograd
通常,nn.module
中
的
前向函数计算并返回对前传中发生
的
输入
的
预测。但有时,中间计算可能会对返回有用。例如,对于编码器,可能需要返回前传中
的
编码和重构,以便稍后在丢失时使用。问题:
的
nn.Module
的
前向函数,返回多个输出吗?例如由预测和中间值组成
的
一组输出? 这样
的
返回值不会使
反向
传播
或自动梯度混乱吗?如果是这样的话,您将如何处理在损失函数
中
包含多个输入函数
的</e
浏览 5
提问于2022-07-11
得票数 0
回答已采纳
3
回答
了解
PyTorch
中
的
反向
传播
python
、
deep-learning
、
neural-network
、
pytorch
、
backpropagation
我正在探索
PyTorch
,但我不理解以下示例
的
输出:x = torch.tensor(4., requires_grad我毫不怀疑,我
的
困惑源于一个小小
的
误解。有人能以循序渐进
的
方式解释一下吗?
浏览 2
提问于2021-09-28
得票数 3
1
回答
在python
中
“变量”是什么意思?这是一个标准
的
功能吗?
python
、
pytorch
我有一些python
代码
,我必须阅读和理解。在我发现
的
一行我看到
的
这个Variable是什么?当我使用IDE查找定义时,它会说“没有找到变量
的
定义”,这让我怀疑它是python
中
的
一个标准函数。我显然不能为python搜索“变量”,因为我会得到关于python
中</em
浏览 1
提问于2020-08-03
得票数 0
回答已采纳
1
回答
DNN参数子集
的
反向
传播
代价
deep-learning
、
pytorch
、
backpropagation
、
automatic-differentiation
我使用
pytorch
来评估前馈网络
的
梯度,但只用于与前两层相关
的
参数子集。由于
反向
传播
是逐层进行
的
,我想知道:为什么计算速度快于计算整个网络
的
梯度?
浏览 5
提问于2022-08-23
得票数 1
1
回答
是使用分析梯度还是自动分化来进行训练?
pytorch
、
gaussian
、
autograd
、
gaussian-process
、
gpytorch
我对gpy手电如何计算与模型参数相关
的
梯度感到困惑。例如,假设我使用具有高斯似然、径向基函数核和常量均值
的
ExactGP,并使用MLE (极大似然估计)来求模型
的
参数(均值、核参数和噪声)。计算模型梯度w.r.t参数
的
一种方法是使用解析梯度,即取参数
的
负对数似然导数,并求出每一次推导
的
方程。另一种方法是使用
pytorch
提供
的
自动微分。在他们
的
论文标题为" Gpytorch :黑箱矩阵-矩阵高斯过程与GPU加速推断“
浏览 14
提问于2022-03-17
得票数 0
1
回答
如何在
PyTorch
中
处理验证集?
neural-network
、
pytorch
、
dropout
、
validation
例如,一个使用MNIST数据集,并将所提供
的
大小为60,000
的
培训数据拆分为一个培训集(50,000)和一个验证集(10,000)。所提供
的
大小为10,000
的
测试数据用作测试集。培训集由下面的
代码
(小批处理)处理。首先,将梯度设置为零。然后对模型进行了预测,并计算了损失。然后,计算梯度,并通过
反向
传播
更新权重。测试集
的
准确性是在“冻结”模型后测量
的
,如下
代码
所示。for parameter in model.pa
浏览 0
提问于2021-02-03
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
知识卡片 反向传播中的梯度
关于反向传播在Python中应用的入门教程
人工智能系列(七)深度学习中的梯度下降与反向传播
用Python检查代码中的TODO、FIXME、XXX
你看到的最直白清晰的,神经网络中的反向传播法讲解
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券