腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
pytorch
中
使用
参数
偏
导数
进行
训练
、
给定一个具有权重θ和输入x的神经网络,我感兴趣的是计算神经网络输出w.r.t的
偏
导数
。x,这样我就可以
在
训练
权重θ时
使用
结果,该损失取决于输出和输出的
偏
导数
。我想出了如何计算下面的
偏
导数
this post。我还发现this post这就解释了如何
使用
渐近来实现类似的东西,然而,将其适应
pytorch
中
的神经网络上下文似乎是一项巨大的工作,并且对于非常慢的代码来说是一种累加。是否有可
浏览 57
提问于2021-02-24
得票数 1
回答已采纳
1
回答
自动微分:数值还是精确?
、
、
我有一个关于自动微分的问题,特别是
在
Pytorch
中
,因为我正在
使用
这个库,例如,我见过自动微分给出表达式对变量的
偏
导数
。然而,就我所见,结果总是
在
一个特定点给出,这意味着它是一个具有数值values.My的张量,问题如下:假设我们定义一个两个变量的函数: f(x,y)= x²+ y²。
Pytorch
是否能够返回一个函数,该函数对应于f对x或y的
偏
导数
?能给我们一个
导数
的公式(取决于不同的变量),而
浏览 13
提问于2021-02-23
得票数 0
回答已采纳
1
回答
神经网络
训练
中
梯度和
偏
导数
的解释
、
、
、
、
我试图通过了解如何解释梯度及其
偏
导数
来理解神经网络
训练
中
偏微分的目的。下面是我解释它们的方法,所以我想知道我是否正确,如果不是,是否有人能指出我的正确方向。如果我们
在
处理依赖于单个变量的函数,则该函数相对于该特定变量的
导数
是一个斜率(即常数),它告诉我们因变量的变化将如何影响函数值的变化。如果我们处理的函数依赖于几个变量,那么这个函数对所有这些因变量的
导数
就是一个梯度(即
偏
导数
的向量),它指向函数极值的方向。我的问题是,当我们计算关于
浏览 0
提问于2020-01-17
得票数 3
回答已采纳
3
回答
什么是反向传播?
反向传播算法是一种神经网络
训练
算法,还是仅仅是一种递归算法来计算神经网络的雅可比?那么这个Jacobian将作为主要
训练
算法的一部分,例如最陡峭的下降?因此,计算雅可比矩阵(神经网络输出到网络
参数
的
偏
导数
)是一种
训练
算法还是一种数值方法?
浏览 0
提问于2021-09-08
得票数 4
回答已采纳
2
回答
神经网络本质上是一种在线算法吗?
、
、
在
神经网络
中
,通过一次传递(向前通过)来调整权重,然后
在
每个
训练
示例之后计算权重的
偏
导数
(反向传递),并从初始权重
中
减去这些
偏
导数
。反过来,新权重的计算在数学上是复杂的(你需要计算权重的
偏
导数
,
在
神经网络的每一层计算误差-输入层除外)。谢谢!
浏览 0
提问于2016-01-09
得票数 5
回答已采纳
3
回答
第二部分弹性反向传播神经网络
、
、
、
这是的后续问题.对于给定的神经元,我不清楚如何取其误差的
偏
导数
和其权重的
偏
导数
。 从这个中可以清楚地看到,传播是如何工作的(尽管我正在处理弹性传播)。对于前馈神经网络,我们需要1)
在
神经网络
中
向前移动,触发神经元,2)从输出层神经元中计算出总误差。然后向后移动,按神经元
中
的每个权重来传递该误差,然后再次向前,更新每个神经元的权重。A)对于每个神经元,如何计算
偏
导数
的
偏
导数
()对权重的
偏</e
浏览 1
提问于2012-08-27
得票数 7
1
回答
卷积核是预先定义的,还是CNN
在
训练
期间对它们
进行
了定义?
、
、
、
、
我了解卷积核是如何工作的,以及它们
在
神经网络
中
的作用。然而,我不确定在典型的CNN
中
,你是否会预先定义卷积内核是什么,或者这是否是CNN“弄明白”的东西。例如,
在
制作CNN时,您会简单地定义一些5x5卷积内核,如下所示: [ 0, 2, -1, 2, 1], 0, 1, 0, 0] [-3, -2, 0, 1, 1]] 或者你会告诉CNN找到
浏览 3
提问于2016-10-19
得票数 0
回答已采纳
2
回答
Pytorch
:输出w.r.t
参数
的渐变
、
、
、
、
在
文献
中
,这种梯度有时被称为Weight_Jacobian。RuntimeError: grad can
浏览 4
提问于2018-05-04
得票数 4
4
回答
按元素添加numpy数组列表
、
、
我一直
在
研究神经网络
中
的反向传播算法。我的程序计算每个权重相对于损失函数的
偏
导数
,并将其存储
在
一个数组
中
。每层处的权重被存储
在
单个2Dnumpy数组
中
,因此
偏
导数
被存储为numpy数组的数组,其中每个numpy数组具有不同的大小,取决于每层
中
的神经元的数量。当我想要在
使用
了许多
训练
数据之后对
偏
导数
数组
进行
平均时
浏览 61
提问于2021-11-07
得票数 1
回答已采纳
2
回答
是否可以
使用
C++
训练
在
tensorflow和
pytorch
中
开发的ONNX模型?
、
、
、
、
我想知道是否有可能
使用
tensorflow和
pytorch
模型转换为onnx模型来
使用
C++ Api
训练
它们,就像在中
使用
tensorflow模型一样。我只是找到了一些
使用
onnx
进行
推理的例子。其想法是能够
在
python中
使用
tensorflow和
pytorch
创建原型,转换为onnx模型,并在C++
中
拥有统一的API来
进行
推理和
训练
。获取一些信息(链接)会有很
浏览 4
提问于2021-11-05
得票数 1
1
回答
ReLU权值初始化?
我读到“他权值初始化”(He等人,2015)是建立
在
Lecun权值初始化的基础上的,并提出了一个零均值高斯分布,其中标准差为。 该函数应与ReLU相结合,解决消失/爆炸梯度问题。因为,如果输入小于0时,
导数
将为零,否则
导数
将为1。所以,不管方差是多少,梯度都是0或1。因此,He权值初始化是无用的。我知道我错过了什么,这就是为什么我要问是否有人会告诉我重量初始化的有用性?
浏览 2
提问于2020-03-30
得票数 0
回答已采纳
1
回答
如何编写函数来逼近第一
偏
导数
、
正如标题中所述,我试图写一个函数,
在
点(a,b)处求f的
偏
导数
。我的假设是,我计算
偏
导数
的算法是错误的。但我不知道该怎么做。我已经很久没有
使用
MATLAB了,所以如果我犯了一些错误或者用了一种无效的方式编写我的代码,我很抱歉。i,它在以下
参数
中
可以看到:表示我的指数,以便区分x和y的
偏
导数
浏览 0
提问于2019-04-08
得票数 0
回答已采纳
1
回答
间接
训练
前馈神经网络
、
、
、
因此,我会
使用
神经网络作为过滤数据
中
的偏差。但我面临两个问题: 首先,我如何以这种方式
训练
我的网络?其次,我正在考虑添加一个额外的隐藏层来映射R^2->R,让网络自己
训练
以找到正确的映射,然后删除额外的层。这个算法正确吗?也就是说,输出结果会和我想要的一样吗?
浏览 7
提问于2013-11-25
得票数 0
1
回答
给定其计算
偏
导数
的函数的优化
、
、
该函数
使用
向量w
进行
参数
化。所以我所做的基本上是计算函数相对于每个
参数
的
偏
导数
。然后,我简单地
使用
梯度下降。然而,据我所知,我们可以
使用
比梯度下降更复杂的优化方法,这些方法不需要
参数
来调优或关心。我想在numpy或scipy
中
尝试其中一种方法,但我不知道如何做到这一点。我需要的是一种方法,接受计算出的
偏
导数
值作为输入,然后优化函数。像这样的东西是否存在于numpy或scipy<em
浏览 2
提问于2014-05-20
得票数 2
1
回答
默认tf.gradients in TensorFlow -总衍生品还是
偏
导数
?
、
、
因此,我
在
文档()
中
读到了有关()的内容,我有点困惑。Ysw.r.t.和的符号
偏
导数
X字。 stop_gradients是张量或张量列表,对于所有的xs都是常量。这些张量不会被反向传播,就好像它们已经
使用
stop_gradient显式断开了连接一样。除其他外,这允许计算
偏
导数
,而不是总
导数
。那么,如果我
使用
浏览 6
提问于2019-12-04
得票数 1
1
回答
将回归系数(
偏
导数
)与R
中
的CIs相结合,lincom + coefplot或plotbeta?
、
、
、
、
大多数时候,我们
使用
交互项运行回归,我们对
偏
导数
感兴趣。例如,考虑下面的模型, ? 如果我想知道X1对P(Y)的影响,或者X1对P(Y)的
偏
导数
,我需要以下系数组合: ?例如,我可以
使用
R
中
的lincom函数来计算回归
参数
的线性组合,而不是手动计算它。但我不仅想从这样的计算中知道数字,我还想画出它们的曲线图。问题是,如果我
使用
R包来绘制系数(例如coefplot),它会绘制我的模型
中
的系数,但没有选择系数的线性组合。
浏览 119
提问于2021-02-04
得票数 2
回答已采纳
1
回答
如何利用
PyTorch
计算
偏
导数
?
、
、
我想用
PyTorch
得到输出和输入之间的
偏
导数
。假设我有一个函数Y = 5*x1^4 + 3*x2^3 + 7*x1^2 + 9*x2 - 5,并且我
训练
一个网络来替换这个函数,那么我
使用
自动梯度来计算dYdx1, dYdx2。torch.FloatTensor)grad_c = torch.autograd.grad(y,x,create_graph=True,retain_graph=True)[0] >>>te
浏览 0
提问于2018-07-24
得票数 2
1
回答
神经网络:InverseLayer
、
我
在
玩神经网络。我理解卷积层、完全连接的层和许多其他东西是如何工作的。我也知道梯度是什么,以及如何
训练
这样的网络。 非常感谢
浏览 5
提问于2016-09-18
得票数 1
回答已采纳
2
回答
人工神经网络的雅可比矩阵计算
、
、
、
(左上角和右下角的公式示例以及一些解释将是完美的)
在
神经网络方面,F和x是什么?
浏览 0
提问于2014-10-01
得票数 7
1
回答
为什么要计算反向传播过程
中
神经网络误差w.r.t输出的
偏
导数
?
、
📷 如图所示,我们计算了输出神经元的误差w.r.t的
偏
导数
。它不应该是正常
导数
吗?这个错误不只是由输出决定的吗?
浏览 0
提问于2016-06-01
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pytorch 学习引发的思考
如何计算浅层神经网络的反向传播
还差一步之学习神经网络
看懂深度学习真的那么难吗?初中数学,白话AI就用10分钟
白话AI:看懂深度学习真的那么难吗?初中数学,就用10分钟
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券