在PyTorch中，我有一个形状为(batch size, input dimension)的固定数据集x和一个前馈网络network。如果我调用shape (batch size, output dimension)的网络yhat = network(x)的输出，我如何计算yhat相对于每个数据点的network参数的梯度？
浏览 30提问于2020-07-10得票数 0
假设我有下面的代码，我想计算L的雅可比矩阵，这是由Pytorch中的神经网络做出的预测，L的大小为nx1，其中n是小批量样本的数量。为了避免L (n个条目)的每个条目的for循环来计算小批量中每个样本的雅可比，我发现一些代码只是将神经网络(L)的n个预测相对于输入求和，然后<
浏览 26提问于2020-09-27得票数 2
回答已采纳
假设我有一个张量Y，它是从张量X (直接或间接)计算出来的。这个掩码实际上是Y w.r.t的元素梯度的加权和。X。
是否有可能得到与Y mask[i][j] 相同形状的梯度掩模，其中每个元素是 Y[i][j] w.r.t. X**?**的梯度之和。这相当于将雅可比J(Y,X)与X维数之和，而非Y维数之和。计算Y w.r.t X的雅可比</
浏览 3提问于2021-08-30得票数 2
回答已采纳
2回答
我试图计算TensorFlow神经网络的输出相对于它的输入的雅可比。这很容易用tf.GradientTape.jacobian方法实现。对于一个非平凡的雅可比计算(例如，对于具有非线性激活函数的深卷积神经网络)，重复重新运行GradientTape计算和评估jacobian方法是非常昂贵的。我从中得知，梯度(因此也是雅<
浏览 5提问于2020-02-03得票数 2
回答已采纳
3回答
我有一个概念上的问题，因为术语困扰着我。反向传播算法是一种神经网络训练算法，还是仅仅是一种递归算法来计算神经网络的雅可比？那么这个Jacobian将作为主要训练算法的一部分，例如最陡峭的下降？因此，计算雅可比矩阵(神经网络输出到网络参数的偏导数)是一种训练算法还是一种数值方法？
浏览 0提问于2021-09-08得票数 4
回答已采纳
1回答
我正在实现一个pytorch神经网络(回归)，并希望确定最佳的网络拓扑结构、优化器等。我使用交叉验证，因为我有x个测量数据库，我想评估我是否能够用x数据库的子集来训练一个神经网络，并将神经网络应用到看不见的数据库中。因此，我还介绍了一个测试数据库，它不用于超参数识别阶段。对于如何处理交叉验证中的历元数，我感到困惑，例如，我有许多历元= 100。有两种选择：
划时代数是一个需要调整的超参数。在每个时代
浏览 1提问于2020-04-29得票数 1
回答已采纳
在阅读迈克·奥尼尔( Mike‘’Neill)的一本书“和”时，我遇到了一些关于卷积神经网络中权重数的计算，这是我想要理解的。每个特征映射为5x5，特征映射中的每个单元都是前层所有6个特征映射的对应区域的5x5卷积核，每个特征映射都是13x13特征映射。权重的计算，(5x5+1)x6x50 = 7800，对我来说似乎很奇怪。不应该是这样的
浏览 0提问于2019-02-14得票数 0
1回答
神经网络训练中梯度和偏导数的解释
、、、、
我试图通过了解如何解释梯度及其偏导数来理解神经网络训练中偏微分的目的。下面是我解释它们的方法，所以我想知道我是否正确，如果不是，是否有人能指出我的正确方向。如果我们处理的函数依赖于几个变量，那么这个函数对所有这些因变量的导数就是一个梯度(即偏导数的向量)，它指向函数极值的方向。每个偏导数对应于我们试图优化的N维空间中的一个特定维数(例如二次代价函
浏览 0提问于2020-01-17得票数 3
回答已采纳
我的CNN有以下结构：输入矩阵(I)：28x28最大池层(MP)：大小为2x2 (输出维数为3x12x12)在向前传递之后，我将输出层中的误差增量计算为：
\delta^L = (a^L-y) \odot \sigma我用以下方法计算下一层的误差增量：
浏览 0提问于2020-06-06得票数 4
1回答
我在pytorch中计算一个2层前馈神经网络的前向jacobian (输出相对于输入的导数)，我的结果是正确的，但相对较慢。考虑到计算的性质，我预计它的速度大约与通过网络的前向传递一样快(或者可能是2-3倍长)，但是在这个例程上运行优化步骤(在我的测试示例中，我只需要所有点的jacobian=1 )与标准均方误差相比，需要大约我只是想知道有没有人
浏览 18提问于2019-01-27得票数 2
回答已采纳
2回答
我正在实现一个one-versus-rest分类器，以区分对应于(1)移动计算机光标向上的神经数据和(2)在其他七个主要方向上移动它或不移动的神经数据。我使用了一个带有RBF核的SVM分类器(由LIBSVM创建)，我做了一个网格搜索来为我的分类器找到最佳的伽马和代价参数。不幸的是，我的结果不是很好，而且，我找不到一个解释的原因。我测试了37759个数据点，其中16
浏览 2提问于2011-07-28得票数 0
1回答
我将给出我目前执行KDE的一些伪码，以便更好地向您展示我的问题。(我复制了维基百科的例子：)
确保所有点的概率之和达到100%，并根据这些点的概率抽取样本。这是可行
浏览 0提问于2019-09-02得票数 0
回答已采纳
7回答
支持向量机与神经网络
、、、
支持向量机和神经网络有什么区别？线性支持向量机是否真的是相同的神经网络，对于非线性可分离问题，神经网络使用添加隐藏层，支持向量机使用变化的空间维度？
浏览 3提问于2012-01-23得票数 35
回答已采纳
2回答
基于有限特征的预测准确率
、、、、
基于命令后是否完成和使用什么accuracy/probability完成的实践问题具有以下特性：Placed Time float64int32Response Delay float64我的方法是使用看上去是这样的： tf.k
浏览 4提问于2019-11-29得票数 0
回答已采纳
4回答
我不明白为什么渠道维度不包括在Keras中的conv2D层的输出维度中。Model(input=image, output=output)model.summary()
模型摘要给出了我问题末尾的数字输入层采用宽度= 128和高度= 128的RGB图像。第一个conv2D层告诉我输出维度是(None，61，61，24)。我使用了内核大小(8，8)，这是(2，2)没有填充的一大步。61 =楼层((128-8+2* 0)&#x
浏览 5提问于2019-03-31得票数 13
4回答
毕道尔，梯度参数是什么？
、、、、
我正在阅读PyTorch的文档，并找到了一个他们编写y.backward(gradients)
print问题是，梯度张量的0.1，1.0和0.0001参数是什么？这方面的文件并不十分清楚。
浏览 6提问于2017-04-17得票数 134
回答已采纳
1回答
我试着把病人入院的时间序列分为两组。它包括大量的空隙(月或年)，然后是短时间内大量的数据点，承认。每个数据点由一个代码( 6000码中的一个)或一个代码和一个数值组成。并不是每个时间序列都包含所有代码，而且代码非常稀疏。我试图查看每个代码中值的分布情况，但一无所获。我尝试过一种朴素的Baysian方法，在忽略任何相关的值之后，研究每组代码的概率，并且做得更好一些。
浏览 0提问于2018-10-30得票数 1
1回答
计算图与计算机代数符号表达式
、、、、
然后上面写着：
AD可以被认为是对计算机程序的非标准解释，其中这种解释涉及到用各种导数的计算来增强标准计算。
然后描述如何用AD (正向或后向模式)计算导数。该描述基本上是对评估跟踪/计算图的转换
浏览 1提问于2019-04-26得票数 4
回答已采纳
谁能帮我找到火花中的核心、执行器、内存..etc的编号吗？Total 6 nodes(1 master and 5 slaves). 16 vCPUS per node
注-似乎主节点没有参与计算，这就是集群设置的方式
浏览 1提问于2019-02-07得票数 0
1回答
我正在建立一个递归神经网络，其中我有一个时间序列的特征向量(N X D)，其中N列中的每一列都对应于一个“事件”。我得到了事件坐标在另一个N×3矩阵中的演变。因此，如果我有一个长度为t的时间序列，那么随着单个“事件”的特征和坐标的演变，我正在处理维度为t x N x D和t x N x 3的输入。对于单事件分类的情况，我已经建立了一种方法来构造N个事件坐标的密集邻接矩阵。这涉及到计算N个坐标中每个坐标的成对距离并应用
浏览 32提问于2019-05-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
