据我所知，有不同类型的梯度下降方法来更新神经网络的权重。有人知道R的neuralnet包中实现了哪种方法吗？如果是批量梯度，那么批量大小是多少？我怎么能控制它呢？
谢谢
浏览 3提问于2018-11-26得票数 1
1回答
我在使用HTML5 canvas时遇到了一些问题，我认为这是Android浏览器(和/或JavaScript实现)的性能问题。如前所述，这是一个与安卓相关的问题，因为该实现在桌面和iPhone上运行良好。我已经向自己解释过，当用户在屏幕上移动手指时，ontouchmove移动事件的触发速度不够快，无法平滑地呈现路径。
有没有人能保证这是真的，或者我在错
浏览 0提问于2011-02-10得票数 1
2回答
反向传播和批量训练
、、、
反向传播计算每个模式的每个权重的dW (权重增量)，因此在进行随机训练时如何修改权重很简单。但是，我如何使用它进行批量训练呢？只需在整个训练集上累积dW，然后应用调制，或者还有更多内容？
浏览 2提问于2010-01-26得票数 1
回答已采纳
图像的大小为640x480，网络的权重约为5M。如果我们将训练批大小设置为4，那么在哪里加载输入图像( RAM或VRAM )，在哪里加载网络？我之所以想知道这一点，是因为当我使用16x(96x96x3)训练一个批量大小为32的网络时，具有16M权重的网络工作得非常好。但我无法使用4x(480x640x3)训练一个批量大小为3的网络，网络的权重为5M (现在我的设备训练批量大小为2)。我不能理解Keras是如何使用资源的，所以我想找到最有效的方法来训练具有更大批量的网络。
浏览 2提问于2021-01-02得票数 1
我想将一组预先训练好的权重从Tensorflow导出到Keras。问题是Tensorflow中的批量归一化层只嵌入Beta和Gamma作为可训练权重，而在Keras中，我们也有Moving_mean和Moving_variance。我不知道从哪里获得这些权重。
浏览 28提问于2017-08-01得票数 0
回答已采纳
0回答
需求:从数据库查询数据表A，得到Flux<A>，再通过小批量循环A集合获取id集合 去数据库查询数据表B得到Flux<B>，最后通过id将A和B关联生成C，最终返回Flux<C>
原先非reactor写法类似于查主表A，再通过小批量循环A集合获取id集合 去查副表B，将副表B的信息以<id,B>构造一个map，最后循环遍历A集合通过id获取B填充信息。
浏览 187提问于2022-10-11
我正在尝试在pytorch中实现WNGrad (从技术上讲，WN-Adam，本文中的算法4)优化器()。我以前从未在pytorch中实现过优化器，所以我不知道我是否做得正确(我是从adam实现开始的)。优化器没有取得很大的进展，并且像我预期的那样下降(bj值只能单调增加，这种情况发生得很快，所以没有任何进展)，但我猜我有一个bug。标准优化器(Adam，SGD)在我正在尝试优化的同一模型上工作得很好。from torch.optim import Optimizer
"""Implem
浏览 0提问于2018-03-15得票数 2
我的小批量的大小是100MB。因此，我可能会同时在我的GPU上安装多个迷你批次。所以我的问题是，这是否可能，这是否是标准做法。labels: batch_labels})loss = batch_loss / num_batches因此，另一种选择可能是通过GPU并行发送多
浏览 22提问于2018-08-06得票数 4
回答已采纳
2回答
根据我的理解，一个随机过程，其值在某一时刻取决于先前采取的值，而且每次运行该过程时，所选择的路径可能是不同的。在一定的初始播种值之后，我们只能知道这个过程的限制和限制。
利用随机梯度下降法对神经网络的权值进行更新。它的随机部分是什么？在对变量进行某些初始化之后，如果在每次测试初始化后提供相同的输入数据集，则累积的错误函数将是相同的。为什么这个词是随机的？随机性的范围在哪里，这种随机性的来源是什么？
浏览 0提问于2017-09-28得票数 3
1回答
我基本上想排除这些状态中的一个，并基于状态应用额外的权重，以得出新的“总体”分数。我需要采用已经应用了可变权重的分数，并根据区域添加额外的权重。
浏览 0提问于2019-10-29得票数 0
1回答
假设小批量有N样品(x, y)，它会独立地对每个样本执行N前向循环吗？
它会独立地对每个样本进行N反向传播和N权重更新吗？还是将N样本中的损失平均化，然后只更新一个权重？
浏览 0提问于2021-10-19得票数 0
我试着训练一个关于预先训练的单词嵌入的RNN。假设这些预先训练的嵌入保存在一个矩阵E中，我可以用它初始化一个LookupTable：lookupTable.weight = E
浏览 1提问于2016-02-25得票数 0
回答已采纳
设想一个场景，当redis的淘汰策略是通过距离当前时间的远近来淘汰数据时，会因为一次冷数据的批量查询误杀热点数据；当使用访问数据次数的多少淘汰数据，又会因为刚加入的缓存的热点数据因为访问次数较少总是被清除那么如果加入一个权重的概念，能否优化或者规避这些问题，比如在使用时间远近淘汰数据时将每个数据的时间属性和访问次数属性加一个权重值，按照计算权重的结果的排序（最终权重值 = 距离当前的时间间隔 * 时间权重+ 数据访问次数 * 访问次数权重）来删除权重较
浏览 300提问于2019-09-06
1回答
我们只对一个小型批次进行采样和前馈，得到误差并备份它，即更新权重。时代结束了。
时代开始了。我们对一个小批量进行采样和前馈，得到误差并备份它，即更新权重。我们对一个小批量进行采样和前馈，得到误差并进行存储。我们重复这样做，直到我们对完整的数据集进行采样。我们以某种方式对错误进行平均，并通过更新权重来支持它们。时代结束了。
浏览 0提问于2015-12-14得票数 5
回答已采纳
1回答
受限玻尔兹曼机
、、、
我目前正在尝试使用deepnet软件包在R中进行RBM，我使用自己的数据集和3个输入points.After训练了一个RBM网络，我得到了2组权重和2组偏差。,RBM_trn
我得到的结果是在2的集合中，我得到了两个2x3的权重
浏览 8提问于2016-09-19得票数 2
如何在tensorflow中对MLP中的权重实现最大范数约束？Hinton和Dean在他们的关于黑暗知识的工作中描述的那种。也就是说，tf.nn.dropout是否默认实现权重约束，或者我们是否需要显式实现它，如
“如果这些网络共享存在的隐藏单元的相同权重。我们使用标准的随机梯度下降过程在小批量训练案例上训练辍学神经网络，但我们修改了通常用于防止权重增长过大的惩罚项。我们不是惩罚整个权重向量的平方长度(L2范数)，而是为每个单独的隐藏单元设置传入权重向量的L2范数的上
浏览 2提问于2016-06-14得票数 7
我使用的是LSTM结构： sequenceInputLayer(1) fullyConnectedLayer(2) classificationLayer 'MaxEpochs',30, ...
'MiniBatchSize', 150, .
浏览 1提问于2018-09-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
