我在CNNs中使用TensorFlow库，python。我想为CNNs优化器开发一个随机梯度下降优化器，参数如下：decay = 1e-6, 我想知道我应该如何更改我的代码来实现这一点
浏览 8提问于2017-07-19得票数 1
回答已采纳
在Tensorflow中有Fminunc函数吗？我试图使我的模型更快地收敛，并认为我将能够使用fminunc函数，就像在Matlab中一样。()
但是，我没有在Tensorflow...Maybe中找到内置的fminunc函数，我错过了它。人们可以描述它的实现吗?或者，如果存在类似的伪装，那么在Tensorflow中它被称为什么？
浏览 3提问于2016-06-29得票数 1
回答已采纳
我是tensorflow的初学者，我想实现MLP并基于反向传播算法对其进行训练，但当我阅读教程时，我发现它使用了像“随机梯度下降”这样的优化器，并在没有实现算法阶段的情况下调用了反向传播。
浏览 8提问于2016-12-15得票数 1
1回答
我在使用tensorflow库实现算法方面没有问题，但我对选择哪一个优化器感到困惑。我一直在尝试不同的优化器，对于Adam优化器和梯度下降优化器算法在k倍交叉验证的测试分类准确率(~84%~ 85%)方面给出了相同的结果。这两个优化器的结果是相同的，是由于数据的原因，还是由于对大量数据的培训(64000个样本/故障条件
浏览 0提问于2018-07-03得票数 3
回答已采纳
我想在TensorFlow中构建分类器时，使用带有动量的梯度下降(跟踪以前的梯度)。所以我不想使用tensorflow.train.GradientDescentOptimizer，但我想使用tensorflow.gradients来计算梯度，跟踪以前的梯度，并根据它们更新权重。我如何在TensorFlow中做到这一点？
浏览 16提问于2016-08-26得票数 5
1回答
在Andrew Ng的课堂讲稿中，他们使用了LBFGS并获得了一些隐藏的功能。我可以使用梯度下降代替，并产生相同的隐藏特征吗？其他参数都是一样的，只需改变优化算法即可。因为当我使用LBFGS时，我的自动编码器可以产生与讲座笔记中相同的隐藏特征，但当我使用梯度下降时，隐藏层中的特征消失了，看起来完全是随机的。具体地说，为了优化成本函数，我实现了1)成本函数，2)每个权重和偏差的<em
浏览 0提问于2016-05-16得票数 0
1回答
我正在尝试实现一个新的优化器，它包含在梯度下降方法的很大一部分中(这意味着我希望执行几个梯度下降步骤，然后对输出执行不同的操作，然后再执行一次)。不幸的是，我发现了2条信息；
不能使用优化器执行给定数量的步骤。我是不是弄错了？因为这似乎是一个合乎逻辑的选择。考虑到1是真的，您需要使用C++作为内核编写优化器，从而失去TensorFlow的强大可能性(比如计算梯度</em
浏览 0提问于2016-11-17得票数 1
1回答
我试着用keras.I对一些数据进行情感分析，我使用嵌入层，然后是LSTM。我知道嵌入层降低了单词热编码的稀疏性，其参数在反向传播时被训练，但我不知道它的实现的数学方法。
提前谢谢。
浏览 0提问于2019-06-05得票数 2
2回答
'mse', 'class':'binary_crossentropy'}, 现在我想用遗传算法来优化神经网络的权重、层和神经元的数量用python中的遗传算法我学了很多关于它的教程，但是我没有找到任何讨论如何实现它的资料
任何帮助都将不胜感激。
浏览 0提问于2020-05-05得票数 0
我们能不能用日志丢失的SGDClassifier代替Logistic回归，它们会有相似的结果吗？
浏览 0提问于2021-01-04得票数 3
1回答
据我理解，SGD分类器和Logistic回归似乎相似。损失=对数的SGD分类器实现Logistic回归，损失=铰链实现线性支持向量机。我还了解到logistic回归采用梯度下降作为优化函数，SGD采用随机梯度下降，收敛速度要快得多。但这两种算法中哪一种会在哪种情况下使用？
浏览 0提问于2018-09-07得票数 10
1回答
特别是，我希望应用梯度下降方法来获得平滑的线条，而不是来自其他优化器的随机特征。
Keras框架提供了各种类型的优化器，如SGD，RMSprop，Adagrad，AdaDelta，Adam等。然而，正常的，一般的和平坦的梯度下降(没有随机特征)在Keras官方文档中没有看到。关键参数、剪裁法线和剪裁值是否与普通GD相关？例如，如果SGD优化器使用键args，cli
浏览 13提问于2019-11-08得票数 1
4回答
我是机器学习的新手，我正在尝试为我的一个项目分析分类算法。我在sklearn库中偶然发现了SGDClassifier。但许多论文都将SGD作为一种优化技术。
浏览 1提问于2017-08-02得票数 7
1回答
我目前正在学习PyTorch，以便利用它的开源自动评分功能，作为我自己的练习，我想实现一个简单的优化算法，我已经在MATLAB中实现了这个算法。在MATLAB中使用精确线搜索的简单梯度下降算法可能如下所示：while residualPyTorch中实现这种优化算法？换句话说，我想在PyTorch
浏览 7提问于2020-12-01得票数 0
2回答
我建立了一个神经网络，并利用随机梯度下降的反向传播成功地训练了它。现在我转到批量训练，但我有点困惑什么时候应用动量和重量衰减。在理论上，我很清楚反向传播是如何工作的，我只是停留在实现细节上。使用随机方法，我所要做的就是在计算了梯度之后立即将更新应用于权重，就像在这个伪python代码中所做的那样： for p in patterns:现在，切换到批处理更新，主要算法应该如下所示： for
浏览 4提问于2014-11-15得票数 0
对于凸优化，类似于logistic回归。我知道mini batch gradient decent有时可以避免局部最优。，但它们之间是否有固定的关系.
浏览 3提问于2014-10-16得票数 4
2回答
newreg=d0824e455dd849b48ae833f5829d4fb5]梯度下降与随机梯度的区别是什么？)基于这些信息，我想了解SGD将如何在以下情况下进行培训：我真的很希望对这种情况有一个清晰的解释。
谢谢!
浏览 0提问于2019-01-23得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
