3回答
梯度下降收敛
、、
我是数学和计算机专业的双学位，对机器学习感兴趣。我目前正在选修安德鲁教授的热门课程。他在谈论和解释梯度下降，但我不能不注意到一些事情。以我的数学背景，我知道如果我试图找到函数的全局最小/最大值，我必须首先找到所有的临界点。这门课程讨论的是GD的收敛性，但它真的能保证收敛到全球最小值吗？我怎么知道它不会卡在马鞍上？做一次二阶导数测试<em
浏览 0提问于2019-03-26得票数 1
1回答
我选择了一个较小的alpha值，并执行了大量的迭代来找到聚合点，但它不起作用。任何帮助都将不胜感激。下面是完整的代码。
浏览 12提问于2020-06-18得票数 0
回答已采纳
我可以通过一次gradient decent 更新获得相同的结果吗？我知道mini batch gradient decent有时可以避免局部最优。，但它们之间是否有固定的关系.
浏览 3提问于2014-10-16得票数 4
为什么我们在非常非凸的损失函数上使用梯度下降，例如在深度网/RNN中，而不是用启发式搜索(遗传算法、模拟退火等)？
浏览 0提问于2020-11-14得票数 0
回答已采纳
2回答
在课程中，没有关于时代的东西，但在实践中，它们随处可见。如果优化器在一次传递中找到了最佳权重，我们为什么还需要它们。为什么模型会有所改进？
浏览 1提问于2017-03-10得票数 4
我已经在这个.csv文件中提供的数据上训练了一个多元线性回归模型：我训练它(梯度下降)如下：rd: int = 0 rd =print("\t\tEpoch: " + str(epoch) + "\n\t\tMSE:" + str(mean_squared_error))
损失/成本函数(均方误差)如预期的那样保持下降这意味着什么，以及如何防止它</
浏览 0提问于2019-10-19得票数 0
假设我们使用相同的数据两次使用梯度下降来训练神经网络(初始参数的两次随机化)。有没有可能我们的算法会收敛到不同的局部最小值？
浏览 24提问于2020-04-26得票数 0
回答已采纳
从我的背景来看，我理解有一个学习速率(α)的目的是将梯度的大小(▽J)标准化，这样步长就可以适当地收敛到局部极小值。w:=w −α▽J
我的<e
浏览 0提问于2022-07-05得票数 1
2回答
我在python中实现了梯度下降的线性回归。为了了解它做得有多好，我将它与scikit-learn的LinearRegression()类进行了比较。由于某些原因，sklearn的平均性能总是超过我的程序MSE 3(我正在使用波士顿房屋数据集进行测试)。据我所知，我目前没有做梯度检查来检查收敛性，但我允许多次迭代，并且将学习速率设置得足够低，使它能够收敛。我的学习算法实现中有什么明显的</e
浏览 3提问于2014-02-08得票数 4
回答已采纳
我知道如何计算只有一个整体极小值的凸函数的梯度下降。另外，我知道处理函数是非凸函数的情况的方法。真正困扰我的是，对于像y = -x^2这样的非凸函数，梯度下降是如何计算的，在这里下降会变成负无穷大，而不是直接收敛到全局极大值。因此，对于像(x^2 - y^2)这样的函数来说，它与卡在鞍点上的观点是矛盾的
浏览 0提问于2019-10-27得票数 0
1回答
梯度消失的问题基本上是，由于我们的步长与梯度成正比，如果梯度很小，可能需要很长时间才能达到局部最小值。那么，我们为什么不采取我们的步长与梯度成比例，而不是做一个线搜索？为什么梯度下降应该起作用的直觉是，如果我们朝着最陡峭的下降方向移动，它应该会使函数变小。然而，还不清楚为什么步长必须与梯度的大小成正比。在关于这
浏览 0提问于2020-10-12得票数 1
1回答
为了找到我的步长，我使用回溯算法，我通过查看梯度的范数-2来终止算法，如果它‘足够接近’到0(现在我使用0.001)。如果我开始增加λ，我的模型系数都趋于零，这是我所期望的，我的算法永远不会终止，因为梯度的范数-2总是正数。例如，λ1000将给我10^(-19)范围内的系数，但我的梯度的norm2是~1.5，这是在几千次迭代之后
浏览 2提问于2013-01-06得票数 5
回答已采纳
3回答
我正在尝试使用梯度下降来寻找N个参数中一个函数的最小值。但是，我希望在将参数的绝对值之和限制为1(或<= 1，无关紧要)的同时做到这一点。由于这个原因，我使用拉格朗日乘子的方法，所以如果我的函数是f(x)，我将最小化f(x) +λ* ( g(x) -1)，其中g(X)是参数绝对值之和的平滑近似。现在据我所知，当g(X)=1时，这个函数的梯度只会是0，所以寻找局部最小值
浏览 0提问于2012-09-05得票数 16
回答已采纳
1回答
下面的文章自适应学习速率法ADADELTA给出了一种名为Adagrad的方法，其中我们有以下更新规则：X_{n+1} = X_n -[Lr/\sqrt{\sum_{i=0}^ng_i^2}]*g_n ，现在我知道这个更新规则动态地为每次迭代选择学习速率，但是有以下问题：
这里我们看到，越大的梯度有较小的学习率和越小的梯度有更大的学习率。我不明白为什么这是我们想要的财产，换句话说，为什么这对我们的网络来说是件好事？
浏览 0提问于2020-04-18得票数 2
回答已采纳
1回答
关于基于梯度下降的神经网络优化
、、、、
对于神经网络，是否可以确定梯度下降优化算法的最佳起点？例如，在下面的链接中查看包含局部和全局最小值的示例损失曲面，很明显(1)某些起点比其他起点更好，因为到达全局最优的速度会比其他起点更快，(2)一些起点将导致下降到局部最优，而不是全局最优，以及(3)一些起点可能永远不会收敛https://www.researchgate.net/profile/Klaus 提前感谢您的贡献:
浏览 26提问于2019-07-03得票数 0
1回答
我在ML领域没有太多的知识，但从我天真的观点来看，在训练中性点网络时，似乎总是使用梯度下降的一些变体。因此，我想知道为什么没有使用更高级的方法，例如SQP算法或内点方法。这是不是因为训练中性网总是一个简单的无约束优化问题，而上述方法是不必要的？任何洞察力都会很好，谢谢。
浏览 0提问于2018-02-22得票数 2
2回答
许多专家说，“批处理比SGD具有更多的本地最优可能性”。但是，我不知道原因..。SGD如何能比批处理更好地避免局部最优？)有些人告诉我，过度射击是原因。但是，我也不知道在SGD有更多的过度射击)
如果你用几何、数学或其他直觉概念来解释这个原因，那就太棒了！
浏览 0提问于2020-01-09得票数 1
据我所知，为了计算简单线性回归的权重和偏差，它遵循梯度下降算法，该算法致力于寻找成本函数(曲线)的全局最小值。该成本函数是通过随机选择一组权重，然后计算所有记录的平均误差来计算的。这样我们就得到了成本曲线上的一个点。再次选择另一组权重，并计算平均误差。所有这些点构成了成本曲线。我的疑问是，在计算(找到成本函数)成本曲线之前，有多少次随机选择权重来获得点数。提前谢谢。
浏览 5提问于2021-07-18得票数 0
1回答
MLP中ReLu的收敛性问题
、、、、
我只使用numpy从零开始在python中创建了神经网络，我正在处理不同的激活函数。我所观察到的非常奇怪，我很想知道为什么会发生这种情况。
我观察到的问题取决于初始权重。当使用乙状结肠函数时，如果权重是0,1、-1,1或-0.5,0.5范围内的随机数，那就无关紧要了。但是在使用ReLu时，当我在范围-1,1中使用随机权值时，网络常常会遇到一个很大的问题。但是当我将权值的初始化范围更改为-0.5,0.5时，它就开始工作了。这只适用于ReLu激活函数，我完
浏览 0提问于2020-12-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
