线性回归的梯度下降算法不收敛
线性回归是一种常见的机器学习算法，用于建立输入变量与连续输出变量之间的关系模型。梯度下降算法是一种优化算法，用于最小化线性回归模型的损失函数。
梯度下降算法的目标是通过迭代更新模型参数，使得损失函数达到最小值。具体而言，梯度下降算法通过计算损失函数对模型参数的偏导数（梯度），并沿着梯度的反方向更新模型参数。这个过程会不断重复，直到达到预定的停止条件，例如达到最大迭代次数或损失函数的变化小于某个阈值。
然而，梯度下降算法可能会遇到不收敛的情况。这可能是由于以下原因之一导致的：
- 学习率选择不当：学习率决定了每次参数更新的步长。如果学习率过大，可能会导致参数在搜索空间中来回跳动，无法收敛；如果学习率过小，收敛速度会很慢。因此，合适的学习率选择非常重要。
- 特征缩放不当：如果输入特征的取值范围差异很大，梯度下降算法可能会收敛缓慢或不收敛。在使用梯度下降算法之前，可以对输入特征进行标准化或归一化处理，以确保它们具有相似的尺度。
- 损失函数非凸性：如果损失函数具有多个局部最小值，梯度下降算法可能会陷入局部最小值而无法收敛到全局最小值。解决这个问题的方法之一是使用随机梯度下降算法或其他更复杂的优化算法。
针对线性回归的梯度下降算法不收敛的问题，可以尝试以下方法：
- 调整学习率：尝试不同的学习率，观察损失函数的变化情况。可以使用学习率衰减策略，逐渐减小学习率，以提高算法的稳定性和收敛性。
- 特征缩放：对输入特征进行标准化或归一化处理，确保它们具有相似的尺度，以提高算法的收敛性。
- 使用其他优化算法：尝试其他优化算法，如牛顿法、拟牛顿法等，以提高算法的收敛性和性能。
腾讯云提供了一系列与机器学习和云计算相关的产品和服务，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）、腾讯云云服务器（https://cloud.tencent.com/product/cvm）等。这些产品和服务可以帮助用户在云计算环境中进行线性回归和梯度下降算法的实现和优化。
相关·内容
3回答
我试图在Python中用随机梯度下降作为求解器来实现岭回归的解决方案。我的SGD代码如下：
def fit(self, X, Y):
# Convert to data frame in case X is numpy matrix
X = pd.DataFrame(X)
# Define a function to calculate the error given a weight vector beta and a training example xi, yi
# Prepend a column of 1s to the data for the
浏览 12提问于2017-04-27得票数 1
2回答
在这的文章中，它说：
我们可以通过缩放来加速梯度下降。这是因为θ在小范围内下降很快，在大范围范围内缓慢下降，因此当变量非常不均匀时，会低效率地振荡到最优。
对于线性回归，从方程a_{n+1}=a_n-\alpha\nabla F(a_n)中，我不太清楚为什么大范围变量的收敛速度较慢，或者如何/为什么会发生振荡。
浏览 0提问于2019-07-14得票数 6
从我的背景来看，我理解有一个学习速率(α)的目的是将梯度的大小(▽J)标准化，这样步长就可以适当地收敛到局部极小值。
由于α是任意的，所以我们必须找到最佳的超参数学习速率(α)。
也许，当我们将梯度归一化为一个单位向量时，我们不必对其进行超参数调整，在这个单位向量中，梯度的大小总是1。
传统的梯度下降：
w:=w −α▽J
我的梯度下降：
w:=w −▽J/||▽J||
再次，回到我的问题，我不明白为什么梯度下降的变体没有我的想法。将梯度归一化为单位向量
ps。我推测，当梯度的幅度极低时，我的梯度下降可能不能很好地工作，并且可能会发散到inf。
浏览 0提问于2022-07-05得票数 1
TensorBoard
我是机器学习的新手。我正在尝试使用Tensorflow对象检测API训练一个手检测模型。我正在使用数据集。训练中有4400幅图像，测试中有400幅。我使用的是Tensorflow 1.15。我基本上是在遵循sentdex教程，做了一些修改。我使用的是模型动物园的ssd_mobilenet_v2_coco。
5000步后的损失在1-2之间。现在它的步数接近20000步，损失仍然在1-2之间。这是正常还是不正常？我应该进行更多的训练吗？
这是我的配置文件，如果你想看看的话。
# SSD with Mobilenet v2 configuration for MSCOC
浏览 3提问于2020-11-08得票数 1
1回答
线性回归中的归一化(梯度下降)
、、、、
我正在为多变量数据集的线性回归编写一个简单的(梯度下降)代码，我的问题是，当我测试代码时，我注意到，经过500万次迭代后，成本仍然在下降，这意味着我的学习率很小，但是我试图增加它，但是我得到了成本值的溢出，然后当我将数据归一化时，问题已经解决了，我可以在没有任何错误的情况下提高我的学习率，我想知道归一化和溢出之间的关系是什么。
浏览 5提问于2022-07-27得票数 -3
回答已采纳
1回答
据我理解，SGD分类器和Logistic回归似乎相似。损失=对数的SGD分类器实现Logistic回归，损失=铰链实现线性支持向量机。我还了解到logistic回归采用梯度下降作为优化函数，SGD采用随机梯度下降，收敛速度要快得多。但这两种算法中哪一种会在哪种情况下使用？另外，SGD和Logistic回归有什么相似之处，它们又有何不同？
浏览 0提问于2018-09-07得票数 10
据我所知，为了计算简单线性回归的权重和偏差，它遵循梯度下降算法，该算法致力于寻找成本函数(曲线)的全局最小值。该成本函数是通过随机选择一组权重，然后计算所有记录的平均误差来计算的。这样我们就得到了成本曲线上的一个点。再次选择另一组权重，并计算平均误差。所有这些点构成了成本曲线。我的疑问是，在计算(找到成本函数)成本曲线之前，有多少次随机选择权重来获得点数。提前谢谢。
浏览 5提问于2021-07-18得票数 0
因此，假设我有一个二进制分类问题，我从一个logistic回归模型开始。我快速地评估了模型的准确性(假设我们没有倾斜的数据集)。在此之后，我开始实现其他模型的比较，我开始检查准确性评分，并绘制一条ROC曲线来评估AOC评分。
我们可以说，我继续我的logistic回归模型。我不打算微调它和使用网格搜索算法，然后继续选择最佳的超级参数w.r.t的准确性评分。
我什么时候才能真正画出学习和验证曲线？我假设我应该把它画在旁边，看看一个更大的参数是如何影响分数的，然后看看我的模型是不合适的还是过拟合的。
但是，我不应该更早地绘制学习曲线吗?例如，在我选择从后勤部门开始的第一步。模特？
总结一下:画出一
浏览 0提问于2020-09-14得票数 0
4回答
我是机器学习的新手，我正在尝试为我的一个项目分析分类算法。我在sklearn库中偶然发现了SGDClassifier。但许多论文都将SGD作为一种优化技术。有人能解释一下SGDClassifier是如何实现的吗？
浏览 1提问于2017-08-02得票数 7
我正在研究具有大量特性的多类logistic回归模型(numFeatures > 100)。该算法采用基于代价函数和梯度的最大似然估计，快速解决了这一问题。然而，我也在试验一个不同的成本函数，并且没有梯度。
有什么好办法来加快计算过程吗？例如，我是否可以使用不同的算法或fmincg设置？
浏览 0提问于2014-06-21得票数 5
在深度学习中，我看到许多论文将预处理步骤作为归一化步骤。它将输入归一化为零均值和单位方差，然后馈送到卷积网络(具有BatchNorm)。为什么不使用原始强度？规范化步骤的好处是什么？如果我在图像之间使用直方图匹配，我还应该使用归一化步骤吗？谢谢
浏览 1提问于2019-01-30得票数 1
1回答
梯度下降更新规则：
将这些值用于此规则：
X= 10 20 30 40 50 60 70 80 90 100 y=4 7 8 4 5 6 7 5 3 4
在使用0.07的学习速率进行两次迭代后，输出的值θ为
-73.396
-5150.803
经过三次迭代后，θ是：
1.9763e+04
1.3833e+06
因此，在第二次迭代之后，θ似乎变大了，这意味着学习速度太大了。
所以我决定：
迭代= 300；α= 0.000007；
theta现在：
0.0038504
0.0713561
这些θ值是否允许我画一条直线，如果是这样的话？我刚刚开始尝试理解梯度下降，所以请指出我的逻
浏览 3提问于2015-07-18得票数 3
回答已采纳
我有8160个数据集，输入的形状是(1500,1)，输出的形状是(2500,1)。输入的值介于-80到3之间。输出的值介于0到1之间。
我认为，通过使用全局最大值和全局最小值来对输入进行归一化。然后我意识到，通过使用输入的局部最大值和局部最小值，对每个特定输入分别使用归一化。然后我尝试了这两种方法，局部归一化的结果要好得多。
我不能理解这个。例如，通过使用局部归一化，'0‘对应于输入1的-20，'0’对应于输入2的-80。我认为，关于输入1和输入2的有用和比较信息丢失了。有人能帮助我理解这一点吗?局部归一化如何才能得到更好的结果？还是我的模型出了什么问题？谢谢。
浏览 1提问于2020-11-29得票数 1
5回答
线性回归中的梯度下降
、、、
我正在尝试用java实现线性回归。我的假设是theta0 + theta1 * xi。我正在尝试计算theta0和theta1的值，以便使成本函数最小。我正在使用梯度下降来找出值-
在
while(repeat until convergence)
{
calculate theta0 and theta1 simultaneously.
}
在收敛之前，这种重复是什么？我知道这是局部最小值，但是我应该放在while循环中的确切代码是什么呢？
我是机器学习的新手，刚刚开始编写基本的算法以获得更好的理解。任何帮助都将不胜感激。
浏览 7提问于2014-01-11得票数 2
我正在学习关于Logistic回归的ML课程，以及Manning的机器学习实践。我正在尝试通过用Python实现所有的东西来学习。
我不能理解代价函数和梯度之间的区别。在网上有一些例子，人们计算成本函数，但有些地方他们不计算，而只是使用梯度下降函数w :=w - (alpha) * (delta)w * f(w)。
这两者之间的区别是什么？
浏览 1提问于2012-11-29得票数 56
回答已采纳
我阅读了Andrew NG的机器学习教程，在线性回归中遇到了梯度下降。当我尝试使用Python查找同样的内容时，我在youtube教程中找到了：
这里使用最佳拟合斜率进行线性回归。请建议什么时候使用哪一个？最优拟合或相似过程能用于高次多项式吗?能用于多元线性回归吗？
向Souvik Saha Bhowmik致敬
浏览 2提问于2016-10-20得票数 0
2回答
在课程中，没有关于时代的东西，但在实践中，它们随处可见。如果优化器在一次传递中找到了最佳权重，我们为什么还需要它们。为什么模型会有所改进？
浏览 1提问于2017-03-10得票数 4
2回答
我不了解机器学习中迭代的概念。由于编程是确定性的(就像每次运行时做相同的事情一样)，如何通过一次又一次地运行相同的算法来提高的准确性？
这个迭代概念是否与RNN(递归神经网络)-有任何关系，在某种意义上，它们更多地反馈给相同的中子，更多的是-模型或梯度下降)-，在那里，他们为效率采集相同的训练数据样本-？
谢谢
编辑:我所说的迭代是在我在这个网站上找到的这个玩具应用程序中：。
提交人所做的是，他使用RNN创建了一个聊天机器人。我不明白的是，由于每次运行相同的算法，增加迭代次数如何提高预测的准确性。
但是，从@灵性_ done的文章来看，我对迭代的理解似乎是错误的(就像在每次迭代中所做的那样)，
浏览 7提问于2017-05-23得票数 3
回答已采纳
2回答
我试图理解“反向传播”，因为它是使用梯度下降优化的神经网络。读一读文学作品，似乎做了几件事。
使用随机权重开始并获取错误值。
对损失函数执行梯度下降，使用这些权重来获得新的权重。
用这些新的权重更新权重，直到损失函数最小化为止。
上述步骤似乎是线性模型的精确求解过程(例如，回归)。安德鲁·吴的“机器学习课程”与线性回归课程完全一样。
所以，我想弄清楚BackPropagation对损失函数是否做了比梯度下降更多的事情。如果没有，为什么只在神经网络中引用，为什么不引用GLMs (广义线性模型)。他们似乎都在做同样的事-我可能错过了什么？
浏览 11提问于2016-06-28得票数 4
回答已采纳
超参数优化使用两种技术，如网格搜索、或随机搜索。梯度下降主要用于将损失函数降到最小。
这里查询是在什么时候我们将使用网格搜索和梯度下降。
浏览 1提问于2019-02-10得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
