线性回归的高斯假设

导读:在线性回归问题中,我们定义了损失函数

,但是为什么用最小二乘(而不是三次方等)作为损失函数?

我们来尝试解决一个完整的线性回归问题:

设:

训练样本(x,y),其中x是输入特征,y是目标变量

回归方程的形式是:

(1)

我们假设误差项:

服从独立同分布的高斯分布(

),即

(2)

(这里对误差项服从的分布的假设,直观地理解,就是误差在越接近0的地方出现的概率越大,越远离0的地方出现的概率越小,在0两边出现的概率对称,并且误差服从的分布总是让多次测量的均值成为对真值最好的估计。至于为什么符合这些直观感受的误差的概率密度函数恰好是(2)式?敬请期待下一篇文章)

接下来我们对似然函数(3)进行极大似然估计

(3)

对(3)两边取对数

(4)

对取对数后,单调性不变,所以让取得最大值,等价于令(4)中损失函数

(5)

取最小值。

到这里,最小二乘法就得到了解释。并且这个结论与我们假设的

没有关系。

接下来,我们继续我们的目标,寻找使损失函数

最小的

寻找

通常有两种方法,一种是求解析解

,求解过程这里暂不做展开。

我们重点说明第二种方法:梯度下降法。

梯度下降的过程是:

Step 1 给定

的初始值,计算

Step 2 在

的基础上减去

在该点的梯度,得到新的

,计算

Step 3 重复以上步骤,直到

取到局部最小值;

Step 4 再次选择

的初始值,重复以上步骤,直到取到

的所有局部最小值。

梯度方向是

(6)

的反方向,因此用梯度下降法迭代

的过程可以写为:

(7)

观察用梯度下降法迭代

的过程,迭代效果的好坏对

初始值的选择、迭代步长

有很高的依赖,在工程上对线性回归的优化通常是基于这两点展开。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

张洁的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习原理

机器学习(6)——决策树前言:

前言: 通过第前面的学习介绍了机器学习回归模型创建的流程,并且知道了机器学习要做的事情是找到目标函数,优化它,通过每次迭代都使目标函数值最小,最优解就是目标函数...

40210
来自专栏IT派

深度学习入门必须理解这25个概念

1)神经元(Neuron):就像形成我们大脑基本元素的神经元一样,神经元形成神经网络的基本结构。想象一下,当我们得到新信息时我们该怎么做。当我们获取信息时,我们...

822
来自专栏SIGAI学习与实践平台

反向传播算法推导-卷积神经网络

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的。

1090
来自专栏鸿的学习笔记

LSTMs

由于使用权重矩阵的方式,会对典型RNN可以学习的模式类型存在一些显着的限制。因此,对于称为长短期存储器网络(Long Short-Term Memory net...

901
来自专栏深度学习自然语言处理

深度学习之激活函数详解

激活函数是什么 激活函数,即Activation Function,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函...

2827
来自专栏AI研习社

教你用Keras做图像识别!只会图像检测并不强力

AI 研习社按:今天为大家带来硅谷深度学习网红 Siraj 的一则教学视频:如何从零开始构建一个图像分类器来对猫和狗进行分类。(内心OS:终于要开始图像部分了!...

3867
来自专栏企鹅号快讯

梯度下降法的三种形式BGD、SGD以及MBGD

在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。 下面我们以线...

26210
来自专栏奇点大数据

深度学习入门必须理解这25个概念

1)神经元(Neuron):就像形成我们大脑基本元素的神经元一样,神经元形成神经网络的基本结构。想象一下,当我们得到新信息时我们该怎么做。当我们获取信息时,我们...

511
来自专栏人工智能

深度学习之激活函数详解

激活函数是什么 激活函数,即Activation Function,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函...

2028
来自专栏IT派

机器学习算法(1)--梯度下降法的几种形式

阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结   在应用机器学习算法时,我们通常采用梯度下降法来...

3527

扫码关注云+社区