最小二乘法小结

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。

1.最小二乘法的原理与要解决的问题

最小二乘法是由勒让德在19世纪发现的,原理的一般形式很简单,当然发现的过程是非常艰难的。形式如下式:目标函数(观测值理论值)

观测值就是我们的多组样本,理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数,我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子,比如我们有m个只有一个特征的样本:

样本采用下面的拟合函数:

这样我们的样本有一个特征x,对应的拟合函数有两个参数和需要求出。

我们的目标函数为:

用最小二乘法做什么呢,使最小,求出使最小时的和,这样拟合函数就得出了。

那么,最小二乘法怎么才能使最小呢?

2.最小二乘法的代数法解法

上面提到要使最小,方法就是对和分别来求偏导数,令偏导数为0,得到一个关于和的二元方程组。求解这个二元方程组,就可以得到和的值。下面我们具体看看过程。

对求导,得到如下方程:

对求导,得到如下方程:

         ②

①和②组成一个二元一次方程组,容易求出和的值:

这个方法很容易推广到多个样本特征的线性拟合。

拟合函数表示为 , 其中 (i = 0,1,2... n)为模型参数, (i = 0,1,2... n)为每个样本的n个特征值。这个表示可以简化,我们增加一个特征 ,这样拟合函数表示为:

损失函数表示为:

利用损失函数分别对(i=0,1,...n)求导,并令导数为0可得:

= 0 (i=0,1,...n)

这样我们得到一个N+1元一次方程组,这个方程组有N+1个方程,求解这个方程,就可以得到所有的N+1个未知的。

这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样,都是用损失函数对各个参数求导取0,然后求解方程组得到参数值。这里就不累述了。

3.最小二乘法的矩阵法解法

矩阵法比代数法要简洁,且矩阵运算可以取代循环,所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。

这里用上面的多元线性回归例子来描述矩阵法解法。

假设函数的矩阵表达方式为:

其中, 假设函数为mx1的向量,为nx1的向量,里面有n个代数法的模型参数。为mxn维的矩阵。m代表样本的个数,n代表样本的特征数。

损失函数定义为

其中是样本的输出向量,维度为mx1. 在这主要是为了求导后系数为1,方便计算。

根据最小二乘法的原理,我们要对这个损失函数对向量求导取0。结果如下式:

这里面用到了矩阵求导链式法则,和两个个矩阵求导的公式。

公式1:为向量

公式2:

对上述求导等式整理后可得:

两边同时左乘可得:

这样我们就一下子求出了向量表达式的公式,免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用算出。

4.最小二乘法的局限性和适用场景

从上面可以看出,最小二乘法适用简洁高效,比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。

首先,最小二乘法需要计算的逆矩阵,有可能它的逆矩阵不存在,这样就没有办法直接用最小二乘法了,此时梯度下降法仍然可以使用。当然,我们可以通过对样本数据进行整理,去掉冗余特征。让的行列式不为0,然后继续使用最小二乘法。

第二,当样本特征n非常的大的时候,计算的逆矩阵是一个非常耗时的工作(nxn的矩阵求逆),甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢?如果你没有很多的分布式大数据计算资源,建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

第三,如果拟合函数不是线性的,这时无法使用最小二乘法,需要通过一些技巧转化为线性才能使用,此时梯度下降仍然可以用。

第四,讲一些特殊情况。当样本量m很少,小于特征数n的时候,这时拟合方程是欠定的,常用的优化方法都无法去拟合数据。当样本量m等于特征数n的时候,用方程组求解就可以了。当m大于n时,拟合方程是超定的,也就是我们常用与最小二乘法的场景了。

本文分享自微信公众号 - 机器学习爱好者社区(ML_shequ),作者:Pinard

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【python】用 Python 手写十大经典排序算法

    来源:https://github.com/hustcc/JS-Sorting-Algorithm

    lujohn3li
  • 【连载15】Residual Networks、Maxout Networks和Network in Network

    残差网络在《Deep Residual Learning for Image Recognition》中被第一次提出,作者利用它在ILSVRC 2015的Ima...

    lujohn3li
  • 【原创】支持向量机原理(五)线性支持回归

    在前四篇里面我们讲到了SVM的线性分类和非线性分类,以及在分类时用到的算法。这些都关注与SVM的分类问题。实际上SVM也可以用于回归模型,本篇就对如何将SVM用...

    lujohn3li
  • CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB

      CanalSharp.AspNetCore是一个基于CanalSharp的适用于ASP.NET Core的一个后台任务组件,它可以随着ASP.NET Cor...

    Edison Zhou
  • B2B行业,数据分析该怎么做?(基础篇)

    很多同学很困惑:B2B类分析该怎么做!!!网上到处都是零售电商的例子,可这都是B2C类业务啊。当然还有一些同学连B2B和B2C都分不清楚,只是感觉到:我这个数据...

    接地气的陈老师
  • 关于文档的那些事

    1、让初次接手业务的同学有一个大概了解; 2、作为自己的备忘录,减轻记忆的负担,也方便后续快速跟进; 3、先从宏观角度来思考完备性,实现过程中可以作为指引;...

    落影
  • Visual GC提示"不受此JVM支持“解决方案(配置jstatd)

    Visual GC提示"不受此JVM支持“,如果想使用这个插件,就需要配置jstatd连接方式,下面来看jstatd的配置;

    流柯
  • MFC编程时出现错误: "char *" 类型的实参与 "LPCTSTR" 类型的形参不兼容 解决办法

    MFC编程时出现错误:  "char *" 类型的实参与 "LPCTSTR" 类型的形参不兼容  的原因是因为编辑器默认编码是Unicode字符集,因此只需要在...

    acoolgiser
  • LeetCode: Maximum Depth of Binary Tree

    Given a binary tree, find its maximum depth.

    卡尔曼和玻尔兹曼谁曼
  • 洛谷P2818 天使的起誓

    题目描述 Tenshi非常幸运地被选为掌管智慧之匙的天使。在正式任职之前,她必须和其他新当选的天使一样要宣誓。宣誓仪式是每位天使各自表述自己的使命,他们的发言稿...

    attack

扫码关注云+社区

领取腾讯云代金券