机器学习第一课 | 一文读懂线性回归的数学原理

线性回归是统计学中最基础的数学模型，几乎各个学科的研究中都能看到线性回归的影子，比如量化金融、计量经济学等；当前炙手可热的深度学习也一定程度构建在线性回归基础上。因此，每个人都有必要了解线性回归的原理。

线性回归对已有数据进行建模，可以对未来数据进行预测。有些人觉得线性回归太过简单，甚至不屑于称之为机器学习；另外一些人觉得很多编程库已经对线性回归做了封装，使用时调用一下函数就好，不必了解太多数学推导过程。实际上，线性回归是所有机器学习技术的一个最好起点，很多复杂的机器学习技术以及当前大火的深度神经网络都或多或少基于线性回归。

本文公式较多，为保证排版质量，我先把文章保存成了PDF，再截图上传。需要PDF源文件的朋友可关注公众号皮皮鲁的AI星球，回复线性回归获取。

线性回归的使用场景

那到底什么时候可以使用线性回归呢？统计学家安斯库姆给出了四个数据集，被称为安斯库姆四重奏，从这四个数据集的分布可以看出，并不是所有的数据集都可以用一元线性回归来建模。现实世界中的问题往往更复杂，变量几乎不可能非常理想化地符合线性模型的要求。因此使用线性回归，需要遵守下面几个假设：

• 线性回归是一个回归问题（regression）。
• 要预测的变量y与自变量x的关系是线性的。
• 各项误差服从正太分布，均值为0，与x同方差。
• 变量 x 的分布要有变异性。
• 多元线性回归中不同特征之间应该相互独立，避免线性相关。

回归问题与分类问题

与回归相对的是分类问题（classification），分类问题要预测的变量y输出集合是有限的，预测值只能是有限集合内的一个。当要预测的变量y输出集合是无限且连续，我们称之为回归。比如，天气预报预测明天是否下雨，是一个二分类问题；预测明天的降雨量多少，就是一个回归问题。

变量之间是线性关系

线性通常是指变量之间保持等比例的关系，从图形上来看，变量之间的形状为直线，斜率是常数。这是一个非常强的假设，数据点的分布呈现复杂的曲线，则不能使用线性回归来建模。可以看出，四重奏右上角的数据就不太适合用线性回归的方式进行建模。

误差服从均值为零的正太分布

前面最小二乘法求解过程已经提到了误差的概念，误差可以表示为误差 = 实际值 - 预测值。

可以这样理解这个假设：线性回归允许预测值与真实值之间存在误差，随着数据量的增多，这些数据的误差平均值为0；从图形上来看，各个真实值可能在直线上方，也可能在直线下方，当数据足够多时，各个数据上上下下相互抵消。如果误差不服从均值为零的正太分布，那么很有可能是出现了一些异常值，数据的分布很可能是安斯库姆四重奏右下角的情况。

这也是一个非常强的假设，如果要使用线性回归模型，那么必须假设数据的误差均值为零的正太分布。

变量 x 的分布要有变异性

线性回归对变量 x也有要求，要有一定变化，不能像安斯库姆四重奏右下角的数据那样，绝大多数数据都分布在一条竖线上。

多元线性回归不同特征之间相互独立

如果不同特征不是相互独立，那么可能导致特征间产生共线性，进而导致模型不准确。举一个比较极端的例子，预测房价时使用多个特征：房间数量，房间数量*2，-房间数量等，特征之间是线性相关的，如果模型只有这些特征，缺少其他有效特征，虽然可以训练出一个模型，但是模型不准确，预测性差。

线性回归还有很多其他数学假设，但与当前所要解释的问题关系不大，这里暂不赘述。

总结

线性回归是统计学中最基础的数学模型，几乎各个学科的研究中都能看到线性回归的影子，比如量化金融、计量经济学等；当前炙手可热的深度学习也一定程度构建在线性回归基础上。因此，每个人都有必要了解线性回归的原理。

线性回归的一种最直观解法是最小二乘法，其损失函数是误差的平方，具有最小值点，可以通过解矩阵方程求得这个最小值。尽管推导过程有大量数学符号，线性回归从数学上来讲并不复杂，有微积分和线性代数基础的朋友都可以弄清其原理。

这里是皮皮鲁的AI星球，本专栏主要关注高性能计算、大数据和人工智能，图文为作者原创，转载请联系公众号。