机器学习算法_线性回归

通俗描述

线性回归模型是利用线性函数对一个或多个自变量和因变量（y）之间关系进行拟合的模型。

该模型基于两个定律：

• 大数定律：在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。
• 中心极限定理：一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。

公式推导

数据输入

基本概念

【1】 线性 = 直线？

• 线性函数的定义是：一阶或零阶多项式。特征是一维时，线性模型在二维空间构成一条直线；特征是二维时，线性模型在三维空间中构成一个平面；特征是三维时，则最终模型在四维空间中构成一个体；以此类推…

【2】最小二乘法

• 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离最小之后最小。

【3】最大似然估计

• 一种重要而普遍的求估计量的方法。通过调整估计参数，使得已经实现的样本发生概率最大。

【4】梯度下降法

• 从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。

【5】凸函数

• 对区间[a,b]上定义的函数f，若它对区间上任意两点x1,x2均有

则称f是区间[a,b]上的凸函数。

• 对实数集上的函数，可以通过二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。

【6】线性回归模型评价标准

• 回归评价指标 MSE(均方误差)、RMSE(均方根误差)、MAE(平均绝对误差)、R-Squared(R^2)

【7】L1和L2范数

• 机器学习中正则化项L1和L2的直观理解
• 机器学习中的范数规则化-L0,L1和L2范式

算法实践

算法实践_线性回归

总结

• 优点：实现简单，计算简单
• 缺点：不能很好地拟合非线性数据
• 应用场景：线性回归简单、易于使用，但是现实生活中数据的特征和目标之间并不是简单的线性组合，所以并不能很好的解决具体问题。所以线性回归常用于数据特征稀疏，并且数据过大的问题中，可以通过线性回归进行特征筛选。在比赛中也可以用线性回归做一个Baseline。

问题

1. 线性回归可以进行分类么
2. 线性回归可以做特征选择么
3. 线性回归、Ridge回归（L2范式）、Lasso 回归（L1范式）的区别和适用条件
4. 最小二乘法的算法复杂度怎么分析
5. 线性回归能处理非线性数据么

参考

1. https://gitbook.cn/gitchat/column/5ad70dea9a722231b25ddbf8/topic/5b020c53edd0d46379a756fb
2. https://github.com/wangjiaxin24
3. 机器学习-周志华
4. https://blog.csdn.net/u010159842/article/details/52918815
5. 有道云笔记-线性回归
6. https://github.com/Heitao5200/Heitao5200_MachineLearning/blob/master/LR/LinearRegression.md
7. https://blog.csdn.net/weixin_41246832/article/details/82916841
8. https://blog.csdn.net/Datawhale/article/details/82931967