回归分析简介

在介绍机器学习中回归分析的基本概念，包括什么是回归分析，线性回归，别忘了还有非线性回归，OLS能很好地解决特征间无线性相关性的问题，但是对多重线性回归任务会失真。

1

回归分析

回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种方法，是机器学习中重要的一个模块，在sklearn机器学习库中有广泛的算法实现，如OLS，脊回归等。

2

多元回归

回归分析按照涉及的变量，即机器学习中特征的个数，分为一元回归和多元回归分析，如果预测的特征仅有一个，则为一元回归，否则为多元回归。

3

线性回归

如果自变量和因变量之间是线性关系，则为线性回归分析，否则为非线性回归分析。

如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。不要小看一元线性回归分析，一个问题解决的开始往往都是从一元线性回归。

4

多重线性回归

如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关性，此时称为多重线性回归分析。

如果我们要预测的数据模型，存在这种线性相关性，那么再使用最小二乘法进行权重参数求解，就会触发一个bug，至于为什么，请看之后的推送。

5

总结

线性回归通常是人们在学习预测模型时首选的技术之一。线性回归的入手一般会根据OLS，但是如果结果不好的话，要考虑多变量之间是否存在多重线性相关性。

以上介绍了回归分析的一些基础内容，接下来，我们开始阐述线性回归分析之最小二乘法（OLS）。