理解简单线性回归的概念

简单的说,线性回归预测是基于某个变量 X (自变量)来预测变量 Y (因变量)的值,当然前提是 X 和 Y 之间存在线性关系。

这两个变量之间的线性关系可以用直线表示(称为回归线)。

现在为了确定两个变量之间是否存在线性关系,我们可以简单的将变量 Y 和变量 X 绘制成散点图,如果绘制的点是随机分布的,那么则可以推断变量是不相关的。

当绘制回归线时,一些点将落在回归线上面,其他点将位于其附近。这是因为我们的回归线是一个概率模型,我们的预测是一个近似结果。因此,变量 Y 的预测值和实际值会有一点偏差。

但是,当变量 X 和 Y 之间存在线性关系时,我们可以通过这些点绘制多条线。然后我们才能从这些线中挑选出一条最合适的线。

那么,如何挑选最合适的呢?我们使用“最小二乘”的概念。

最小二乘

Y=b0 + b1X+e

这是回归线的数学表达式:

Y - 表示因变量;X - 表示独立变量;b0 - 回归线的截距;b1 - 回归线的斜率;e - 误差,预测值和真实值之间的误差;

假设我们将数据 (x1, y1),(x2, y2),(x3, y3).......(xn, yn)的 n 个点拟合到上面的回归线上。

其中,ei 是第 i 个观测值与我们回归线预测值之间的差值。

我们的目标是最小化这个误差值,以便让我们获得更好的回归线 。

我们这个误差 ei 可以是正数或负数,但是我们只对错误的大小感兴趣,而不是它的符号。因此,我们采用最小化平方误差和(SSE)。

在上图中,我们可以看到绿色的回归线是最好的。

我们如何最小化平方误差总和(SSE)呢?

请记住,b1 和 b0 对我们来说仍然是未知的。

在最小二乘法中,我们通过选择 b1 和 b0 的值来最小化平方误差总和(SSE),如下:

作者:chen_h

CoderPai 是一个专注于人工智能在量化交易应用的算法实战平台,主要关注人工智能在量化交易上面的应用。如果你对人工智能感兴趣,请快快关注 “CoderPai” 微信号(coderpai)吧。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180326G0NHKW00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券