用最小二乘和梯度下降看线性回归

线性回归是最简单的机器学习的模型,它设置y与输入特征x满足线性关系,假设我们通过生产成本预测销售价格,通过收集的数据我们可以得到下面的图形。

以一元线性回归为例,公式为

y=β1x+β0

最小二乘法计算线性回归系数:β0,β1

首先模型的损失函数:

其次求β0,β1,需要损失函数进行求导:

最后联立方程组解出β0,β1:

梯度下降法求解方程系数:

目标的损失函数为:

根据目标函数计算系数的梯度:

更新系数直至达到我们的要求:

当然推导了这么多,还需要学习一下简单的操作,利用sklearn实际对线性回归进行操作

波士顿房价预测:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180727G1LC8400?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券