机器学习之线性回归

1.线性回归分析

线性回归分析(Regression Analysis):其数据集是给定一个函数和他的一些坐标点,然后通过回归分析的算法,来估计原函数的模型,求得最符合这些数据集的函数解析式。然后我们就可以用来预估未知数据,输入一个自变量便会根据这个模型解析式输出因变量,这些自变量就是特征向量,因变量即为标签,而且标签的值是建立在连续范围内的。

通俗来讲就是我们在做数学题的时候,解未知数的方法。假如给定自变量和函数,通过函数处理自变量,然后获得函数的解。而回归分析便是相当于给定自变量和函数的解,然后去求函数。如下图所示,我们已经知道红色点坐标,然后回归得到直线,回归分析属于监督学习

上图只是简单的一元线性分析,回归后我们可以得到如

f(x)=a∗x+b

的函数表达式,但更多情况下我们是求解多元线性回归问题,那应该如何解决呢。

2.模型表达

3.梯度下降算法

3.1梯度下降算法简述

实际生活中我们有时也利用梯度下降算法,比如我们处在一座山的某处位置,但我们并不知道如何下山,于是决定走一步算一步,但每次都沿着最陡峭的地点下山,也就是沿着梯度的负方向前进。但有事也会遇见问题,不能每次都能到达山脚,可能到达山峰的某个局部最低点。

从上面解释可以看出,梯度下降不一定能够找到全局最优解,有可能是局部最优解,但此种方法已能帮助我们求解线性回归问题。另外如果求解的函数是凸函数,梯度下降法得到得解一定是全局最优解。

3.2 梯度下降算法相关概念

3.3梯度下降算法过程

4.线性回归算法实现

为研究公司盈利提升幅度受电视、广播、报纸的投入的影响程度,利用多元线性回归来分析数据。其中数据下载地址为http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv ,为能够绘制出三维图片,此处只选择电视、广播的广告投入对公司盈利提升幅度的影响。

图片

其中红色为数据点,蓝色线便为我们回归之后的曲线,这里我们是利用sklearn进行线性回归分析,后续会写出sklearn教程。如有错误之处还请指正,谢谢。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180327G08D8N00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券