专栏首页毛利学Python机器学习之线性回归

机器学习之线性回归

参考

  • 机器学习实战书籍(美国蜥蜴封面)
  • sklearn官网
  • 自己的学过的课程与经验

文中的所有数据集链接:https://pan.baidu.com/s/1TV4RQseo6bVd9xKJdmsNFw

提取码:8mm4

线性回归

  • 线性回归(Linear Regression)是利用数理统计中回归分析, 来确定两种或两种以上变量间相互依赖的定量关系的一种统计分 析方法。
  • 线性回归利用称为线性回归方程的最小平方函数对一个或多个自 变量和因变量之间关系进行建模。这种函数是一个或多个称为回 归系数的模型参数的线性组合。只有一个自变量的情况称为简单 回归,大于一个自变量情况的叫做多元回归。

线性回归:使用形如y=wTx+b 的线性模型拟合数据输入和输出之 间的映射关系的

一元线性回归(略)

多元回归

事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

实战案例

这里有个excel 文件数据,我们来研究到底是哪个因素影响sales最明显,是TV,还是radio,还是newspaper,也就是找的销售额到底是那家个元素引起的,怎么才能提高销售额?

在这里插入图片描述

导入模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
plt.style.use('ggplot')   #使用ggplot样式
from sklearn.linear_model import LinearRegression  # 导入线性回归
from sklearn.model_selection import train_test_split  # 划分数据
from sklearn.metrics import mean_squared_error  #用来计算距离平方误差,评价模型 

查看数据

data = pd.read_csv('Advertising.csv')
data.head()  #看下data

data如下

画图分析一下

plt.scatter(data.TV, data.sales)

效果如下

在这里插入图片描述

plt.scatter(data.radio, data.sales)

效果如下

在这里插入图片描述

plt.scatter(data.newspaper, data.sales)

效果如下

在这里插入图片描述

从图中分析看出newspaper的点分散太广,预测毫无关系,应该要去除

# 双中扩号
x = data[['TV','radio','newspaper']]
y = data.sales
x_train,x_test,y_train,y_test = train_test_split(x, y)  #得到训练和测试训练集
model = LinearRegression()  #导入线性回归
model.fit(x_train, y_train)   
model.coef_    # 斜率 有三个 array([ 0.04480311,  0.19277245, -0.00301245])
model.intercept_  # 截距 3.0258997429585506

打印对应的参数

for i in zip(x_train.columns, model.coef_):
    print(i)    #打印对应的参数

('TV', 0.04480311217789182)
('radio', 0.19277245418149513)
('newspaper', -0.003012450368706149)

y =0.04480311217789182 * x1 + 0.19277245418149513 *x2 -0.003012450368706149 * x3 + 3.0258997429585506

我们可以看到newspaper的的系数小于0,说明了投入了,反而影响销售额 那么如何改进模型,就是去掉newspaper的数值,因为一点关系都没有

x = data[['TV','radio']]
y = data.sales
x_train,x_test,y_train,y_test = train_test_split(x, y)
model2 = LinearRegression()
model2.fit(x_train,y_train)
model2.coef_
model2.intercept_
mean_squared_error(model2.predict(x_test),y_test)


输出:
array([0.04666856, 0.17769367])
3.1183329992288478
2.984535789030915  # 比第一个model的小,说明更好

最终的结果:

y =0.04666856 * x1 +0.17769367 *x2 + 3.1183329992288478

多元多项式回归

即就是不是直线,而是曲线了

主要使用的是from sklearn.preprocessing import PolynomialFeatures

可以理解为专门生成多项式特征,并且多项式包含的是相互影响的特征集,比如:一个输入样本是2维的。形式如[a,b] ,则二阶多项式的特征集如下[1,a,b,a^2,ab,b^2]。

实战演练

本案例来源和代码来源:机器学习实战书籍

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline 
# 均与分布
x = np.random.uniform(-3,3, size=100)
# 噪音数据
y = 0.5 * x**2 +x +2 + np.random.normal(0,1,size=100)
plt.scatter(x,y)

效果如下:

采用多项式回归

x2 = np.hstack([X,X**2]) #这里给样本X再引入1个特征项,现在的特征就有2个
lin_reg = LinearRegression()
lin_reg.fit(x2,y)
y_predict = lin_reg.predict(x2)
plt.scatter(x,y)
#绘制的时候要注意,因为x是无序的,为了画出如下图平滑的线条,需要先将x进行排序
plt.plot(np.sort(x),y_predict[np.argsort(x)],color='r') 
#y_predict按照x从的大小的顺序进行取值,否则绘制出的如右下图。

效果如下:

PolynomialFeatures的使用

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2) #设置最多添加几次幂的特征项
poly.fit(X)
x2 = poly.transform(X)
#x2.shape 这个时候x2有三个特征项,因为在第1列加入1列1,并加入了x^2项
from sklearn.linear_model import LinearRegression #接下来的代码一致
lin_reg2 = LinearRegression()
lin_reg2.fit(x2,y)
y_predict2 = lin_reg2.predict(x2)
plt.scatter(x,y)
plt.plot(np.sort(x),y_predict2[np.argsort(x)],color='r')

效果如下:

真实案例

此案例来源:https://www.icourse163.org/course/BIT-1001872001

北京理工大学出版,毛利推荐

导入对应的包

import matplotlib.pyplot as plt
import numpy as np
from sklearn import  linear_model
#导入线性模型和多项式特征构造模块
from sklearn.preprocessing import  PolynomialFeatures

读取数据集

datasets_X =[]
datasets_Y =[]
fr =open('prices.txt','r')
#一次读取整个文件。
lines =fr.readlines()
#逐行进行操作,循环遍历所有数据
for line in lines:
    #去除数据文件中的逗号
    items =line.strip().split(',')
    #将读取的数据转换为int型,并分别写入datasets_X和datasets_Y。
    datasets_X.append(int(items[0]))
    datasets_Y.append(int(items[1]))
#求得datasets_X的长度,即为数据的总数。
length =len(datasets_X)
#将datasets_X转化为数组, 并变为二维,以符合线性回 归拟合函数输入参数要求
datasets_X= np.array(datasets_X).reshape([length,1])
#将datasets_Y转化为数组
datasets_Y=np.array(datasets_Y)

建立二次多项式特征

minX =min(datasets_X)
maxX =max(datasets_X)
#以数据datasets_X的最大值和最小值为范围,建立等差数列,方便后续画图。
X=np.arange(minX,maxX).reshape([-1,1])
#degree=2表示建立datasets_X的二 次多项式特征X_poly。
poly_reg =PolynomialFeatures(degree=2)
X_ploy =poly_reg.fit_transform(datasets_X)
lin_reg_2=linear_model.LinearRegression()
lin_reg_2.fit(X_ploy,datasets_Y)

回归方程

#查看回归方程系数
print('Cofficients:',lin_reg_2.coef_)
Cofficients: [0.00000000e+00 4.93982848e-02 1.89186822e-05]
intercept 151.8469675050044
#查看回归方程截距
print('intercept',lin_reg_2.intercept_)
plt.scatter(datasets_X,datasets_Y,color='red')
plt.plot(X,lin_reg_2.predict(poly_reg.fit_transform(X)),color='blue')
plt.xlabel('Area')
plt.ylabel('Price')
plt.show()

效果如图:

本文分享自微信公众号 - Python之王(gh_70a22bfa8e3a),作者:小sen

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习开篇小菜

    本教程是本人尝试使用scikit-learn的一些经验,scikit-learn真的超级容易上手,简单实用。5分钟学会用调用基本的回归方法和集成方法应该是够了。

    润森
  • 基于用户的协同过滤(余弦相似度)

    原文:https://blog.csdn.net/weixin_44510615/article/details/89021205

    润森
  • 数据科学篇| Matplotlib和数据可视化(三)

    数据的处理、分析和可视化已经成为Python近年来最为重要的应用领域之一,其中数据的可视化指的是将数据呈现为漂亮的统计图表,然后进一步发现数据中包含的规律以及隐...

    润森
  • DPDK之KNI原理

    DPDK是一个优秀的收发包kit,但它本身并不提供用户态协议栈,因此由将数据报文注入内核协议栈的需求,也就是KNI(Kernel NIC Interface)。...

    glinuxer
  • Spring与Mybatis的整合

    提供一种Spring的IoC容器与Mybatis的整合方式,其中中,Mybatis采用纯注解方式配置,Spring采用XML方式配置。数据库源采用的是C3P0数...

    泰坦HW
  • Mysql如何保证高可用

    主备切换是很正常的操作,比如服务下线,断电,软件升级等等,首先我们先了解另外一个概念就是同步延迟,与数据同步的三个时间点如下

    小土豆Yuki
  • 使用Helm将应用程序部署到IBM Cloud上的Kubernetes

    Helm是Kubernetes的包管理程序。借助Helm,您可以非常方便地将应用程序,工具和数据库(如MongoDB,PostgreSQL,WordPress和...

    Techeek
  • Android自定义view实现水波进度条控件

    通过自定义view实现了一个水滴滴落到水波面,溅起水花并且水波流动上涨的进度条控件。之前看到过好多水波流动的进度条,感觉欠缺些东西,就想到了水滴到水平面,溅起水...

    砸漏
  • 使用Helm将应用程序部署到IBM Cloud上的Kubernetes

    Helm是Kubernetes的包管理器。借助Helm,您可以非常方便地将应用程序,工具和数据库(如MongoDB,PostgreSQL,WordPress和A...

    johnniang
  • Go语言:简单的理解操作符

    程序中的所有数在计算机内存中都是以二进制的形式储存的.位运算就是直接对整数在内存中的二进制位进行操作.比如,and运算本来是一个逻辑运算符,但整数与整数之间也可...

    mojocn

扫码关注云+社区

领取腾讯云代金券