专栏首页简书专栏基于xgboost+GridSearchCV的波士顿房价预测

基于xgboost+GridSearchCV的波士顿房价预测

2018年8月23日笔记 sklearn官方英文用户使用指南:https://sklearn.org/user_guide.html sklearn翻译中文用户使用指南:http://sklearn.apachecn.org/cn/0.19.0/user_guide.html

0.打开jupyter notebook

不知道怎么打开jupyter notebook的朋友请查看我的入门指南文章:https://www.jianshu.com/p/bb0812a70246

1.准备数据

阅读此篇文章的基础是已经阅读了作者的上一篇文章《基于LinearRegression的波士顿房价预测》。 文章链接:https://www.jianshu.com/p/f828eae005a1

加载数据集中的预测目标值。

from sklearn.datasets import load_boston

y = load_boston().target

如果阅读过上一篇文章,读者应该知道特征提取后的数据处理主要是对数据进行分箱,从而产生新的字段。 将数据处理的过程封装成函数,代码如下:

def dataProcessing(df):
    field_cut = {
    'CRIM' : [0,10,20, 100],
    'ZN' : [-1, 5, 18, 20, 40, 80, 86, 100], 
    'INDUS' : [-1, 7, 15, 23, 40],
    'NOX' : [0, 0.51, 0.6, 0.7, 0.8, 1],
    'RM' : [0, 4, 5, 6, 7, 8, 9],
    'AGE' : [0, 60, 80, 100],
    'DIS' : [0, 2, 6, 14],
    'RAD' : [0, 5, 10, 25],
    'TAX' : [0, 200, 400, 500, 800],
    'PTRATIO' : [0, 14, 20, 23],
    'B' : [0, 100, 350, 450],
    'LSTAT' : [0, 5, 10, 20, 40]
    }
    df = df[load_boston().feature_names].copy()
    cut_df = pd.DataFrame()
    for field in field_cut.keys():
        cut_series = pd.cut(df[field], field_cut[field], right=True)
        onehot_df = pd.get_dummies(cut_series, prefix=field)
        cut_df = pd.concat([cut_df, onehot_df], axis=1)
    new_df = pd.concat([df, cut_df], axis=1)
    return new_df

调用函数dataProcessing形成新的特征矩阵,代码如下:

import pandas as pd

df = pd.DataFrame(load_boston().data, columns=load_boston().feature_names)
new_df = dataProcessing(df)
print(new_df.columns)
new_df.head()

上面一段代码的运行结果如下图所示:

提取特征后的特征矩阵.png

将特征处理后的特征矩阵赋值给变量X,代码如下:

X = new_df.values

2.清除异常值

波士顿房价预测是kaggle网站上2016年的比赛。 网上有资料显示有部分预测目标异常值为50,所以我们删除具有此异常值的样本。 代码如下:

X = new_df.values
y = load_boston().target
print(X.shape)
X = X[y!=50]
y = y[y!=50]
print(X.shape)

上面一段代码的运行结果如下图所示:

image.png

从上图中可以看出,特征矩阵X的行数由506变成了490。

3.决策树回归模型

使用决策树回归模型做回归预测,并使用交叉验证查看模型得分。 调用sklearn.tree库的DecisionTreeRegressor方法实例化模型对象。 调用sklearn.model_selection库的KFold方法实例化交叉验证对象。 调用sklearn.model_selection库的cross_val_score方法做交叉验证。 cross_val_score方法需要4个参数,第1个参数是模型对象,第2个参数是特征矩阵X,第3个参数是预测目标值y,第4个关键字参数cv可以为整数或者交叉验证对象,此处因为样本数只有506个,所以得指定交叉验证对象,而且实例化交叉验证对象的时候,必须设置关键字参数shuffle=True,如果不进行设置,会发生严重的错误,读者可以自己尝试一下。 从官方文档查看cross_val_score方法如何使用的链接:http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.cross_val_score.html#sklearn.model_selection.cross_val_score 决策树回归模型的代码如下:

from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score

decisionTree_model = DecisionTreeRegressor()
kf = KFold(n_splits=5, shuffle=True)
score_ndarray = cross_val_score(decisionTree_model, X, y, cv=kf)
print(score_ndarray)
score_ndarray.mean()

上面一段代码的运行结果如下图所示:

image.png

从上图的结果可以看出,5折交叉验证的均值只有0.725,不能起到优秀的预测效果。

4.梯度提升回归模型

代码逻辑和第3章相同。 调用sklearn.ensemble库的GradientBoostingRegressor方法实例化模型对象。 GradientBoostingRegressor中文叫做梯度加速回归模型,本质是一种集成回归模型。 调用sklearn.model_selection库的KFold方法实例化交叉验证对象。 调用sklearn.model_selection库的cross_val_score方法做交叉验证。 cross_val_score方法需要4个参数,第1个参数是模型对象,第2个参数是特征矩阵X,第3个参数是预测目标值y,第4个关键字参数cv可以为整数或者交叉验证对象,此处因为样本数只有506个,所以得指定交叉验证对象,而且实例化交叉验证对象的时候,必须设置关键字参数shuffle=True,如果不进行设置,会发生严重的错误,读者可以自己尝试一下。 从官方文档查看cross_val_score方法如何使用的链接:http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.cross_val_score.html#sklearn.model_selection.cross_val_score 集成回归模型的代码如下:

from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score

gbr_model = GradientBoostingRegressor()
kf = KFold(n_splits=5, shuffle=True)
score_ndarray = cross_val_score(gbr_model, X, y, cv=kf)
print(score_ndarray)
score_ndarray.mean()

上面一段代码的运行结果如下图所示:

image.png

从上面的运行结果可以看出,集成回归模型取得了较好的回归效果。

5.选择最优模型

使用sklearn.model_selection库中的cross_validate方法,需要传入4个参数,第1个参数为模型对象estimator,第2个参数为特征矩阵X,第3个参数为预测目标值y,第4个关键字参数cv数据类型为交叉验证对象,函数返回结果的数据类型为字典。 如果你的sklearn版本小于0.19,则无法调用cross_validate方法。 官方文档有更新sklearn版本的指南,链接:http://sklearn.apachecn.org/cn/0.19.0/install.html 如果你使用的是conda update scikit-learn命令,可能出现长时间等待的情况,解决方案是进行conda换源。 如何进行conda换源,链接:https://jingyan.baidu.com/article/1876c8527be1c3890a137645.html

浏览官方的API,找出所有的回归模型,链接:http://sklearn.apachecn.org/cn/0.19.0/modules/classes.html

回归模型中文名

sklearn库中的对应英文类

线性回归模型

LinearRegression

决策树回归模型

DecisionTreeRegressor

梯度提升回归模型

GradientBoostingRegressor

多层感知器回归模型

MLPRegressor

自适应提升回归模型

AdaBoostRegressor

打包回归模型

BaggingRegressor

额外树回归模型

ExtraTreesRegressor

线性支持向量机回归模型

LinearSVR

nu支持向量机回归模型

NuSVR

支持向量机回归模型

SVR

nu支持向量机回归模型中的nu的英文解释如下: An upper bound on the fraction of training errors and a lower bound of the fraction of support vectors. Should be in the interval (0, 1]. By default 0.5 will be taken 中文翻译为:训练误差部分的上界和支持向量部分的下界。应该在(0,1)区间内。默认情况下,取0.5。

搜索最优的回归模型,代码如下:

from sklearn.model_selection import cross_validate
from sklearn.model_selection import ShuffleSplit

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.neural_network import MLPRegressor
from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import BaggingRegressor
from sklearn.ensemble import ExtraTreesRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.svm import LinearSVR
from sklearn.svm import NuSVR
from sklearn.svm import SVR


estimator_list = [
    LinearRegression(),
    DecisionTreeRegressor(),
    GradientBoostingRegressor(),
    MLPRegressor(solver='lbfgs'),
    AdaBoostRegressor(),
    BaggingRegressor(),
    ExtraTreesRegressor(),
    RandomForestRegressor(),
    LinearSVR(),
    NuSVR(),
    SVR()
]

cv_split = ShuffleSplit(n_splits=6, train_size=0.7, test_size=0.2, random_state=168)
df_columns = ['Name', 'Parameters', 'Train Accuracy Mean', 'Test Accuracy Mean', 'Test Accuracy Std', 'Comsumed Time']
df = pd.DataFrame(columns=df_columns)

row_index = 0
for estimator in estimator_list:
    df.loc[row_index, 'Name'] = estimator.__class__.__name__
    df.loc[row_index, 'Parameters'] = str(estimator.get_params())
    cv_results = cross_validate(estimator, X, y, cv=cv_split)
    df.loc[row_index, 'Train Accuracy Mean'] = cv_results['train_score'].mean()
    df.loc[row_index, 'Test Accuracy Mean'] = cv_results['test_score'].mean()
    df.loc[row_index, 'Test Accuracy Std'] = cv_results['test_score'].std()
    df.loc[row_index, 'Comsumed Time'] = cv_results['fit_time'].mean()
    print(row_index, estimator.__class__.__name__)
    print(cv_results['test_score'])
    row_index += 1
df = df.sort_values(by='Test Accuracy Mean', ascending=False)
df

上面一段代码的运行结果如下图所示:

image.png

从上图中可以看出,几个集成回归模型都在测试集上取得0.8以上的得分。 决策树回归模型和额外树回归模型在训练集上取得了满分,与测试集结果差距大,说明这2种模型容易过拟合。

6.极致梯度提升回归模型

xgboost中文叫做极致梯度提升模型,官方文档链接:https://xgboost.readthedocs.io/en/latest/tutorials/model.html 打开官方文档网页,使用chrome浏览器的翻译,效果如下图所示:

image.png

安装xgboost库,首先下载相关的whl文件,下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 打开网址如下图,作者的python版本为3.6,则选择红色箭头标注文件下载。请读者选择自己python版本对应的文件下载。

image.png

下载完成后,打开下载文件所在目录,在此目录下打开cmd。 在cmd中运行命令:pip install xgboost-0.80-cp36-cp36m-win_amd64.whl 请读者保证自己在文件下载目录下打开cmd,运行命令即可成功安装xgboost库。 因为加入了kaggle大赛神器xgboost,重新进行第5步,选择最优的模型。 代码如下:

from sklearn.model_selection import cross_validate
from sklearn.model_selection import ShuffleSplit

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.neural_network import MLPRegressor
from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import BaggingRegressor
from sklearn.ensemble import ExtraTreesRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.svm import LinearSVR
from sklearn.svm import NuSVR
from sklearn.svm import SVR
from xgboost import XGBRegressor

estimator_list = [
    LinearRegression(),
    DecisionTreeRegressor(),
    GradientBoostingRegressor(),
    MLPRegressor(solver='lbfgs'),
    AdaBoostRegressor(),
    BaggingRegressor(),
    ExtraTreesRegressor(),
    RandomForestRegressor(),
    LinearSVR(),
    NuSVR(),
    SVR(),
    XGBRegressor()
]

cv_split = ShuffleSplit(n_splits=6, train_size=0.7, test_size=0.2, random_state=168)
df_columns = ['Name', 'Parameters', 'Train Accuracy Mean', 'Test Accuracy Mean', 'Test Accuracy Std', 'Comsumed Time']
df = pd.DataFrame(columns=df_columns)

row_index = 0
for estimator in estimator_list:
    df.loc[row_index, 'Name'] = estimator.__class__.__name__
    df.loc[row_index, 'Parameters'] = str(estimator.get_params())
    cv_results = cross_validate(estimator, X, y, cv=cv_split)
    df.loc[row_index, 'Train Accuracy Mean'] = cv_results['train_score'].mean()
    df.loc[row_index, 'Test Accuracy Mean'] = cv_results['test_score'].mean()
    df.loc[row_index, 'Test Accuracy Std'] = cv_results['test_score'].std()
    df.loc[row_index, 'Comsumed Time'] = cv_results['fit_time'].mean()
    print(row_index, estimator.__class__.__name__)
    print(cv_results['test_score'])
    row_index += 1
df = df.sort_values(by='Test Accuracy Mean', ascending=False)
df

上面一段代码的运行结果如下图所示:

image.png

从上面的运行结果可以看出,XGBRegressor模型比GradientBoostingRegressor模型略优,测试集预测结果标准差更小,花费时间也减少1/3。

7.搜索模型最优参数

Grid中文含义是网格,Search中文含义是搜索,CV是cross validation的简写,中文含义为交叉验证。 sklearn.model_selection库中有GridSearchCV方法,作用是搜索模型的最优参数。 官方文档查看GridSearchCV方法如何使用链接:http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV 调用sklearn.model_selection库中的GridSearchCV对象时,需要传入4个参数,第1个参数是模型对象,第2个参数是参数表格,数据类型为字典,第3个关键字参数cv的数据类型是交叉验证对象,第4个关键字参数scoring是字符串str或评分函数对象。 xgboost模型可以并行运算,第7行代码设置并行线程数为15,因为本文作者的CPU是8核16线程,所以设置为15。建议读者根据自己CPU的线程数量设置该参数的值。 代码如下:

from sklearn.model_selection import ShuffleSplit
from sklearn.model_selection import GridSearchCV
from xgboost import XGBRegressor
import numpy as np 
import time

xgb_model = XGBRegressor(nthread = 15)
cv_split = ShuffleSplit(n_splits=6, train_size=0.7, test_size=0.2)
param_grid = dict(
    max_depth = [4, 5, 6, 7],
    learning_rate = np.linspace(0.03, 0.3, 10),
    n_estimators = [100, 200]
)
start = time.time()
grid = GridSearchCV(xgb_model, param_grid, cv=cv_split, scoring='neg_mean_squared_error')
grid.fit(X, y)
print('GridSearchCV process use %.2f seconds'%(time.time()-start))

上面一段代码的运行结果如下:

GridSearchCV process use 27.64 seconds

查看以mse指标为评估标准的模型最优参数,以及设置此参数的模型mse指标。 因为上面实例化GridSeachCV对象时,关键字参数scoring为neg_mean_squared_error,neg是negativa的简写,中文叫做负数。 mse指标越小则模型回归效果越好,设置它为负数。 在选择最优参数的时候选择值最大的得分,负数值越大,则绝对值越小,即mse指标越小。

代码如下:

print(grid.best_params_)
print(grid.best_score_)

上面一段代码的运行结果如下图所示:

image.png

查看参数迭代器的长度,代码如下:

len(grid._get_param_iterator())

上面一段代码的运行结果如下:

80

模型参数max_depth有4个可能取值,参数learing_rate有10个可能取值,参数n_estimators有2个可能取值。 则这3个参数的组合有4*10*2=80种,与上面查看参数迭代器的长度的结果一致。

8.结论

通过模型的对比,我们在波士顿房价预测项目后面阶段确定使用xgboost库中的XGBRegressor模型。 通过使用GridSearchCV方法做网格搜索,确定XGBRegressor模型使用{'learning_rate': 0.12, 'max_depth': 4, 'n_estimators': 200}的参数组合。 本文是波士顿房价预测项目的第2篇文章,第3篇文章《基于xgboost的波士顿房价预测kaggle实战》将讲解如果提交结果到kaggle网站。 文章链接:https://www.jianshu.com/p/0536182dbb4d

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于SVM、Pipeline、GridSearchCV的鸢尾花分类

    Iris(鸢尾花)数据集是多重变量分析的数据集。 数据集包含150行数据,分为3类,每类50行数据。 每行数据包括4个属性:Sepal Length(花萼长...

    潇洒坤
  • 基于RandomForestRegressor的波士顿房价回归预测

    2018年8月27日笔记 sklearn官方英文用户使用指南:https://sklearn.org/user_guide.html sklearn翻译中文...

    潇洒坤
  • mysql实训

    设有一个数据库,包括四个表:学生表(student)、课程表(course)、成绩表(score)以及教师信息表(teacher)。用SQL语句创建四个表并完成...

    潇洒坤
  • React组件库封装初探--Modal

    top: 0; right: 0; bottom: 0; left: 0; z-index: 1000;

    keyWords
  • 基于机器学习的文本情感极性分析

    关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 我们会再接再厉 成为全网优质的技术类...

    昱良
  • 1-关于单片机通信数据传输(中断发送,大小端,IEEE754浮点型格式,共用体,空闲中断,环形队列)

    写这篇文章的目的呢,如题目所言,我承认自己是一个程序猿.....应该说很多很多学单片机的对于...先不说别的了,,无论是学51的还是32的,,,先问一下大家用串...

    杨奉武
  • Oracle SGA 自动管理特性(sga_target参数)

        最近有网友对Oracle SGA内存自动管理特性不是很清楚,可能是由于当时翻译的 Oracle 10g SGA 的自动化管理 比较生涩,下面依旧是针对这...

    Leshami
  • 递归与分治之棋盘覆盖问题

    在一个2^k * 2^k个方格组成的棋盘中,若有一个方格与其他方格不同,则称该方格为一特殊方格,且称该棋盘为一个特殊棋盘。 显然特殊方格在棋盘上出现的位置有4^...

    欠扁的小篮子
  • JS的函数调用栈有多深?

    译者按: 有时候会遇到 Maximum call stack size exceeded 的问题,本文教你 stack size 的计算方法。

    Fundebug
  • nn.functional和nn.Module

    Pytorch提供的方法比numpy更全面,运算速度更快,如果需要的话,还可以使用GPU进行加速。

    lyhue1991

扫码关注云+社区

领取腾讯云代金券