基于xgboost+GridSearchCV的波士顿房价预测

2018年8月23日笔记 sklearn官方英文用户使用指南:https://sklearn.org/user_guide.html sklearn翻译中文用户使用指南:http://sklearn.apachecn.org/cn/0.19.0/user_guide.html

0.打开jupyter notebook

不知道怎么打开jupyter notebook的朋友请查看我的入门指南文章:https://www.jianshu.com/p/bb0812a70246

1.准备数据

阅读此篇文章的基础是已经阅读了作者的上一篇文章《基于LinearRegression的波士顿房价预测》。 文章链接:https://www.jianshu.com/p/f828eae005a1

加载数据集中的预测目标值。

from sklearn.datasets import load_boston

y = load_boston().target

如果阅读过上一篇文章,读者应该知道特征提取后的数据处理主要是对数据进行分箱,从而产生新的字段。 将数据处理的过程封装成函数,代码如下:

def dataProcessing(df):
    field_cut = {
    'CRIM' : [0,10,20, 100],
    'ZN' : [-1, 5, 18, 20, 40, 80, 86, 100], 
    'INDUS' : [-1, 7, 15, 23, 40],
    'NOX' : [0, 0.51, 0.6, 0.7, 0.8, 1],
    'RM' : [0, 4, 5, 6, 7, 8, 9],
    'AGE' : [0, 60, 80, 100],
    'DIS' : [0, 2, 6, 14],
    'RAD' : [0, 5, 10, 25],
    'TAX' : [0, 200, 400, 500, 800],
    'PTRATIO' : [0, 14, 20, 23],
    'B' : [0, 100, 350, 450],
    'LSTAT' : [0, 5, 10, 20, 40]
    }
    df = df[load_boston().feature_names].copy()
    cut_df = pd.DataFrame()
    for field in field_cut.keys():
        cut_series = pd.cut(df[field], field_cut[field], right=True)
        onehot_df = pd.get_dummies(cut_series, prefix=field)
        cut_df = pd.concat([cut_df, onehot_df], axis=1)
    new_df = pd.concat([df, cut_df], axis=1)
    return new_df

调用函数dataProcessing形成新的特征矩阵,代码如下:

import pandas as pd

df = pd.DataFrame(load_boston().data, columns=load_boston().feature_names)
new_df = dataProcessing(df)
print(new_df.columns)
new_df.head()

上面一段代码的运行结果如下图所示:

提取特征后的特征矩阵.png

将特征处理后的特征矩阵赋值给变量X,代码如下:

X = new_df.values

2.清除异常值

波士顿房价预测是kaggle网站上2016年的比赛。 网上有资料显示有部分预测目标异常值为50,所以我们删除具有此异常值的样本。 代码如下:

X = new_df.values
y = load_boston().target
print(X.shape)
X = X[y!=50]
y = y[y!=50]
print(X.shape)

上面一段代码的运行结果如下图所示:

image.png

从上图中可以看出,特征矩阵X的行数由506变成了490。

3.决策树回归模型

使用决策树回归模型做回归预测,并使用交叉验证查看模型得分。 调用sklearn.tree库的DecisionTreeRegressor方法实例化模型对象。 调用sklearn.model_selection库的KFold方法实例化交叉验证对象。 调用sklearn.model_selection库的cross_val_score方法做交叉验证。 cross_val_score方法需要4个参数,第1个参数是模型对象,第2个参数是特征矩阵X,第3个参数是预测目标值y,第4个关键字参数cv可以为整数或者交叉验证对象,此处因为样本数只有506个,所以得指定交叉验证对象,而且实例化交叉验证对象的时候,必须设置关键字参数shuffle=True,如果不进行设置,会发生严重的错误,读者可以自己尝试一下。 从官方文档查看cross_val_score方法如何使用的链接:http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.cross_val_score.html#sklearn.model_selection.cross_val_score 决策树回归模型的代码如下:

from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score

decisionTree_model = DecisionTreeRegressor()
kf = KFold(n_splits=5, shuffle=True)
score_ndarray = cross_val_score(decisionTree_model, X, y, cv=kf)
print(score_ndarray)
score_ndarray.mean()

上面一段代码的运行结果如下图所示:

image.png

从上图的结果可以看出,5折交叉验证的均值只有0.725,不能起到优秀的预测效果。

4.梯度提升回归模型

代码逻辑和第3章相同。 调用sklearn.ensemble库的GradientBoostingRegressor方法实例化模型对象。 GradientBoostingRegressor中文叫做梯度加速回归模型,本质是一种集成回归模型。 调用sklearn.model_selection库的KFold方法实例化交叉验证对象。 调用sklearn.model_selection库的cross_val_score方法做交叉验证。 cross_val_score方法需要4个参数,第1个参数是模型对象,第2个参数是特征矩阵X,第3个参数是预测目标值y,第4个关键字参数cv可以为整数或者交叉验证对象,此处因为样本数只有506个,所以得指定交叉验证对象,而且实例化交叉验证对象的时候,必须设置关键字参数shuffle=True,如果不进行设置,会发生严重的错误,读者可以自己尝试一下。 从官方文档查看cross_val_score方法如何使用的链接:http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.cross_val_score.html#sklearn.model_selection.cross_val_score 集成回归模型的代码如下:

from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score

gbr_model = GradientBoostingRegressor()
kf = KFold(n_splits=5, shuffle=True)
score_ndarray = cross_val_score(gbr_model, X, y, cv=kf)
print(score_ndarray)
score_ndarray.mean()

上面一段代码的运行结果如下图所示:

image.png

从上面的运行结果可以看出,集成回归模型取得了较好的回归效果。

5.选择最优模型

使用sklearn.model_selection库中的cross_validate方法,需要传入4个参数,第1个参数为模型对象estimator,第2个参数为特征矩阵X,第3个参数为预测目标值y,第4个关键字参数cv数据类型为交叉验证对象,函数返回结果的数据类型为字典。 如果你的sklearn版本小于0.19,则无法调用cross_validate方法。 官方文档有更新sklearn版本的指南,链接:http://sklearn.apachecn.org/cn/0.19.0/install.html 如果你使用的是conda update scikit-learn命令,可能出现长时间等待的情况,解决方案是进行conda换源。 如何进行conda换源,链接:https://jingyan.baidu.com/article/1876c8527be1c3890a137645.html

浏览官方的API,找出所有的回归模型,链接:http://sklearn.apachecn.org/cn/0.19.0/modules/classes.html

回归模型中文名

sklearn库中的对应英文类

线性回归模型

LinearRegression

决策树回归模型

DecisionTreeRegressor

梯度提升回归模型

GradientBoostingRegressor

多层感知器回归模型

MLPRegressor

自适应提升回归模型

AdaBoostRegressor

打包回归模型

BaggingRegressor

额外树回归模型

ExtraTreesRegressor

线性支持向量机回归模型

LinearSVR

nu支持向量机回归模型

NuSVR

支持向量机回归模型

SVR

nu支持向量机回归模型中的nu的英文解释如下: An upper bound on the fraction of training errors and a lower bound of the fraction of support vectors. Should be in the interval (0, 1]. By default 0.5 will be taken 中文翻译为:训练误差部分的上界和支持向量部分的下界。应该在(0,1)区间内。默认情况下,取0.5。

搜索最优的回归模型,代码如下:

from sklearn.model_selection import cross_validate
from sklearn.model_selection import ShuffleSplit

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.neural_network import MLPRegressor
from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import BaggingRegressor
from sklearn.ensemble import ExtraTreesRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.svm import LinearSVR
from sklearn.svm import NuSVR
from sklearn.svm import SVR


estimator_list = [
    LinearRegression(),
    DecisionTreeRegressor(),
    GradientBoostingRegressor(),
    MLPRegressor(solver='lbfgs'),
    AdaBoostRegressor(),
    BaggingRegressor(),
    ExtraTreesRegressor(),
    RandomForestRegressor(),
    LinearSVR(),
    NuSVR(),
    SVR()
]

cv_split = ShuffleSplit(n_splits=6, train_size=0.7, test_size=0.2, random_state=168)
df_columns = ['Name', 'Parameters', 'Train Accuracy Mean', 'Test Accuracy Mean', 'Test Accuracy Std', 'Comsumed Time']
df = pd.DataFrame(columns=df_columns)

row_index = 0
for estimator in estimator_list:
    df.loc[row_index, 'Name'] = estimator.__class__.__name__
    df.loc[row_index, 'Parameters'] = str(estimator.get_params())
    cv_results = cross_validate(estimator, X, y, cv=cv_split)
    df.loc[row_index, 'Train Accuracy Mean'] = cv_results['train_score'].mean()
    df.loc[row_index, 'Test Accuracy Mean'] = cv_results['test_score'].mean()
    df.loc[row_index, 'Test Accuracy Std'] = cv_results['test_score'].std()
    df.loc[row_index, 'Comsumed Time'] = cv_results['fit_time'].mean()
    print(row_index, estimator.__class__.__name__)
    print(cv_results['test_score'])
    row_index += 1
df = df.sort_values(by='Test Accuracy Mean', ascending=False)
df

上面一段代码的运行结果如下图所示:

image.png

从上图中可以看出,几个集成回归模型都在测试集上取得0.8以上的得分。 决策树回归模型和额外树回归模型在训练集上取得了满分,与测试集结果差距大,说明这2种模型容易过拟合。

6.极致梯度提升回归模型

xgboost中文叫做极致梯度提升模型,官方文档链接:https://xgboost.readthedocs.io/en/latest/tutorials/model.html 打开官方文档网页,使用chrome浏览器的翻译,效果如下图所示:

image.png

安装xgboost库,首先下载相关的whl文件,下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 打开网址如下图,作者的python版本为3.6,则选择红色箭头标注文件下载。请读者选择自己python版本对应的文件下载。

image.png

下载完成后,打开下载文件所在目录,在此目录下打开cmd。 在cmd中运行命令:pip install xgboost-0.80-cp36-cp36m-win_amd64.whl 请读者保证自己在文件下载目录下打开cmd,运行命令即可成功安装xgboost库。 因为加入了kaggle大赛神器xgboost,重新进行第5步,选择最优的模型。 代码如下:

from sklearn.model_selection import cross_validate
from sklearn.model_selection import ShuffleSplit

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.neural_network import MLPRegressor
from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import BaggingRegressor
from sklearn.ensemble import ExtraTreesRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.svm import LinearSVR
from sklearn.svm import NuSVR
from sklearn.svm import SVR
from xgboost import XGBRegressor

estimator_list = [
    LinearRegression(),
    DecisionTreeRegressor(),
    GradientBoostingRegressor(),
    MLPRegressor(solver='lbfgs'),
    AdaBoostRegressor(),
    BaggingRegressor(),
    ExtraTreesRegressor(),
    RandomForestRegressor(),
    LinearSVR(),
    NuSVR(),
    SVR(),
    XGBRegressor()
]

cv_split = ShuffleSplit(n_splits=6, train_size=0.7, test_size=0.2, random_state=168)
df_columns = ['Name', 'Parameters', 'Train Accuracy Mean', 'Test Accuracy Mean', 'Test Accuracy Std', 'Comsumed Time']
df = pd.DataFrame(columns=df_columns)

row_index = 0
for estimator in estimator_list:
    df.loc[row_index, 'Name'] = estimator.__class__.__name__
    df.loc[row_index, 'Parameters'] = str(estimator.get_params())
    cv_results = cross_validate(estimator, X, y, cv=cv_split)
    df.loc[row_index, 'Train Accuracy Mean'] = cv_results['train_score'].mean()
    df.loc[row_index, 'Test Accuracy Mean'] = cv_results['test_score'].mean()
    df.loc[row_index, 'Test Accuracy Std'] = cv_results['test_score'].std()
    df.loc[row_index, 'Comsumed Time'] = cv_results['fit_time'].mean()
    print(row_index, estimator.__class__.__name__)
    print(cv_results['test_score'])
    row_index += 1
df = df.sort_values(by='Test Accuracy Mean', ascending=False)
df

上面一段代码的运行结果如下图所示:

image.png

从上面的运行结果可以看出,XGBRegressor模型比GradientBoostingRegressor模型略优,测试集预测结果标准差更小,花费时间也减少1/3。

7.搜索模型最优参数

Grid中文含义是网格,Search中文含义是搜索,CV是cross validation的简写,中文含义为交叉验证。 sklearn.model_selection库中有GridSearchCV方法,作用是搜索模型的最优参数。 官方文档查看GridSearchCV方法如何使用链接:http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV 调用sklearn.model_selection库中的GridSearchCV对象时,需要传入4个参数,第1个参数是模型对象,第2个参数是参数表格,数据类型为字典,第3个关键字参数cv的数据类型是交叉验证对象,第4个关键字参数scoring是字符串str或评分函数对象。 xgboost模型可以并行运算,第7行代码设置并行线程数为15,因为本文作者的CPU是8核16线程,所以设置为15。建议读者根据自己CPU的线程数量设置该参数的值。 代码如下:

from sklearn.model_selection import ShuffleSplit
from sklearn.model_selection import GridSearchCV
from xgboost import XGBRegressor
import numpy as np 
import time

xgb_model = XGBRegressor(nthread = 15)
cv_split = ShuffleSplit(n_splits=6, train_size=0.7, test_size=0.2)
param_grid = dict(
    max_depth = [4, 5, 6, 7],
    learning_rate = np.linspace(0.03, 0.3, 10),
    n_estimators = [100, 200]
)
start = time.time()
grid = GridSearchCV(xgb_model, param_grid, cv=cv_split, scoring='neg_mean_squared_error')
grid.fit(X, y)
print('GridSearchCV process use %.2f seconds'%(time.time()-start))

上面一段代码的运行结果如下:

GridSearchCV process use 27.64 seconds

查看以mse指标为评估标准的模型最优参数,以及设置此参数的模型mse指标。 因为上面实例化GridSeachCV对象时,关键字参数scoring为neg_mean_squared_error,neg是negativa的简写,中文叫做负数。 mse指标越小则模型回归效果越好,设置它为负数。 在选择最优参数的时候选择值最大的得分,负数值越大,则绝对值越小,即mse指标越小。

代码如下:

print(grid.best_params_)
print(grid.best_score_)

上面一段代码的运行结果如下图所示:

image.png

查看参数迭代器的长度,代码如下:

len(grid._get_param_iterator())

上面一段代码的运行结果如下:

80

模型参数max_depth有4个可能取值,参数learing_rate有10个可能取值,参数n_estimators有2个可能取值。 则这3个参数的组合有4*10*2=80种,与上面查看参数迭代器的长度的结果一致。

8.结论

通过模型的对比,我们在波士顿房价预测项目后面阶段确定使用xgboost库中的XGBRegressor模型。 通过使用GridSearchCV方法做网格搜索,确定XGBRegressor模型使用{'learning_rate': 0.12, 'max_depth': 4, 'n_estimators': 200}的参数组合。 本文是波士顿房价预测项目的第2篇文章,第3篇文章《基于xgboost的波士顿房价预测kaggle实战》将讲解如果提交结果到kaggle网站。 文章链接:https://www.jianshu.com/p/0536182dbb4d

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

图像处理中任意核卷积(matlab中conv2函数)的快速实现。

     卷积其实是图像处理中最基本的操作,我们常见的一些算法比如:均值模糊、高斯模糊、锐化、Sobel、拉普拉斯、prewitt边缘检测等等一些和领域相关的算...

9698
来自专栏Deep Learning 笔记

CNN+MNIST+INPUT_DATA数字识别

TALK IS CHEAP,SHOW ME THE CODE,先从MNIST数据集下载脚本Input_data开始

4423
来自专栏人工智能

深度学习框架之一:Theano

正文共7163个字,1张图,预计阅读时间18分钟。 参考Lasagne官网(http://lasagne.readthedocs.io/en/latest/)t...

2086
来自专栏CDA数据分析师

教你一招 | Python 破解验证码

项目简介:本实验通过一个简单的例子来实现破解验证码,非常适合Python新手练手。从中我们可以学习到 Python 基本知识,PIL 模块的使用,破解验证码的原...

5825
来自专栏Bay的专栏

如何使用 scikit-learn 为机器学习准备文本数据

文本数据需要特殊处理,然后才能开始将其用于预测建模。

2295
来自专栏闪电gogogo的专栏

tensorflow

3501
来自专栏owent

关于差分约束(转载)

(本文假设读者已经有以下知识:最短路径的基本性质、Bellman-Ford算法。) 比如有这样一组不等式:

712
来自专栏大数据挖掘DT机器学习

使用sklearn进行数据挖掘

目录 1 使用sklearn进行数据挖掘   1.1 数据挖掘的步骤   1.2 数据初貌   1.3 关键技术 2 并行处理   2...

3804
来自专栏计算机视觉

Python中plt.plot图像保存有白边,CV2.polyline,fillpoly的参数问题,图像保存颜色发生异常

Python中,如果你遇到了PIL图像保存有白边,CV2.polyline,fillpoly,参数问题,图像保存颜色发生异常这几个问题,这篇文章就能够解决你的疑...

3572
来自专栏人工智能LeadAI

Tensorflow高级API的进阶--利用tf.contrib.learn建立输入函数

在实际的业务中,可能会遇到很大量的特征,这些特征良莠不齐,层次不一,可能有缺失,可能有噪声,可能规模不一致,可能类型不一样,等等问题都需要我们在建模之前,先预处...

36410

扫码关注云+社区

领取腾讯云代金券