KFold交叉验证

KFold模块

from sklearn.model_selection import KFold

为什么要使用交叉验证?交叉验证的介绍

交叉验证是在机器学习建立模型和验证模型参数时常用的办法。 交叉验证,顾名思义,就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集来训练模型,用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集,某次训练集中的某样本在下次可能成为测试集中的样本,即所谓“交叉”。 

 那么什么时候才需要交叉验证呢?交叉验证用在数据不是很充足的时候。它的基本想法就是重复地使用数据:把给定的数据进行切分,将切分的数据集组合为训练集和测试集,在此基础上反复地进行训练、测试以及模型选择。 比如在我日常项目里面,对于普通适中问题,如果数据样本量小于一万条,我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话,我们一般随机的把数据分成三份,一份为训练集(Training Set),一份为验证集(Validation Set),最后一份为测试集(Test Set)。用训练集来训练模型,用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集,最终决定使用哪个模型以及对应参数。

交叉验证的目的是为了能有效地估计模型的泛化能力 (测试误差),从而进行模型选择。 评估模型,然后通过的出来的准确率,我们再进行模型选择。

K折交叉验证原理

这便是交叉验证的过程:

1、首先随机地将数据集切分为 k 个互不相交的大小相同的子集;

2、然后将 k-1 个子集当成训练集训练模型,剩下的 (held out) 一个子集当测试集测试模型;

3、将上一步对可能的 k 种选择重复进行 (每次挑一个不同的子集做测试集);

4、在每个训练集上训练后得到一个模型,用这个模型在相应的测试集上测试,计算并保存模型的评估指标,

5、这样就训练了 k 个模型,每个模型都在相应的测试集上计算测试误差,得到了 k 个测试误差。

对这 k 次的测试误差取平均便得到一个交叉验证误差,并作为当前 k 折交叉验证下模型的性能指标。

在模型选择时,假设模型有许多可以调整的参数可供调参,一组可以调整的参数便确定一个模型,计算其交叉验证误差,最后选择使得交叉验证误差最小的那一组的调整参数。这便是模型选择过程。

简而言之,就是我们通过交叉验证验证不同的模型,或者不同的参数组合,最终我们选择准确度高的作为我们的模型。

k 一般大于等于2,实际操作时一般从3开始取,只有在原始数据集样本数量小的时候才会尝试取2。

k折交叉验证可以有效的避免过拟合以及欠拟合状态的发生,最后得到的结果也比较具有说服性。

k折交叉验证最大的优点:

所有数据都会参与到训练和预测中,有效避免过拟合,充分体现了交叉的思想

交叉验证可能存在 bias 或者 variance。如果我们提高切分的数量 k,variance 会上升但 bias 可能会下降。相反得,如果降低 k,bias 可能会上升但 variance 会下降。bias-variance tradeoff 是一个有趣的问题,我们希望模型的 bias 和 variance 都很低,但有时候做不到,只好权衡利弊,选取他们二者的平衡点。

通常使用10折交叉验证,当然这也取决于训练数据的样本数量。

当我们的数据集小时,我们的数据无法满足模型的复杂度就会过拟合,使用交叉验证我们可以重复地使用数据:把给定的数据进行切分,将切分的数据集组合为训练集和测试集,在此基础上反复地进行训练、测试以及模型选择。相当于我们增加了我们的数据量(防止过拟合)。最后得到我们模型的准确率(性能)。

pipeline的流程案例-代码解释:

from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe_lr = Pipeline([('sc', StandardScaler()),
                    ('pca', PCA(n_components=2)),
                    ('clf', LogisticRegression(random_state=1))
                    ])
pipe_lr.fit(X_train, y_train)
print('Test accuracy: %.3f' % pipe_lr.score(X_test, y_test))  

Pipeline执行流程的分析

pipeline 的中间过程由scikit-learn相适配的转换器(transformer)构成,最后一步是一个estimator。

比如上述的代码,StandardScaler和PCA transformer 构成intermediate steps,LogisticRegression 作为最终的estimator。

当我们执行 pipe_lr.fit(X_train, y_train)时,首先由StandardScaler在训练集上执行 fit和transform方法,transformed后的数据又被传递给Pipeline对象的下一步,也即PCA()。和StandardScaler一样,PCA也是执行fit和transform方法,最终将转换后的数据传递给 LosigsticRegression。

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

# 创建随机森林模型
rf=RandomForestClassifier()

# 加载数据
data=load_iris()

# 定义参数调优的范围,randomforestclassifier__n_estimators __前面定义的是名字,后面定义的内容是参数
parameters={"randomforestclassifier__n_estimators":range(1,11),
            "randomforestclassifier__max_depth":range(1,5)}


# 定义pipeline 流水线
pipeline=Pipeline([
    ('scaler',StandardScaler()),
    ('randomforestclassifier',rf)
])

# 使用GridSearchCV 进行参数调优
clf=GridSearchCV(estimator=pipeline,param_grid=parameters,cv=6)

# 进行数据集分类
clf.fit(data.data,data.target)

# 打印最优分数 给出不同参数情况下的评价结果
print("最优分数:%.4lf"%clf.best_score_)
# 打印最优参数 描述了已取得最佳结果的参数的组合
print("最优参数:%s"%clf.best_params_)

本文分享自微信公众号 - 毛利学Python(sen13717378202),作者:小sen

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 多元线性回归

    在回归分析中,如果有两个或两个以上的自变量,就称为多元回归。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自...

    润森
  • Django项目开发(三)

    MVC全名是Model View Controller,是模型(model)-视图(view)-控制器(controller)的缩写,一种软件设计典范,用一种业...

    润森
  • 原创 | SpringBoot监听rabbitmq和创建交换器,队列

    高级消息队列协议(AMQP)是面向消息的中间件的平台中立的线级协议。Spring AMQP项目将核心Spring概念应用于基于AMQP的消息传递解决方案的开发。...

    润森
  • 交叉验证

    版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。

    week
  • Machine Learning-模型评估与调参 ——嵌套交叉验证

    嵌套交叉验证(nested cross validation)选择算法(外循环通过k折等进行参数优化,内循环使用交叉验证),对特定数据集进行模型选择。Varma...

    Sam Gor
  • Google开源模块化多任务训练库T2T,最近重要论文的模型全在里面

    陈桦 编译自 Google Research Blog 量子位 报道 | 公众号 QbitAI Google Brain团队昨天发布的“一个模型学会一切”论文背...

    量子位
  • Yii2 学习笔记资源引用

    琯琯
  • 硬核灭蚊,全球首款AI蚊子定位装置问世

    Bzigo是一家位于以色列的人工智能公司,他们设计出了一种将AI、激光指示器和摄像头结合在一起的Bzigo激光定位系统,可以自动跟踪房屋内的任何蚊子。

    AiTechYun
  • 腾讯TMQ在线沙龙回顾|移动终端性能测试

    移动终端性能测试 活动时间:2016年12月27日 QQ群视频交流 活动介绍:TMQ在线沙龙第十五期分享 本次分享的主题是移动终端性能测试。 共有122位测试...

    腾讯移动品质中心TMQ
  • vueRouter-编程式的导航 原

    除了使用<router-link>创建a标签来定义导航链接,我们还可以借助router的实例方法,通过编写代码来实现。 router.push(locatio...

    tianyawhl

扫码关注云+社区

领取腾讯云代金券