专栏首页拓端tecdat如何用R语言在机器学习中建立集成模型?

如何用R语言在机器学习中建立集成模型?

原文链接:http://tecdat.cn/?p=6608

介绍

大多数时候,我能够破解特征工程部分,但可能没有使用多个模型的集合。

在本文中,我将向您介绍集成建模的基础知识。另外,为了向您提供有关集合建模的实践经验,我们将使用R对hackathon问题进行集成。

1.什么是集成?

通常,集成是一种组合两种或多种类似或不同类型算法的技术,称为基础学习者。这样做是为了建立一个更加健壮的系统,其中包含了所有基础学习者的预测。可以理解为多个交易者之间的会议室会议,以决定股票的价格是否会上涨。

由于他们都对股票市场有不同的理解,因此从问题陈述到期望的结果有不同的映射功能。因此,他们应该根据自己对市场的理解对股票价格做出各种预测。

2.集合的类型

在进一步详细介绍之前,您应该了解的一些基本概念是:

  • 平均:它被定义为 在回归问题的情况下或在预测分类问题的概率时从模型中获取预测的平均值。
  • 多数投票:它被 定义为 在预测分类问题的结果的同时,从多个模型预测中以最大投票/推荐进行预测。
  • 加权平均值:在此,不同的权重应用于来自多个模型的预测,然后取平均值 。

这些是一些主要使用的技术:

  1. Bagging:Bagging也称为bootstrap聚合。

增强的一些例子是XGBoost,GBM,ADABOOST等。

  1. 堆叠:在堆叠多层机器时,学习模型彼此叠加,每个模型将其预测传递给上面层中的模型,顶层模型根据模型下面的模型输出做出决策。

3.集合的优点和缺点

3.1优点

  • 集成是一种经过验证的方法,可以提高模型的准确性,适用于大多数情况。
  • 集成使模型更加稳健和稳定,从而确保在大多数情况下测试用例具有良好的性能。
  • 您可以使用集成来捕获数据中的线性和简单以及非线性复杂关系。这可以通过使用两个不同的模型并形成两个集合来完成。

3.2缺点

  • 集成减少了模型的可解释性,并且很难在最后绘制任何关键的业务见解。
  • 这非常耗时,因此可能不是实时应用程序的最佳选择。

4.在R中实施集合的实用指南



#让我们看一下数据集数据的结构
'data.frame':614 obs。13个变量:


$ ApplicantIncome:int 5849 4583 3000 2583 6000 5417 2333 3036 4006 12841 ...
$ CoapplicantIncome:num 0 1508 0 2358 0 ...
$ LoanAmount:int NA 128 66 120 141 267 95 158 168 349 ...
$ Loan_Amount_Term:int 360 360 360 360 360 360 360 360 360 360 ...
$ Credit_History:int 1 1 1 1 1 1 1 0 1 1 ...




#使用中位数输入缺失值
preProcValues < -  preProcess(data,method = c(“medianImpute”,“center”,“scale”))


#Spliting训练根据结果分为两部分:75%和25%
index < -  createDataPartition(data_processed $ Loan_Status,p = 0.75,list = FALSE)
trainSet < -  data_processed [index,]
testSet < -  data_processed [-index,]

我将数据分成两部分,我将用它来模拟训练和测试操作。我们现在定义训练控件以及预测变量和结果变量:


#定义多个模型
fitControl < -  trainControl(
  method =“cv”, savePredictions ='final',
classProbs = T)


#Defining预测器和结果

现在让我们开始训练随机森林并在我们创建的测试集上测试其准确性:




#检查随机森林模型的准确性
混淆矩阵和统计
参考
预测N Y.
N 28 20
Y 9 96
准确度:0.8105         

我们使用随机森林模型获得了0.81的准确度。让我们看看KNN的表现:


#训练knn模型
#Predicting使用knn模型
testSet $ pred_knn <-predict(object = model_knn,testSet [,predictors])
#检查随机森林模型的准确性
混淆矩阵和统计

预测N Y.
N 29 19
Y 2 103
准确度:0.8627        

我们能够通过单独的KNN模型获得0.86的准确度。在我们继续创建这三者的集合之前,让我们看看Logistic回归的表现。


#Training Logistic回归模型
#Predicting使用knn模型
testSet $ pred_lr <-predict(object = model_lr,testSet [,predictors])
#检查随机森林模型的准确性
混淆矩阵和统计
参考
预测N Y.
N 29 19
Y 2 103
准确度:0.8627        

逻辑回归也给出了0.86的准确度。

现在,让我们尝试用这些模型形成集合的不同方法,如我们所讨论的:

  • 平均:在此,我们将平均三个模型的预测。由于预测是“Y”或“N”,因此平均值对于此二进制分类没有多大意义。但是,我们可以对观察概率的平均值进行平均处理。
#Predicting概率
testSet $ pred_rf_prob <-predict(object = model_rf,testSet [,predictors],type ='prob')
testSet $ pred_knn_prob <-predict(object = model_knn,testSet [,predictors],type ='prob')
testSet $ pred_lr_prob <-predict(object = model_lr,testSet [,predictors],type ='prob')


#Spits到0.5的二进制类 多数表决:在多数表决中,我们将为大多数模型预测的观察指定预测。由于我们有三个模型用于二进制分类任务,因此无法实现平局。#多数投票 加权平均值:我们可以采用加权平均值,而不是采用简单平均值。通常,对于更准确的模型,预测的权重很高。让我们将0.5分配给logistic回归,将0.25分配给KNN和随机森林。
#Taking加权平均预测
#Spits到0.5的二进制类 在继续讨论之前,我想回顾一下我们之前讨论过的关于个体模型精度和模型间预测相关性的两个重要标准,这些标准必须得到满足。在上面的集合中,我已经跳过检查三个模型的预测之间的相关性。我随机选择了这三个模型来演示这些概念。如果预测高度相关,那么使用这三个预测可能不会比单个模型提供更好的结果。但你明白了。对?
  • 到目前为止,我们在顶层使用了简单的公式。
  • 相反,我们可以使用另一种机器学习模型,这实际上就是堆叠。
  • 我们可以使用线性回归来制作线性公式,用于在回归问题中进行预测,以便在分类问题的情况下将底层模型预测映射到结果或逻辑回归。

在同一个例子中,让我们尝试将逻辑回归和GBM应用为顶层模型。请记住,我们将采取以下步骤:

  1. 在训练数据上训练各个基础层模型。
  2. 预测使用每个基础层模型来训练数据和测试数据。
  3. 现在,再次对顶层模型进行训练,对底层模型进行训练数据的预测。
  4. 最后,使用顶层模型预测底层模型的预测,这些模型是为测试数据而做出的。

在步骤2中需要注意的一件非常重要的事情是,您应始终对训练数据进行包预测,否则基础层模型的重要性将仅取决于基础层模型可以如何调用训练数据。

  • 步骤1:在训练数据上训练各个基础层模型
#Defining 
fitControl < -  trainControl(
method =“cv”, savePredictions ='final',#保存最佳参数组合的折叠预测
classProbs = T#保存折叠预测的类概率
)
#
  • 步骤2:使用每个基础层模型预测训练数据和测试数据
步骤3:现在再次训练顶层模型对底层模型的预测已经对训练数据进行了预测

首先,让我们从GBM模型开始作为顶层模型。

 
#Predictors用于顶层模型
predictors_top <-c( 'OOF_pred_rf', 'OOF_pred_knn', 'OOF_pred_lr')
#GBM作为顶层模型

同样,我们也可以使用逻辑回归创建一个集合作为顶层模型。

#Logistic回归作为顶层模型
model_glm < -
( [,predictors_top],  trControl = fitControl,tuneLength = 3)
  • 步骤4:最后,使用顶层模型预测已经为测试数据而做出的底层模型的预测
#predict使用GBM顶层模型
测试集$ gbm_stacked <-predict(model_gbm,测试集[,predictors_top])
#predict使用logictic回归顶层模型
测试集$ glm_stacked <-predict(model_glm,测试集[,predictors_top])

请注意, 选择模型非常重要,以便从整体中获得最佳效果。

本文分享自微信公众号 - 拓端数据部落(tecdat),作者:TRL 拓端研究室

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • WINBUGS对随机波动率模型进行贝叶斯估计与比较

    现有的有关财务模型的大多数文献都假设资产的波动性是恒定的。然而,这种假设忽略了波动聚类,高峰,厚尾,波动性和均值回复的实际市场回报的特点,不能用恒定的波动模型。...

    拓端
  • R语言多项式样条回归、非线性回归数据分析

    本文将使用三种方法使模型适合曲线数据:1)多项式回归;2)用多项式样条进行B样条回归;3) 进行非线性回归。在此示例中,这三个中的每一个都将找到基本相同的最佳拟...

    拓端
  • R语言ROC曲线下的面积-评估逻辑回归中的歧视

    对于模型协变量的给定值,我们可以获得预测的概率。如果观察到的风险与预测的风险(概率)相匹配,则称该模型已被很好地校准。也就是说,如果我们要分配一组值的大量观察结...

    拓端
  • 【机器学习】机器到底在学习什么?

    机器识别手写数字的问题早已经解决,MNIST数据集http://yann.lecun.com/exdb/mnist/如今机器识别的准确率已经超过99%。事实上,...

    量化投资与机器学习微信公众号
  • 数学建模如何诱骗了华尔街

    现实世界——从种族隔离制度到金融市场——一直在警示我们:那些试图通过科技来掌握复杂人类行为的做法会使我们误入歧途。 无论是在科学领域,还是在日常生活中,我们都...

    钱塘数据
  • WINBUGS对随机波动率模型进行贝叶斯估计与比较

    现有的有关财务模型的大多数文献都假设资产的波动性是恒定的。然而,这种假设忽略了波动聚类,高峰,厚尾,波动性和均值回复的实际市场回报的特点,不能用恒定的波动模型。...

    拓端
  • 美团搜索广告排序推荐,从机器学习到深度学习的模型实践

    机器学习AI算法工程
  • 黑客视角:避免神经网络训练失败,需要注意什么?

    确保网络正常运行的关键因素之一是网络的配置。正如机器学习大师 Jason Brownle 所说,「深度学习神经网络已经变得易于定义和拟合,但仍然难以配置。」

    AI研习社
  • 细思极恐!只需54块钱,你也能让AI伪造一系列联合国发言

    最近,有研究人员真就搞出了一个。手握这个生成器,你就可以无限生成逼真的联合国演讲风格的内容。

    量子位
  • 判别模型 和 生成模型

    【摘要】 - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型:有限样本==》判别函数 = 预测模型==》预测 【...

    机器学习AI算法工程

扫码关注云+社区

领取腾讯云代金券