tuneRF与随机森林的插入符号调整
tuneRF与随机森林的插入符号调整
提问于 2020-04-11 09:43:06
我尝试使用randomForest包中包含的tuneRF工具来调优一个随机森林模型，我还在使用插入符号包来调优我的模型。问题是，我正在调整以获得mtry，并且每种方法都会得到不同的结果。问题是，我如何知道哪种方法是最好的方法，以及基于什么？我不清楚我是否应该期待类似或不同的结果。
tuneRF:使用这种方法，我得到的最好速度是3
t <- tuneRF(train[,-12], train[,12],
stepFactor = 0.5,
plot = TRUE,
ntreeTry = 100,
trace = TRUE,
improve = 0.05)caret:通过这种方法，我总是认为最好的方法是所有变量，在这种情况下6
control <- trainControl(method="cv", number=5)
tunegrid <- expand.grid(.mtry=c(2:6))
set.seed(2)
custom <- train(CRTOT_03~., data=train, method="rf", metric="rmse",
tuneGrid=tunegrid, ntree = 100, trControl=control)回答 1
Stack Overflow用户
回答已采纳
发布于 2020-06-03 00:21:36
有一些差异，对于每个参数，tuneRF在整个数据集上拟合一个模型，您可以从每个拟合中获得面向对象的误差。然后，tuneRF采用最低的OOB错误。对于mtry的每个值，您都有一个分数(或RMSE值)，这将随着运行次数的不同而变化。
在插入符号中，您实际上进行了交叉验证，因此在模型中根本没有使用折叠中的测试数据。虽然原则上它应该类似于OOB，但您应该意识到其中的区别。
一个对错误有更好印象的评估可能是运行tuneRF几轮，我们可以在插入符号中使用cv：
library(randomForest)
library(mlbench)
data(BostonHousing)
train <- BostonHousing
tuneRF_res = lapply(1:10,function(i){
tr = tuneRF(train[,-14], train[,14],mtryStart=2,step=0.9,ntreeTry = 100,trace = TRUE,improve=1e-5)
tr = data.frame(tr)
tr$RMSE = sqrt(tr[,2])
tr
})
tuneRF_res = do.call(rbind,tuneRF_res)
control <- trainControl(method="cv", number=10,returnResamp="all")
tunegrid <- expand.grid(.mtry=c(2:7))
caret_res <- train(medv ~., data=train, method="rf", metric="RMSE",
tuneGrid=tunegrid, ntree = 100, trControl=control)
library(ggplot2)
df = rbind(
data.frame(tuneRF_res[,c("mtry","RMSE")],test="tuneRF"),
data.frame(caret_res$resample[,c("mtry","RMSE")],test="caret")
)
df = df[df$mtry!=1,]
ggplot(df,aes(x=mtry,y=RMSE,col=test))+
stat_summary(fun.data=mean_se,geom="errorbar",width=0.2) +
stat_summary(fun=mean,geom="line") + facet_wrap(~test)
你可以看到趋势或多或少是相似的。我的建议是使用tuneRF快速检查要训练的mtry的范围，然后使用插入符号、交叉验证来正确评估。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61151082
复制相关文章
相似问题
腾讯云开发者
