最优子集回归算法详解

原创

ruochen

发布于 2022-01-05 11:46:58

4K0

发布于 2022-01-05 11:46:58

最优子集回归是多元线性回归方程的自变量选择的一类方法。从全部自变量所有可能的自变量组合的子集回归方程中挑选最优者。如m个自变量会拟合2m-1个子集回归方程,然后用回归方程的统计量作准则(如交叉验证误差、Cp、BIC、调整R2等指标)从中挑选。

采用的R包是leaps，函数是regsubsets()。

library(glmnet)

load(file="Lineartest")

data <- Lineartest

library(corrplot)

data.cor <- cor(data)

corrplot(data.cor, method = "ellipse") #是否提示多重共线性问题

运用cor()函数得到数据的相关系数矩阵，将相关系数矩阵作图，可以直观看出共线性：每个格子中椭圆面积越小，表示相关性越强。

library(leaps)

sub.fit <- regsubsets(BSAAM ~ ., data = data)# 执行最优子集回归

best.summary <- summary(sub.fit)

按照模型评价标准找到评价指标

which.min(best.summary$cp)#马洛斯Cp值

which.max(best.summary$adjr2) #调整R2

which.min(best.summary$bic) #贝叶斯信息准则

执行最优子集回归后返回的是自变量组合的子集回归方程，以及每个回归方程对应的评价指标,采用which函数选取最优的回归方程。其中调整R2越大越好，马洛斯Cp越小越好。

将返回结果的调整R2作图，可以看到在模型变量个数为3的时候，调整R2最大。

plot(best.summary$adjr2, type = "l",xlab = "numbers of Features",

     ylab = "adjr2",main = "adjr2 by Feature Inclusion")

究竟是哪些变量是入选的最优变量呢？可做图观察，图横坐标为自变量，纵坐标是调整R2，且最上面的变量搭建的回归方程的调整R2是最大的，同时利用coef()可以查看最优回归方程的回归系数，结合来看变量APSLAKE、OPRC和OPSLAKE是筛选出来的变量。

plot(sub.fit, scale = "adjr2",main = "Best Subset Features")

coef(sub.fit, 3)

(Intercept)     APSLAKE      OPRC      OPSLAKE

15424.597    1712.481    1797.465    2389.838

将筛选的变量建模并进行共线性检查，方差膨胀系数大于5说明有严重的共线性。对这两个强相关的变量，我们分别做模型，挑选调整R2大的模型。最终我们保留f3模型。

f2 <- lm(BSAAM ~ APSLAKE + OPRC + OPSLAKE, data = data)

vif(f2)

APSLAKE     OPRC     OPSLAKE

1.011499  6.452569   6.444748

####这两个强相关的变量分别做模型，挑选R2 大的模型

f3 <- lm(BSAAM ~ APSLAKE + OPSLAKE, data = data)#调整R2:0.9002

f4 <- lm(BSAAM ~ APSLAKE + OPRC, data = data)#调整R2:0.862

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

作者已关闭评论

0 条评论

热度