R语言中用于实现逐步回归的函数是step(),函数的基本书写格式为:
step(object, scope, scale= 0,direction=c("both", "backward", "forward...之前已经介绍了基于最小化残差平方和的参数估计法,即最小二乘法,岭回归则是对每个参数添加一个惩罚项,基于最小化残差平方和与系数的惩罚项总和,一般来说,系数的惩罚项总和是系数平方和的倍数,具体如下:
?
...,不同之处在于lasso选择的惩罚方式是:用绝对值的平方和取代系数平方和,其RSS的表达式为:
?
...lasso的目的就是寻找使RSS最小时的参数估计,在R语言中,包lars中的函数lasr()可以满足要求,其函数的基本书写格式为:
lars(x, y,type = c("lasso", "lar",...= 0]
best <- cva$index[which.min(cva$cv)]
coef <- coef.lars(lar.1, mode = "fraction", s = best) #使得CV