特定训练/测试拆分的线性回归系数“爆炸”
特定训练/测试拆分的线性回归系数“爆炸”
提问于 2020-09-23 19:25:13
我正在使用"House Sales in King County“数据集，比较线性回归、岭和套索的系数。
我首先进行训练/测试拆分，然后标准化数据，然后训练三个模型并比较系数。对于大多数训练/测试拆分随机种子，三个模型的系数在相同的尺度上，我可以比较它们。但是对于一些随机的种子，一些线性回归的系数“爆炸”，从大约10^4-10^5的值跳到大约10^18。
这只发生在线性回归模型中的几个系数上，脊线和套索的系数不受影响。
我不确定为什么会发生这种情况，有什么建议或建议吗？
回答 1
Stack Overflow用户
发布于 2020-09-24 19:06:19
愚蠢的我，“爆炸”是由于多重共线性。我在其中有以下变量：
- sqft_living: living
- sqft_living的平方英尺不包括地下室
的basement
- sqft_below:广场的平方英尺
显然，sqft_living = sqft_above + sqft_below。多重共线性导致这3个变量的系数非常不稳定。这就是为什么添加正则化会有所帮助。
关于多重共线性的危险的很好的警示故事！
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/64026902
复制相关文章
相似问题
腾讯云开发者
