我一直在阅读xgboost中的特性重要性的计算方法,与在随机森林中的计算方法相同。然而,学习速率降低了下游树木的影响。为了得出特征重要性的目的,是否考虑了学习率?
发布于 2023-01-24 08:54:10
是的,在推导特征重要性时考虑了学习速度。Xgboost中的学习速率基本上是在向模型中添加新树时使用的加权因子。这意味着改变学习速度会导致模型的总体结构不同。
正如您所提到的,Xgboost中的特性重要性与随机林中的计算相似。这是相对简单的,因为功能只是按它们在树中的出现排列。更经常用于决策的特性具有更高的特性重要性。
现在让我们回到学习速度。模型的整体结构取决于学习速度。这意味着改变学习速度将导致使用特性的频率发生变化。因此,学习速率的变化会导致特征重要性的变化。
这是你可以测试的东西。创建一个Xgboost模型,打印特性重要性,更改学习速度并再次打印。你会看到它是如何变化的。
https://datascience.stackexchange.com/questions/117837
复制相似问题