我目前正在研究随机森林分类器。随机森林分类器的参数之一是“准则”,它有两个选项:基尼系数或熵。基尼系数越低越好,熵值越高越好。默认情况下,gini是随机森林分类器的标准。
sklearn提供了一个名为feature_importances_的属性,我们可以在其中获取所提供的属性/特性的值。通过使用,我们可以选择一些特征,并使用"threshold and SelectFromModel“消除一些特征
我的疑问是,这些feature_importances_是根据什么计算的?假设默认标准"Gini“可用。如果我假设feature_importances_是“基尼重要性”,那么低值
正如标题中所提到的,我正在使用sklearn中的SelectFromModel为我的随机森林和梯度提升分类模型选择特征。 #feature selection performed on training dataset to prevent overfitting
sel = SelectFromModel(GradientBoostingClassifier(n_estimators=10, learning_rate=0.25,max_depth=1, max_features = 15, random_state=0).fit(X_train_bin, y_train))
sel.fi
标准是什么,或者使用什么方法来选择部分特性。
对于示例:使用随机森林,我得到了以下特性重要性:
a : 25.4884726
b : 17.2736393
c : 12.3493490
d : 8.9383737
e : 8.1083837
f : 6.8272717
g : 4.1999999
...
...
...
对于最后的预测,您只需要从上面选择几个特性。你如何决定以下几点:
不是的。你选择的特征?
你选择的时候分数重要吗?