我目前正在研究随机森林分类器。随机森林分类器的参数之一是“准则”,它有两个选项:基尼系数或熵。基尼系数越低越好,熵值越高越好。默认情况下,gini是随机森林分类器的标准。
sklearn提供了一个名为feature_importances_的属性,我们可以在其中获取所提供的属性/特性的值。通过使用,我们可以选择一些特征,并使用"threshold and SelectFromModel“消除一些特征
我的疑问是,这些feature_importances_是根据什么计算的?假设默认标准"Gini“可用。如果我假设feature_importances_是“基尼重要性”,那么低值
我目前正在做一个使用RandomForestRegressor的用例。为了分别获得基于一个列的训练和测试数据,假设是Home,数据帧被分成字典。几乎完成了建模,但坚持获取字典中每个键的特征重要性(键的数量= 21)。请看下面的代码: hp = pd.get_dummies(hp)
hp = {i: g for i, g in hp.set_index(["Home"]).groupby(level = [0])}
feature = {}; feature_train = {}; feature_test = {}
target = {}; target_train = {
我遇到了这个问题:
一个包含100个特征的XGBoost模型(.pickle文件,在V0.7.post3下构造),但我在模型(model.feature_importances_)中发现55个特征的重要性为0(如下面的矩阵);
另外,当我将泡菜文件转换为PMML (启动在线)时,PMML文件中只有45个特性(那些显然带有importance>0 );
所以,我的问题是:
--为什么重要性等于0的特性最终出现在XGB模型中?如果他们没有真正参与/参与分裂,为什么他们会留在这个模型中呢?
## Feature importance maxtrix from model for demo
ar
我知道下面的特征选择方法
( a)基于树的模型(如Random Forest和Xgboost、GradientBoost等)中可用的特征重要性方法。
( b) statsmodel.logistic regression,它在其摘要输出中为我们提供了包含是否variables are significant or not (P-value)的结果
( c) SelectKbest,它使用ANOVA、Chi-square等计算input variable对target attribute的影响。
但是不幸的是,对于b和c方法,它没有考虑特性交互。我说的对吗?它通过考虑目标变量的每一列来工作。
然
我正在用sklearn.ensemble.GradientBoostingRegressor训练一个模型。
我的数据集包括不同的变量,包括数值变量和类别变量。,因为sklearn不支持分类变量,所以在输入Regressor之前,我使用DictVectorizer来转换这些分类特性。下面是我的一段代码:
# process numeric and categorical variables separately
lsNumericColumns = []
lsCategoricalColumns = []
for col in dfTrainingSet.columns:
if (dfT
我有以下问题。我用Keras建立了一个神经网络。这是我的部件 of my dataFrame。我的DataFrame看起来像:
Id MainCl Class Other Options...
1016178069 0 30 1
1016178012 0 25 0
我的结果向量给出了结果被分类的概率。示例:
Prob_isClass_A Prob_isClass_b
0.756686 0.243314
我试图确定多波段图像分类中最有用的波段(即用于像素分类的红、绿、蓝、近红外等),并编写了以下函数来构建决策树。它采用带熵的sci-工具包学习的决策树分类器作为分裂准则。最后,它使用feature_importances_函数计算每个波段的重要性:
def make_tree(X_train, y_train):
"""prints a decision tree and an array of
the helpfulness of each band"""
dtc = DecisionTreeClassifier(crit
标准是什么,或者使用什么方法来选择部分特性。
对于示例:使用随机森林,我得到了以下特性重要性:
a : 25.4884726
b : 17.2736393
c : 12.3493490
d : 8.9383737
e : 8.1083837
f : 6.8272717
g : 4.1999999
...
...
...
对于最后的预测,您只需要从上面选择几个特性。你如何决定以下几点:
不是的。你选择的特征?
你选择的时候分数重要吗?