问确定机器学习模型的有用特性

EN

我建议看一下这一页，了解更多的想法：

特征选择

话虽如此，但有几个想法很快就浮现出来了，就是：

1. 使用基于树的方法(如随机森林)并查看您的特性重要性。Scikit Learn有一个方便的类来做这件事--参见上面的链接。
2. 使用某种正则化/惩罚，如L1或L2正则化。这将迫使无用特性的参数接近于零。
3. 递归删除变量，查看输出结果，并进行交叉验证。同样，sklearn有一种方法来解决这个问题。

一般来说，这些方法将是“昂贵的”，因为您正在安装多个模型，以使您的地方，您需要去。

您可以逐步(向后或向前)删除或添加功能子集。对于功能选择过程，您需要一个度量标准来度量哪些特性应该包含在可用数据的简化数据集中。一个重要的熵测度是互信息。

互信息是两个(可能是多维的)随机变量X和Y之间的度量，它量化了一个随机变量通过另一个随机变量获得的信息量。相互信息是由

I(X;Y)=∫∫p(x，y)logp(x，y)∫∫(X)p(Y)dxdy，

其中p(x，y)是X和Y的联合概率密度函数，其中p(x)和p(y)是边缘密度函数。相互信息决定了联合分布p(x，y)与因式边际分布的乘积有多相似。如果X和Y是完全无关的(因此是独立的)，那么p(x，y)就等于p(x)p(y)，这个积分就是零。

如果我们假设X是一个特征，Y是目标变量，那么我们就可以度量它们的互信息。我们希望保留它们与目标变量之间具有最高互信息的特性。

除了选择适当特征的逐步算法外，还有一些贪婪的方法试图使联合分布与目标变量之间的互信息最大化。

下面你可以找到一些指示性的链接

基于互信息的特征选择方法综述

基于联合互信息最大化的特征选择

在预测y_i时，有很多方法可以估计一个特性有多好，其中一个好的方法就是使用您想要检查它的重要性的特性来构建一个合适的ML模型。在这种情况下，我们将构建一个逻辑回归模型，只使用您想要检查它是否重要的特性。

请记住，如果一个分类特性将其编码为基于您所使用的模型的向量形式，例如(一次热编码)对线性模型最有效，而响应编码对于基于树的模型非常有效。