用于特征选择的LightGBM
用于特征选择的LightGBM
提问于 2020-07-07 08:56:03
我正在研究一个二进制分类问题，我的训练数据有数百万条记录和2000个变量。我运行lightGBM进行特征选择，并使用从lightGBM中选择的特性运行神经网络(使用Keras)模型进行预测。关于我所遵循的方法，我有几个问题。
- 当使用lightGBM进行特性选择时，我正在进行超参数调优。这是基于我的理解，随着超参数的变化，所选择的功能也会有所不同。我使用'goss‘算法和’增益‘作为特征重要性类型。我看过几篇他们使用lightGBM进行特性选择的文章，但我还没有看到在哪里进行超参数调优，它们只是使用默认设置。这是正确的方法吗？
- 使用lightGBM进行特征选择，并使用神经网络根据从lightGBM?
中选择的特征建立预测模型。
任何帮助都是非常感谢的。谢谢
回答 1
Stack Overflow用户
发布于 2020-10-13 08:45:52
梯度增强算法是识别特征的有效方法，但不是最有效的方法，因为这些方法是启发式的，而且代价很高&也就是说，与其他方法相比，这些方法的运行时间要长得多。
关于特性选择的超参数调优:通常情况下，超参数的结果是相同的特性集，但当然是不同的值。例如，假设model1是A > 3.4 and B < 2.7，其中A和B是特性，模型2是A > 3.2 and B < 2.5。他们是不同的模式，一个可能有一个更好的性能，但在最后，他们使用相同的功能！你的目标不是使用最好的模式，因为你打算在上面建立一个深度学习模式。但是，在使用2000功能的情况下，可能会因分支的深度和构建树的特性的数量而有所不同。
一般来说，在特性选择阶段进行超参数调优并不常见，而是在建模阶段。尤其是在深度学习模式下，一个人的目标是尽可能包容。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62771535
复制相关文章
相似问题
腾讯云开发者
