XGBoost是大规模并行Boosted Tree的工具,是一款经过优化的分布式梯度提升(Gradient Boosting)库,具有高效,灵活和高可移植性的特点。XGBoost基于梯度提升框架,实现了并行方式的决策树提升(Tree Boosting),从而能够快速准确地解决各种数据科学问题。 在数据科学方面,有大量kaggle选手选用它进行数据挖掘比赛,其中包括两个以上kaggle比赛的夺冠方案。在工业界规模方面,XGBoos的分布式版本有广泛的可移植性,支持在YARN,MPI,Sungrid,Engine等各个平台上面运行,并且保留了单机并行版本的各种优化,使得它可以很好地解决于工业界规模的问题。
XGBoos的出现,让数据民工们告别了传统的机器学习算法们:RF、GBM、SVM、LASSO…之后微软推出了一个新的boosting框架,想要挑战xgboost的江湖地位,即LightGBM(Light Gradient Boosting Machine)。LightGBM同样是一款基于决策树算法的分布式梯度提升框架。具体性能对比各位可以自己测试一下。
xgboost-master/python-package
GPU enabled
版本,如果没有的话,就选择Not GPU-enabled
版本的。 之后在本机进入xgboost-master\python-package
文件夹,将下载好的dll文件放入这个文件夹中。
xgboost-master\python-package
文件夹,执行命令
python setup.py install 这里有个坑需要注意,如果你使用的是python3的版本运行代码,最好使用python3的版本来安装,否则中途可能会出错。找到python3安装的路径,之后还是进入到```xgboost-master\python-package```文件夹,执行命令 "C:\your python3 path\python.exe" setup.py install
File->Settings->Projest:XXX->Projest Interpreter
,点击+,搜索xgboost
,安装,之后再代码中import xgboost
就可以使用了
理论上,和xgboost安装方式是一样的,但是在网上没有找到dll文件,所以只能手动使用VS来编译了。如果你自己找到的话,可以按照之前的方法来安装。
LightGBM-master\windows
LightGBM.sln
文件,解决方案选择DLL
,版本选x64,用快捷键Ctrl+Shift+B
,生成解决方案。之后编译好的dll文件会在windows\x64\DLL
文件夹里。 Release
,生成解决方案。exe文件会出现在windows\x64\Release
文件夹中。如果发现了exe文件,说明安装成功了。
python-package
文件夹,执行命令
python setup.py install
File->Settings->Projest:XXX->Projest Interpreter
,点击+,依次搜索setuptools, wheel, numpy, scipy, scikit-learn, lightgbm
点击安装。之后再代码中import lightgbm
就可以使用了
环境配置过程是一个很头疼的事情,网上参考资料参差不齐,按照一个教程去执行,总是会出问题,把折腾的过程总结起来,供大家参考。如果按照作者的教程安装成功,恭喜你!如果没有安装成功,也是正常的,毕竟折腾环境是一个非常耗时的过程。如果大家在安装过程中出现问题,也欢迎和作者交流。另,机器学习方面的知识也欢迎一起交流。最后祝大家Have fun in ML.