XGBoost模型作为机器学习中的一大“杀器”,被广泛应用于数据科学竞赛和工业领域,XGBoost官方也提供了可运行于各种平台和环境的对应代码,如适用于Spark分布式训练的XGBoost on Spark。然而,在XGBoost on Spark的官方实现中,却存在一个因XGBoost缺失值和Spark稀疏表示机制而带来的不稳定问题。
选自Nicolo Blog 作者:Nicolò Valigi 机器之心编译 参与:蒋思源 几个月前,TensorFlow 发布了梯度提升方法的调用接口,即 TensorFlow 提升树(TFBT)。不幸的是,描述该接口的论文并没有展示任何测试效果和基准的对比结果,所以 Nicolò Valigi 希望能对 TFBT 和 XGBoost 做一个简要的对比,并分析它们之间的性能差异。机器之心介绍了该测试与 TFBT 的原论文,且 TF 1.4 及以上的版本也可测试该提升树模型。 本文将先介绍 Nicolò Va
导语:高中的时候,班主任让我们每学完一个章节,整理出这个章节的关键词和一份问题列表。现在回想起来,其实是很有用的,这让我们可以从另外一个视角来审视所学习的内容,而不是单纯的填鸭式的记忆;最近在复习机器学习相关内容,也从问题的视角来回顾机器学习知识体系,对于机器学习方向同学可以作为考察,看看里面的内容是否都能回答上来;而对于想学习机器学习的同学来说,应该可以作为一个方向,把这些内容一个个解决了,在各大厂算法岗面试中应该可以横着走了啦啦啦!
上一篇文章中,我们一起了解了用“移动平均”、“线性回归”预测股价的方法,今天这篇文章中,我们继续讲解XGBoost、LSTM的方法预测股价。
XGBoost和Random-Forest(RF,随机森林)都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性,通过组合各个决策树的输出来进行预测(分类或回归)。而集成学习按照个体学习器的生成方式,可以大致分为两类:一类是个体学习器之间存在强依赖关系,必须串行生成序列的方法;以及个体学习器之间不存在强依赖关系,可同时生成的并行化方法。前者的代表就是XGBoost,后者的代表是Random-Forest。
今天我们将会用XGBoost提升树对人类发展指数官方数据集进行回归预测。XGBoost是一种可以使用提升树进行多核并行训练的框架。今天我们将用XGBoost提升树对人类发展指数官方数据集进行回归预测。谁说监督学习全都是针对分类问题的?
【导读】XGBoost、LightGBM 和 Catboost 是三个基于 GBDT(Gradient Boosting Decision Tree)代表性的算法实现,今天,我们将在三轮 Battle 中,根据训练和预测的时间、预测得分和可解释性等评测指标,让三个算法一决高下!
我们已经对XGBoost进行了验证,但在本文中,我们将更详细地研究XGBoost在股票价格预测问题中的性能。这篇文章和上篇文章的主要区别如下:
想提高机器学习实验的效率,把更多精力放在解决业务问题而不是写代码上?低代码平台或许是个不错的选择。
癫痫是一种中枢神经系统疾病(CNS),在美国影响约1.2%(340万人),全球影响超过6500万。此外大约每26人中就有一人会在其一生中的某个时刻患上癫痫症。癫痫发作的种类很多,每种都有不同的症状,如失去意识,抽搐运动或混乱。有些癫痫发作在视觉上难以察觉; 患者通常会表现出一些症状,例如在短时间内没有反应或茫然地凝视。癫痫发作可能意外发生,并可能导致诸如摔倒,咬舌头或失去对一个人的尿液或粪便的控制等伤害。因此这些是为什么癫痫发作检测对于怀疑易患癫痫发作的医疗监督患者至关重要的一些原因。
对于XGBoost算法原理看陈天奇的PPT和一份算法实战指导文档就够了(文末附网盘链接)。
在本文的前两部分中,我获取了Fitbit的睡眠数据并对其进行预处理,将这些数据分为训练集、验证集和测试集,除此之外,我还训练了三种不同的机器学习模型并比较了它们的性能。
纯机器学习(ML)模型的训练与建立端到端的数据科学解决方案与实际企业需要之间存在巨大差异。 本文总结了我们团队与来自不同行业的数十家企业客户(包括制造业,金融服务业,零售业,娱乐业和医疗保健业等)合作两年后所总结的经验教训。 企业面临的最常见的ML问题是什么?除了训练ML模型之外还有什么? 如何解决数据收集问题? 如何扩展到大型数据集? 为什么特征工程如此重要? 如何从生产中的模型转变为功能完备的系统? 我们是否需要数据科学平台?
选自Github 作者:Max Brggen 机器之心编译 参与:蒋思源 近来,部分机器学习从业者对深度学习不能训练小数据集这一观点表示怀疑,他们普遍认为如果深度学习经过优良的调参,那么就不会出现过拟合和过训练情况,也就能较好地从小数据集学习不错的模型。在本文中,Max Brggen 在多个小数据集对神经网络和 XGBoost 进行了对比,并表明 ANN 在小数据集可以得到和 XGBoost 相媲美的结果。 模型源代码:https://gist.github.com/maxberggren/b3ae92b2
最近由于一直在用Spark搞数据挖掘,花了些时间系统学习了一下Spark的MLlib机器学习库,它和sklearn有八九分相似,也是Estimator,Transformer,Pipeline那一套,各种fit,transform接口。sklearn有多好学,MLlib就有多好学,甚至MLlib还要更加简单一些,因为MLlib库中支持的功能相对更少一些,并且MLlib基于DataFrame数据比sklearn基于numpy array会更加直观一些。
互联网上有很多关于梯度提升的很好的解释(我们在参考资料中分享了一些选择的链接),但是我们注意到很少有人提起自定义损失函数的信息:为什么要自定义损失函数,何时需要自定义损失函数,以及如何自定义损失函数。
领取专属 10元无门槛券
手把手带您无忧上云