学界 | 多 GPU 加速学习,这是一份崭新的 XGBoost 库

选自arXiv

机器之心编译

参与:思源、李亚洲

随着数据规模越来越大,很多经典的机器学习算法也越来越需要 GPU 的并行计算能力。以前 XGBoost 也能使用 GPU 与 CUDA,但效率并不是很高。而最近怀卡托大学和英伟达提出了一种新型决策树加速方法,它能支持多 GPU 高效加速 XGBoost。目前这一改进与实现已经加入到了标准 XGBoost 库中,我们可以直接在 GPU 环境下进行编译与使用。

梯度提升是一种可以获得当前最佳性能的监督学习方法,它在分类、回归和排序方面有很好的表现。XGBoost 是一般化梯度提升算法的实现,它在多核和分布式机器上有着高度优化的实现,且能处理稀疏数据。怀卡托大学和英伟达在这一篇论文中描述了标准 XGBoost 库的扩展,它支持多 GPU 的执行,并能显著地减少大规模任务的运行时间。本论文提出的扩展是原版 GPU 加速算法的新进展,它展现出拥有更快速和更高内存效率的策树算法。该算法基于特征分位数(feature quantiles)和梯度提升树其它部分的并行化算法。作者们在 GPU 上实现决策树构建、分位数生成、预测和梯度计算算法,并端到端地加速梯度提升流程。这一过程使得 XGBoost 库可以利用显著提升的内存带宽和大规模并行化 GPU 系统集群。

作者实现的 GPU 加速扩展现在已经可以在标准 XGBoost API 中进行获取,我们只需要编译为 GPU 版本就行了。该 GPU 加速版本目前可用于 C++、Python、R 和 Java,并支持所有 XGBoost 的学习任务,如回归、分类、多类别分类和排序等。这一实现目前支持 Windows 系统与 Linux 系统,且与原版 XGBoost 算法一样支持稀疏输入数据。

XGBoost 项目地址:https://github.com/dmlc/xgboost

论文:XGBoost: Scalable GPU Accelerated Learning

论文地址:https://arxiv.org/abs/1806.11248

我们于本论文中描述了在 XGBoost 库中实现的多 GPU 梯度提升算法。我们的算法允许使用多 GPU 系统实现快速、可扩展的训练,并且支持 XGBoost 的所有特征。我们使用数据压缩技术以最大限度降低 GPU 显存的占用,但仍然允许高效地实现。根据算法性能,我们可以在公有云计算实例上三分钟内处理 1.15 个训练样本。该算法使用端到端的 GPU 并行算法实现,其中预测、梯度计算、特征量化、决策树构建和评估阶段都在本地进行。

2. 描述

监督梯度提升将标注的训练数据集作为输入,并反复定义一系列树来渐进改善目标函数的准确率。图一在更抽象层面上展示了这一过程,我们在一个或者多个 GPU 上实现了这些重要的运算。

图 1:梯度提升流程

3. 评估

我们把最新的实现与 XGBoost 的两个主要对手:LightGBM 与 CatBoost 做了对比,它们都是用多核 CPU 和 GPU 训练实现。评估是在带有 8 块 Tesla V100 GPU 和 64 个 CPU 计算核心的云上完成的。

复现参数与基准请查看:https://github.com/RAMitchell/GBM-Benchmarks

图 2:XGBoost 在 Airline 数据集上的运行时间:1-8 块 V100 GPU。

表 1 :数据集

表 2:评估结果

在 6 种数据集中,我们的算法(xgb-gpu-hist)在其中 3 种数据上是最快的,在两种数据集上是最准确的。例如在最大的数据集(1.15 亿条数据)上,我们的算法要比其它算法快了 3 倍。在任意数据集上,它的运行时间都不会超过 2 分钟。图 2 展示了在 airline 数据集上加上额外 GPU 的运行时间。通过在 8 块 GPU 上作压缩与分布式训练,每块 GPU 只需要 600MB 来存储整个矩阵。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-07-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏iOSDevLog

Scikit-learn

1363
来自专栏大数据文摘

欲取代CNN的Capsule Network究竟是什么来头?它能为AI界带来革命性转折么?

1865
来自专栏新智元

【业界】谷歌又双叒叕开源:TensorFlow 自动文本摘要生成模型

【新智元导读】本次谷歌开源的TensorFlow主要用于文本中的信息提取,并生成摘要,尤其擅长长文本处理,这对自动处理海量信息十分有用。这一模型当下最典型的例子...

6175
来自专栏机器之心

观点 | 三大特征选择策略,有效提升你的机器学习水准

2767
来自专栏新智元

【超越CycleGAN】这个人体动态迁移技术让白痴变舞王(视频)

CycleGAN利用pixel2pixel技术,能自动将某一类图片转换成另外一类图片,过度真实自然,可以说是2017年最受关注的模型之一。CycleGAN论文的...

6294
来自专栏人工智能头条

从零到一学习计算机视觉:朋友圈爆款背后的计算机视觉技术与应用 | 公开课笔记

1865
来自专栏范传康的专栏

基于云计算的 CV 移动交互应用研究:头部姿态估计综述(2)

导语 随便说说,其一,项目的原名是“CV移动交互应用的前后台框架”,为了高大上,起了个“云计算”;其二,这是动手写的第一篇,不过在规划里面第二篇,第一篇项目概述...

54810
来自专栏机器之心

前沿 | 将逆向课程生成用于强化学习:伯克利新研究让智能体掌握全新任务

38010
来自专栏机器之心

学界 | 利用CNN建模脑皮层与图像:新研究提出可实现「读心术」的表征系统

3005
来自专栏ATYUN订阅号

数据科学家需要知道的5个基本统计概念

在执行数据科学(DS)时,统计是一种强大的工具。笼统来看,统计学是利用数学来进行数据的技术分析。基础的可视化(例如,条形图等)可能会为你提供一些高级信息,而通过...

1023

扫码关注云+社区

领取腾讯云代金券