NVIDIA推出RAPIDS开源GPU加速平台,瞄准数据分析和机器学习市场

雷锋网消息,10月23日,NVIDIA在北京召开沟通会,由亚太区解决方案架构主管赵立威详解了RAPIDS开源GPU数据加速平台。

该平台发布于2018年10月10日的GTC Europe大会上,是一款针对数据科学和机器学习的GPU加速平台,为数据科学家提供标准化的流水线式工具,数据处理速度较仅用CPU提升50倍。

沟通会后,雷锋网与NVIDIA中国高级解决方案架构师何萍,以及NVIDIA亚太区解决方案高级总监赵立威等高管就RAPIDS平台和GPU加速数据科学和机器学习进行了进一步的交流。

据分析师估计,面向数据科学和机器学习的服务器市场每年价值约为200亿美元,加上科学分析和深度学习市场,高性能计算市场总价值大约为360亿美元,且该市场还在持续快速发展,几乎每一家企业都在用数据驱动来增强自己的核心竞争力。

“数据分析和机器学习是高性能计算市场中最大的细分市场,不过目前尚未实现加速,”NVIDIA创始人兼首席执行官黄仁勋在发布RAPIDS时提到,“全球最大的行业均在海量服务器上运行机器学习算法,目的在于了解所在市场和环境中的复杂模式,同时迅速、精准地做出将直接影响其基础的预测。”

一个最典型的大数据分析流程大致分为数据准备、数据合并、数据降维三个步骤,很多数据特征需要靠行业或专业领域的专家去理解,并事先把它们提取出来。因此在Machine Learning中需要训练过程,这是一个不断的循环过程,在不断优化、不断调整参数的过程中,提高训练过程的精度,从而得到更准确的预测结果。

为了支持这样一个大数据分析流程,需要用到DASK、PYTHON、PANDAS、SKLEARN、NUMPY、Apache Arrow等组件。RAPIDS构建于Apache Arrow、PANDAS和SKLEARN等组件之上,通过CUDF数据过滤、CUML机器学习、CUGRAPH数据图像化来加速处理数据,为最流行的Python数据科学工具链带来了GPU提速。

这三套软件工具都是基于CUDA开发,可以把它们看成是CUDA的一部分。其中CUDF与Pandas的功能非常类似,Pandas的所有功能都可以在CUDF里找到对应的API;CUML则对应SKLEARN,无论是分类、聚类、回归等算法都可以在CUML里面找到。而CUGRAPH目前尚未正式推出,预计会在明年正式集成到RAPIDS中。

赵立威向雷锋网透露,RAPIDS非常易与此前的计算框架整合,虽然不能说是“无代码”过渡,但代价非常小,且数据处理效率可提升50倍以上。同时为了将更多的机器学习库和功能引入RAPIDS,NVIDIA广泛地与开源生态系统贡献者展开合作,其中包括Anaconda、BlazingDB、Databricks,以及迅速增长的Python数据科学库pandas等等。

此外,黄仁勋在GTC Europe大会上展示RAPIDS时用的DGX-2,使用了16块Tesla V100计算卡,每块卡配有32GB HBM2显存,带宽高达900GB/s,两块计算卡之间通过300GB/s的NV Switch总线互联,使整台服务器拥有了un-block无阻滞通讯能力,总算力高达2PFLOPs(半精度浮点),数据处理能力相当于5台DGX-1。

除了DGX-2和DGX-1,NVIDIA还有一系列合作伙伴提供的很多的硬件产品,如一些ODM、OEM厂商基于HGX-1和HGX-2两种架构标准生产的许多不同类型服务器,甚至包括上一代Pascal架构的GPU的服务器,都可以都可以很好的支撑RAPIDS的运行和使用。

赵立威笑称,由于此前数据处理的速度太慢,数据科学家往往有大量的空闲等待时间,可以悠闲的喝咖啡。应用RAPIDS平台之后,等待时间变短,需要数据科学家创造性参与的部分相应变多了,数据科学家这一工作可能不再是美差。

当然,数据分析和机器学习领域的持续走热,看中这片市场的也不只NVIDIA一家。上周赛灵思刚刚推出基于UltraScale+ FPGA打造的数据中心和AI加速卡Alveo U200和U250,号称实时推断吞吐量比高端CPU高出20倍。

赛灵思数据中心副总裁Manish Muthal表示,Alveo加速器卡的推出进一步推进了赛灵思向平台公司的转型,使不断增长的应用合作伙伴生态系统以比以往更快的速度加速创新,并将与应用生态系统展开合作,共同向客户推出采用Alveo的各种可产品化的解决方案。

与NVIDIA推出的RAPIDS平台相比,二者通过一硬一软的形式覆盖了几乎相同的范围,对此赵立威对雷锋网表示,数据分析和机器学习市场尚未探明其特定边界,领域内应用场景非常多样化,无论是基于FPGA还是ASIC进行异构加速都是可行的,完全取决于针对不同的场景所产生的不同需求。

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181024A22P6L00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券