【最新】IBM 深度学习框架PowerAI,将训练时间从几周变成几小时

【新智元导读】IBM Power Systems 上的深度学习框架 PowerAI 日前发布了新版本,包括“AI Vision”等四个主要组成部分,它支持新的 NVIDIA Volta,将 AI 训练所需时间,从几周变为了几个小时。

新的 PowerAI 软件由四个主要部分组成

IBM 日前宣布在 Power Systems 上发布深度学习软件PowerAI 的新版本。这一 GPU 驱动的 AI 软件通过简化对开发经验的需求和对数据准备的要求,来解决数据科学家和开发人员面临的主要挑战,同时将 AI 系统训练所需的时间,从几周变为了几个小时。

新的 PowerAI 软件由四个主要部分组成:

  • “AI Vision”是为深度学习知识有限的开发人员设计的一种工具,用于训练和部署计算机视觉的深度学习模型。
  • 集成了 ApacheSpark 的 IBM Spectrum Conductor 集群虚拟化软件集成,轻松转换非结构化和结构化数据集,为其用于深度学习训练做准备。
  • TensorFlow(谷歌构建的开源机器学习框架)的分布式计算版本,可以在GPU 加速服务器的虚拟化集群上运行,IBM 表示这将学习训练时间从几周削减到几个小时。
  • “DL Insight” 是一种新工具,可帮助数据科学家通过监控深度学习训练过程并自动调整参数以达到最佳性能,从而提高深度学习模型的准确性。

“我们增加了一套工具来使数据科学家的工作变得更轻松,我们增加了一些功能来加快训练时间。”IBM 主管 HPC、AI 和 Analytic 的副总裁 Sumit Gupta 说,“PowerAI使数据科学家和开发人员更容易地使用 AI 来构建应用程序,而不必编写复杂的代码,担心集群管理之类的问题。”

Power Systems 与 x86 形成鲜明对比

IBM Cognitive Systems 高级副总裁 BobPicciano 说:“PowerAI的目标是尽可能简单、直观和有效地让数据科学家和新兴的认知技术开发者社群进入AI 的世界。PowerAI 减少了等待的挫折感并提高了生产力。Power Systems 专为数据和下一代计算而设计,与过去为客户/服务器可编程时代设计的 x86 服务器形成鲜明对比。”

电子内容管理公司Elinar Oy Ltd 的 CTO Ari Juntunen 表示:“IBM PowerAI 在带有GPU 加速器的Power servers 上提供了至少两倍于我们 x86 平台的性能。无论是增加内存还是设置新服务器,一切都更快捷简便了。”

IBM 还引用了韩国电力研究院(KEPRI)的例子,该机构希望使用无人机来检查高压电力线路。

“我们需要一个深度学习和高速存储平台,可以处理和存储我们从无人机上获得的大量图像/视频,”KEPRI 的陈武霖说,“(PowerAI)满足了这些需求,使我们能够改进系统,同时为我们降低成本。”

IBM 的 Gupta 表示,KEPRI 的需求是典型的计算机视觉工作负载的简化,PowerAI 和 AIVision 正是为此设计的。

他说:“耗时的部分原因是在 100M图像上使用像 TensorFlow 这样的框架。当您有100M的图像需要转换并准备输入到 TensorFlow 中时,您就会遇到挑战。我们使用SpectrumConductor 自动化数据准备和 ETL,它会自动启动整个 Spark 工作群集,每个Spark 一次转换500万个图像。从用户的角度来看,他们甚至不知道...它在集群上发起了大量的工作,他们只知道数据正在被转换。”

PowerAI 支持新的 NVIDIA Volta

PowerAI 针对用于 HPC 的IBM Power Systems S822LC 进行了优化,用于数据密集型的工作负载,如深度学习、机器学习和AI。 NVIDIA NVLink 高速互连可实现IBMPOWER 处理器和NVIDIA GPU 的紧密集成。POWER 处理器和NVIDIA GPU 之间的“超高速公路”有助于在两种类型的处理器之间实现极快速的数据移动。这种独特的CPU 到GPU 耦合在AI 训练中能够提供更高的性能,这是开发人员生产力的关键指标。它能够以更快的速度实现创新,因此开发人员可以开发和尝试新的模型、参数设置和数据集。

PowerAI 将支持刚刚发布的 NVIDIAVolta 架构。Volta具有下一代NVLink ,配有两个关键性的增强功能,能够为 PowerAI 用户带来:(a)Power9CPU 和 Volta GPU 之间的数据传输比 VoltaGPU 和 x86 CPU 之间的数据传输速度要快10倍,其依赖于旧的 PCI-e 3.0 界面,4年前首次引入;(b)由于内存一致,可以在连接到 Power9 CPU 和 GPU 内存的系统内存之间自动移动数据,编程GPU 加速器对于软件开发人员来说更容易了。

关于PowerAI

深度学习框架PowerAI的组建、测试和预先分发运行在为AI 构建的IBM Power System 服务器上。这一硬件和软件的组合能够轻松处理计算任务很重的工作负载。PowerAI为数据科学家和开发人员提供了最快的开发速度,无论是在企业内部部署还是在云中。

PowerAI 是机器学习和深度学习开源应用框架的企业软件分发。可单一下载,易于安装二进制分发,包括TensorFlow,Caffe,Torch,Theano,Chainer,NVIDIADIGITS以及其他机器和深度学习框架,以及相关的库和包。

PowerAI 生态系统包括来自ContinuumAnalytics 的Anaconda,H2O 的H2O 机器学习库,Bons.ai 的 AI软件开发工具等许多软件。

链接:https://www.hpcwire.com/2017/05/10/ibm-powerai-tools-aim-ease-deep-learning-data-prep-shorten-training/

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-05-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏MyBlog

J.Woodcock&J.Davies_UsingZ_1996_C1 阅读

随着软件的日益发展, 软件的功能等需求越来越多, 文档也随之增加, 组件之间的交互和冲突最后导致系统出现问题, 逐渐偏离了我们的预期. 为解决该问题, 其中一个...

851
来自专栏量子位

AI产品开发指南:5大核心环节搞定机器学习工作流

王小新 编译自 Quora 量子位 出品 | 公众号 QbitAI ? Python写得像英语一样6,神经网络、决策树烂熟于心,但如果不能动手将这些算法部署到实...

3615
来自专栏EAWorld

边缘计算与云计算的未来

Edge Computing and the Future of the Cloud

5124
来自专栏AI研习社

想快速部署机器学习项目?来看看几大主流机器学习服务平台对比吧

日前,kdnuggets 上的一篇文章对比了三大公司(谷歌、微软和亚马逊)提供的机器学习服务平台,对于想要启动机器学习项目的公司或是数据科学新手来说,提供了非常...

52117
来自专栏大数据和云计算技术

智能调度 与 蚁群算法

我在前面的一篇文章《浅谈资源管理技术的未来发展之路》之中谈到,资源管理还需要完善三个方面的能力分别是: 1、完善资源使用收集反馈机制,资源分配出去之后,使用率怎...

7497
来自专栏机器人网

工业机器人的视觉系统该如何选择?

机器视觉软件是检测系统中的智能部分,也是最核心的部分。软件的选择决定了你编写调试检测程序的时间、检测操作的性能等等。 1.摄像头和光学部件 这一类通常含有一个或...

3608
来自专栏人工智能头条

Caffe2并入PyTorch,你的开发效率可能要提升不少

1855
来自专栏架构师之路

通俗易懂,互联网的常见推荐算法

没有复杂的公式,没有晦涩的技术词汇,从最简易的案例,了解互联网最常见的推荐算法,每篇1分钟,保证弄懂。 一、《从电影推荐开始,聊协同过滤》 什么是协同过滤 协同...

39713
来自专栏量子位

FB发布PyTorch:一个GPU加速的Python深度学习框架

作者 | 量子位 舒石 经过数月的工作,Facebook今天终于对外发布PyTorch的Beta版本。PyTorch是一个Python优先的深度学习框架。先来看...

2396
来自专栏机器之心

前沿 | 减少30%流量,增加清晰度:MIT提出人工智能视频缓存新算法

4049

扫码关注云+社区

领取腾讯云代金券