英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势

进行深度学习的训练向来不被认为是CPU的强项,但是以CPU研发见长的英特尔并不甘心屈服于这个定位,在过去的几年里,英特尔及其合作伙伴一直在探索用CPU来进行快速有效的深度学习开发的方法。代号KNL的Xeon Phi至强芯片是英特尔的努力尝试之一,同时在深度学习算法的改进上,英特尔也做了一些努力。

近日,在美国旧金山举行的IDF16大会上,与英特尔联合宣布启动了KNL试用体验计划的浪潮集团副总裁、技术总监胡雷钧做了基于英特尔至强融合处理器KNL和FPGA上的深度学习的试用体验报告。报告介绍了高性能计算和深度学习发展的趋势、深度学习在高性能计算平台上的挑战和解决办法、大规模深度学习平台的系统设计、多核设备和机群系统的算法设计(包括KNL和FPGA各自的技术分析) 4部分的内容。下面我们从摩尔定律的演变开始,看企业在实践过程中,如何基于英特尔至强融合处理器KNL和FPGA,搭建最佳的深度学习算法。

摩尔定律的革命

1965年摩尔定律提出后,我们开始依次进入1965-2005年的单核CPU时代;2006至如今的多核CPU时代;2012至如今的多核英特尔MIC时代。

而现在,深度学习正在成为高性能计算的全新驱动力

高性能计算设备联手大数据提升深度学习的发展的同时,深度学习也在促进新的高性能计算模型的发展。归根结底,我们把深度学习现在的成功归功于三方面:1)大量标签数据样本的出现:图片(10亿级)/语音(10万小时以上)。2)好的算法,模型,软件的出现: 算法:DNN/CNN/RNN 软件:Caffe/TensorFlow/MXNet 3)高性能计算样本的激励:AlphaGo可视为典型例子。

不可避免地,深度学习在高性能计算上遇到了挑战

具体表现为两方面,其一,大规模深度学习平台的系统设计。比如离线训练要求的:高性能;在线识别要求的:低功耗。其二,多核设备和机群系统的算法设计问题。比如,多核设备异构细粒度并行算法;机群系统的分布式以及粗粒度并行算法。这些都是不容易解决的问题。

上述的挑战之一,大规模深度学习平台的系统设计问题,具体分为两种

离线训练平台特点:计算机密集型/交流密集型——使用KNL平台最合适。 在线识别平台特点:高吞吐量,低功耗——使用FPGA平台最合适。

最终呈现出来的完整深度学习平台,就是KNL+FPGA 机群+OPA网络+Lustre存储 (由Linux和Clusters演化而来, 可以看做一个解决海量存储问题而设计的全新文件系统)的全新结合体。

上述的挑战之二,多核设备和机群系统的算法设计问题

在我们的浪潮—Intel中国并行计算实验室里,KNL/FPGA技术研究;HPC/深度学习应用;第一代 Xeon Phi Book三个方向的探索正如火如荼地进行着。

下面详细介绍具体应用实践中(SKA【平方公里阵列望远镜】的数据处理软件Gridding、大规模线性方程组求解器GMRES和开源深度学习并行计算框架Caffe-MPI的KNL版本)的高性能计算平台和其算法表现。

先谈谈KNL技术本身

它是英特尔第二代MIC架构,基于X86 架构的多核计算:拥有最多72核,总计288线程。目前有3个产品模型:包括处理器;协处理器;KNL-F。支持大规模记忆和高速宽带:DDR4:384 GB,90+GB/s。MCDRAM: 16GB, 500GB/s。

KNL技术的优势:高性能、高应用可适性、高可扩展性、可编程。

关于KNL测试结果

性能:1KNL/2 CPU=6.88X 。(叠加)扩展效率:95%

以浪潮全球首发基于KNL平台的深度学习计算框架Caffe-MPI举例

Caffe有许多用户,在中国非常流行。在数据规模很大的情况下,一个节点通常需要很长的时间去训练。这就要求,Caffe的前馈计算,权重计算,网络更新可在并行机群环境中处理。

来自伯克利大学的原始版本的Caffe语言在处理的数据规模太大时需要的时间太长了,并且默认情况下并不支持多节点、并行文件系统。因此不是很擅长超大规模的深度学习运算。不过由于Caffe是开源的,因此理论上任何人都能对其进行自己需要的改进。Caffe的多种功能事实上都有很好的被改进以支持集群并行计算的潜力。而浪潮集团在原版Caffe的基础上加以改进,开发出了第一代支持在KNL上进行丛集并行计算的Caffe版本。支持英特尔的Luster存储器、OPA网络和KNL丛集。

浪潮集团将这个改进版的Caffe框架命名为Caffe架构,下图是关于Caffe-MPI在KNL上进行运算时的结构的一些解释。可以看到,其计算流程采用MPI主从模式,使用多个KNL处理器组成节点网络,主节点使用一个KNL,而从节点可以视需求由N个KNL构成,因为使用了专为HPC设计的Lustre文件系统,因此数据吞吐量并不会限制到计算和训练。OPA架构也保证了网络通信的顺畅。软件系统方面,支持Linux/Intel MKL和Mvapich2 。

设计框架中的主节点为MPI单进程+多Pthread线程,从节点为MPI多进程,图中展示了整个网络训练的框图。

设计中对KNL的最多72个核心可以进行充分利用,主进程可以同时处理三个线程:并行读取和发送数据、权重计算和参数更新、网络间的参数沟通。下图中给出了图示。

MPI结构中的从进程的主要处理流程是:从主进程中接收训练数据、发送权重数据、接收新的网络数据、进行前向、后向计算。从节点网络中每一个KNL核代表了一个MPI网络中的从节点。

下图中的信息表示,改进版的在KNL丛集上运行的Caffe-MPI架构对原版Caffe进行了多项优化。最终的效果表现是原版的3.78倍。增加KNL处理器的总数时的性能扩展效率高达94.5%。

而FPGA是另一项在深度学习领域极有潜力的硬件。我们知道FPGA的特点包括高性能、支持更多并行模式、高密度、易编程、适配OpenCL。

目前浪潮、Altera和科大讯飞在在线识别领域对FPGA的应用起到了很好的成效。结果表明,FPGA组成的系统在各项指标上都显著优于传统CPU组成的系统。

结论是

对于离线学习来说,基于KNL处理器搭建的MPI-Caffe架构可以很好的完成任务。而在线语音平台等在线认知项目则很适合使用FPGA来搭建系统。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-08-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【我不再使用TensorFlow的5大原因】谷歌最受欢迎深度学习框架日渐式微?

【新智元导读】一篇叫做“TensorFlow Sucks”的文章火了。上线不到两年便成为Github最受欢迎深度学习项目,谷歌开源深度学习框架TensorFlo...

4007
来自专栏ATYUN订阅号

研究人员开发AI预测能够中断核聚变和破坏设备的威胁

为了捕捉和控制地球上被称为托卡马克的设施中的太阳和恒星的核聚变过程,科学家们必须能够阻止那些会中断反应并破坏环形设备的威胁。现在美国能源部(DOE)普林斯顿等离...

1273
来自专栏AI科技大本营的专栏

神经网络要从原子抓起:原来白花花的银子才是神经芯片的未来

编译 | ziqi Zhang 审校 | 波波 最近几年,神经网络、深度学习的风靡程度简直可以跟当年美国19世纪中期的淘金热同日而语。大量研究者从传统的“机器...

2855
来自专栏机器之心

业界 | 深度定制:揭秘Graphcore深度学习芯片加速软件

选自The Next Platform 作者:Nicole Hemsoth 机器之心编译 参与:侯韵楚、黄小天、李泽南 两年来,我们推出了一系列专为处理神经网络...

2967
来自专栏Crossin的编程教室

关于Python数据分析,这里有一条高效的学习路径

广泛被应用的数据分析 谷歌的数据分析可以预测一个地区即将爆发的流感,从而进行针对性的预防;淘宝可以根据你浏览和消费的数据进行分析,为你精准推荐商品;口碑极好的网...

56111
来自专栏新智元

AI摩尔定律继续超速?2028年,1美元能买200GFLOPS计算力!

【新智元导读】摩尔定律不断给人这种感觉:就是在此时此刻,我们正处于人工智能行业独一无二的大变革时期。然而,只要计算力的增长继续遵循指数级的价格-性能曲线,那么未...

1033
来自专栏AI科技大本营的专栏

AI 技术讲座精选: 数学不好,也可以学习人工智能(二)

【AI100 导读】本系列文章将陆续向大家推荐一些数学用书,今天这篇文章有针对性的介绍了数学不好的人,究竟该怎样学习人工智能。 ? 如果你已经看过本系列的第一篇...

3646
来自专栏机器之心

专栏 | 从理论到实践,机器人SLAM技术详解

思岚科技专栏 作者:思岚科技 在此专栏文章中,思岚科技将对机器人定位导航技术中的 SLAM 进行细致讲解。 地图的四种表示方法 智能服务机器人正成为行业的风口浪...

5288
来自专栏量子位

国内首个深度学习开发SDK发布:深鉴科技对标英伟达TensorRT

安妮 发自 清华同方科技广场 量子位 出品 | 公众号 QbitAI AI芯片厂商开始意识到,AI芯片的计算性能再好,失去完备的软件包工具链的支持,也将丧失优势...

3977
来自专栏CreateAMind

狂扫谷歌tesla的开源自动驾驶!

1461

扫码关注云+社区