浪潮发布最新深度学习框架CAFFE-MPI

德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“Knights Landing”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Caffe并行开发的公司。

  浪潮集团副总裁胡雷钧表示,此次KNL平台Caffe-MPI的发布,一方面显示出浪潮与英特尔紧密的合作关系,另一方面也将为全球深度学习用户带来新的协处理加速解决方案,让他们可以选择最贴合自身实际应用的异构加速技术。目前,浪潮推动的开源Caffe-MPI已受到中国、印度、美国等众多公司和研究机构的关注。

  浪潮Caffe-MPI是全球首款高性能MPI集群版的Caffe深度学习计算框架,其采用成熟的MPI技术对Caffe予以数据并行的优化,其目标是解决深度学习计算模型训练的效率问题。Caffe是目前最快的深度卷积神经网络(Deep Convolutional Neural Networks,CNN)架构,它最早由UC伯克利实验室完成单机单卡的开发,针对CNN训练所设计。然而随着训练模型越来越复杂、训练数据越发庞大,单机单卡已经不能满足用户的实际需求。

  为此,浪潮在伯克利caffe架构的基础上,针对HPC系统架构技术设计,率先完成了多机多卡的并行化开发,并完全保留了原始caffe架构的特性。浪潮Caffe-MPI硬件系统采用Lustre存储+IB网络+HPC集群,基于Lustre并行存储采用多进程+多线程机制并行读取训练数据,实现较高的IO吞吐;采用IB网络实现高速互联网,实现参数的快速传输和模型更新;采用数据并行机制,利用HPC集群实现大规模训练。同时,浪潮Caffe-MPI可以采用多机多卡同时训练,并可以部署到大规模训练平台上,实现对大规模数据样本的训练。

  新一代Xeon Phi处理器Knights Landing既可以做协处理器,也可以单独做中央主处理器,处理器核心数量超过72个,并支持四线程,最多拥有288个线程,双精度浮点性能超过3TFlops,单精度则超过6TFlops,被业界视为在高性能计算和深度学习领域革命性的产品。随着此次浪潮率先发布基于KNL平台的Caffe-MPI,相信会有更多的用户感受到新技术在深度学习效率上带来的诸多提升。

本文分享自微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-06-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

DeepMind 被控“不合法”获取160万病人医疗数据,CEO哈萨比斯回应

【新智元导读】DeepMind 被指控通过非法交易获取160万份 NHS(英国国民医疗服务体系)患者病历,DeepMind 回应称没有任何患者数据被用于Goog...

38950
来自专栏新智元

【神经网络为什么过拟合?】理解深度学习需要重新思考“记忆”

【新智元导读】之前 Bengio 等人在 ICLR-17 提出了“理解深度学习需要重新思考泛化”这一观点,相关论文也被选为 ICLR-17 的最佳论文之一。这一...

37980
来自专栏新智元

深度学习识别10000物种,手机上的@博物杂志

【新智元导读】iNaturalist 推出一个识别动物和植物物种的app,使用TensorFlow训练神经网络,已经能够识别出超过10000种不同的物种,而且每...

52150
来自专栏新智元

打破深度学习检测视网膜病变世界纪录,IBM认知医疗总监谢国彤北大AI课精彩分享

【新智元导读】据 healio.com 最新报道,IBM Research 采用深度学习,根据国际上临床糖尿病视网膜病变量表,可在20秒内测出病变严重程度,在准...

45830
来自专栏AI研习社

谷歌开启 Naturalist 2018 挑战赛,大型物种分类技术有望突破

雷锋网 AI 研习社按:计算机视觉技术从 70 年代到现在,40 多年时间得到迅速发展,许多计算机视觉的应用出现在了生产生活领域。尤其是到了 2012 年,基于...

417110
来自专栏新智元

【开源】谷歌“一个模型解决所有DL难题”背后的Tensor2Tensor

【新智元导读】引起热议的两篇谷歌大脑的论文《一个模型解决所有问题》和《你只需要注意力机制》,其背后是一个名为 Tensor2Tensor 的模块化深度学习系统。...

43240
来自专栏新智元

让神经网络替你编程:如何用深度学习实现程序自动合成

【新智元导读】本文介绍了训练神经网络学习用复杂的函数式语言(FlashFill DSL)进行编程取得的成功,标志着神经程序合成方面一个令人兴奋的突破。 ● 作...

46880
来自专栏新智元

以色列神秘AI研究力量:深度学习的四大失败

【新智元导读】深度学习力量强大,但无论是理论研究者还是实际从业者,了解深度学习的局限也是十分重要的。耶路撒冷希伯来大学的一组研究人员,其中有两位任职于 Mobi...

45780
来自专栏新智元

从蔡少棠到王智刚:打造基于忆阻器的类脑深度学习计算机

【新智元导读】 英国 Kent 大学计算机学院院长王智刚教授在刚刚举行的脑科学和类脑计算沙龙,给大家做了题为《建造一台类脑深度学习计算机》的报告。王智刚教授多年...

58660
来自专栏AI研习社

ArXiv 中最受欢迎的开源框架大起底,第一名当然是……

在深度学习研究领域最受关注的开源框架是什么?相信大家心中都有答案。 AI 研习社了解到,近日 Keras 作者 François Chollet 近日在 Twi...

38590

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励