黄仁勋:英伟达豪赌GPU终获回报,但我更看好高性能计算

新智元报道

来源:Nvidia、Medium等

编辑:大明、闻菲、金磊

【新智元导读】黄仁勋日前在全球超算领域年度盛会SC18发表演讲,展望高性能及通用计算的未来。除了深度学习突飞猛进,Nvidia的GPU在超算、云平台等高性能计算领域发挥着举足轻重的作用。黄仁勋表示,Nvidia最好的产品还没有到来,未来计算的重任就交给GPU来抗。

11月11日~16日,2018年全球超算领域年度盛会、全球超级计算大会(SC18)在美国得克萨斯州达拉斯召开。昨天,Nvidia CEO黄仁勋发表了主旨演讲,简单说,就是未来计算的大旗放心交给英伟达来抗。

老黄在演讲中使用了数据图表、产品图片、甚至是超新星的精美画面,描述了加速器和人工智能驱动的计算转换,包括多精度处理器、新兴软件工具、垂直堆栈和容器等,当然还有Nvidia的产品,这些都将推动未来高性能计算的发展。

其实他在演讲中说的大多数挑战和解决方案大家都不陌生,不过我们可以理解他表现出的热情。因为GPU(或者更具体地说,是Nvidia 的GPU和CUDA),一直是HPC用以应对摩尔定律崩溃的关键手段。

深度学习热浪奔涌,Nvidia豪赌GPU终获回报

最近,基于加速器的异构架构的不断兴起,这在世界超级计算机Top 500榜单上表现得很明显。在最新的榜单上,有127台超级计算机系统中使用了Nvidia的产品,包括目前世界上运算速度最快的两台超级计算机Summit和Sierra

同样,Nvidia对混合精度功能的支持,对于提升机器学习和深度学习性能至关重要,这在Nvidia在Volta100和T4 GPU上部署的Tensor Core技术中可见一斑。

无论是敏锐的远见也好,聪明的机会主义也罢,Nvidia对GPU的豪赌都取得了丰厚的回报。现在的GPU对传统的建模和仿真任务,以及新兴的数据驱动的AI任务的支持越来越广泛。

关于HPC和GPU如何协同工作还有很多事情需要解决,至少近期,基于加速器的异构系统可以作为两者共同的动力。黄仁勋将Nvidia作为先行者,进行了不拘一格的技术讨论,并宣布了一系列内容,包括HPC性能基准、产品对市场推动力、新合作伙伴的努力以及对开源的模式赞誉等。

横扫云平台和Top500榜单:Nvidia突破性的一年

世界超级计算机Top 500榜单中,Nvidia进步明显。现在,榜单中使用Nvidia GPU的系统数量同比增长了48%,是五年前的三倍。两台全球顶级超级计算机Summit(橡树岭国家实验室)和Sierra(劳伦斯利弗莫尔国家实验室)一共使用了超过40000个Nvidia V100 Tensor Core GPU。Top500榜单中的近一半计算力(702/1417 petaflops)来自加速系统。在10年前,榜单中根本没有出现加速系统。

截至今年11月的最新超算Top 500榜单(前5名),中美各占两席

DGX-2为顶级实验室提供算力。黄仁勋表示,美国第一批Nvidia DGX-2 AI超级计算机已经运抵美国领先的一些研究实验室——布鲁克海文国家实验室、橡树岭国家实验室和桑迪亚国家实验室。DGX-2利用NVSwitch技术实现16个Nvidia TeslaV100 Tensor Core GPU的互联,提供了超过2 petaflop的算力。

在谷歌云上可以使用T4。据Nvidia发布的消息,新的T4 GPU推出后仅两个月,用即在57个独立的服务器设计中得到了应用,现在已经可以在云中使用,谷歌云平台首先可用于谷歌云平台的GPU。“我们有从未见过这么快就被数据中心采用的处理器,“Nvidia的加速计算副总裁兼总经理Ian Buck说。

容器业务扩展迅速。 Nvidia的NGC容器注册表现在提供41个框架和应用程序(去年为18个),用于深度学习,HPC及其可视化。最近增加的内容包括CHROMA,Matlab,MILC,ParaView,RAPIDS和VMD。

Nvidia发布了新的多节点HPC和可视化容器,允许超级计算用户在大规模集群上运行工作负载。此外,NGC容器现在可以在Singularity本地使用,Singularity是一种在超级计算中广泛采用的容器技术。

其他值得一提的亮点。 Nvidia GPU也为欧洲和日本最快的超级计算机提供加速服务。今天发布的Green 500排行榜测试了世界上最快系统的能效,榜单显示,前25个“最环保”的系统中,有22个系统使用Nvidia的GPU。

“对于Nvidia来说,这是超级计算领域的突破性的一年。”黄仁勋在发布会上表示,事实确实如此。

黄仁勋花了相当多的时间讨论Nvidia对其GPU生态系统的支持,他指出,CUDA版本的向后兼容性以及对一系列开源工具和框架的支持,对于Nvidia开发标准化垂直堆栈的努力至关重要。他说,这些堆栈将消灭大部分“苦差事”,并实现更广泛的各种AI功能。

同样值得一提的是T4在市场上的出色表现。 使用T4的服务器公司包括戴尔EMC,IBM,联想和超微。T4的功耗仅70瓦,可以灵活地适应标准服务器或任何面向开源计算项目的超大规模服务器设计。

服务器设计的适用范围从单个T4 GPU一直到单个节点中的20个GPU。 T4的多精度功能可提供四种不同精度级别的工作负载,FP32提供8.1 TFLOPS,FP16提供65TFLOPS,INT8提供130 TFLOPS,INT4提供260 TFLOPS。

在演讲的最后,黄仁勋激动地表示,英伟达最好的产品还没有到来。让我们拭目以待。

谷歌定向优化TensorFlow,寻求GPU性能极限

作为最早在云服务平台上应用Nvidia T4 GPU的企业,谷歌一直与Nvidia有着良好的合作关系。近日,谷歌的研究人员在 Medium上发布了一篇官方博文,题为《用XLA将GPU性能推向极限》(Pushing the limits of GPU performance with XLA)。

XLA 是 TensorFlow 图模型的编译器(complier),用于优化 TensorFlow 计算。虽然这篇博文中并未提到谷歌最新采用的英伟达T4 虚拟机,但很明显可以看出,谷歌在针对GPU做TensorFlow模型优化,未来也将如此。

使用了XLA的TF1.12在英伟达Tesla V100GPU上训练ResNet-50,速度相比没有使用 XLA的TF1.11有了显著提升:合成数据为每秒10526幅图,真实数据为每秒10,267幅图。谷歌研究人员表示,他们观察到各种内部模型的加速最小的有1.13倍,最高的有3.04倍。

参考链接:

https://www.hpcwire.com/2018/11/14/nvidias-jensen-delivers-vision-for-the-new-hpc/

https://medium.com/tensorflow/pushing-the-limits-of-gpu-performance-with-xla-53559db8e473?linkId=59644343

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

扫描复制大脑,实现数字化“长生不老”?

逝者如斯,不舍昼夜。每想到生命终将逝去,不禁“蓝瘦香菇”。有没有可能,充分扫描特定个体的大脑,构造一件精神复制品,当斯人逝去,开启这个复制品让它生活在一个虚拟的...

1959
来自专栏机器学习人工学weekly

机器学习人工学weekly-12/17/2017

1. 第一当然是NIPS啦(注意看上一期NIPS在Facebook上的视频)。NIPS开完,各种资料分析就出来啦,对我们这种没有机会去现场的人来说是个福音。 t...

3286
来自专栏企鹅号快讯

TESLA V100如何让质疑GPU的流言“失声”

【IT168 评论】GPU在人工智能来临的前夜火了,很多人的眼光也聚焦到了英伟达身上,随之而来的,流言也就多了起来。有人认为,GPU在人工智能的应用存在一定的局...

2369
来自专栏量子位

便宜可靠的激光雷达可能要来了!Luminar关键部件成本降到3美元

激光雷达(Lidar)比车还贵的价格和永远缺货的状态,已经成了无人车行业发展的一块巨大绊脚石。

972
来自专栏新智元

【深度】空空如也的大脑 | 为什么科学家把人类当成了计算机?

【新智元导读】借鉴脑科学的研究,是否有助于发展人工智能?《今日心理学》前主编、心理学家 Robert Epstein 日前在 Aeon 刊文,指出将大脑比作计算...

3575
来自专栏VRPinea

Tim Sweeney:完全实现跨平台互通只是时间问题;希望在VR方面做得更多

6月13日,Epic Games宣布旗下的《堡垒之夜》玩家数超过1.25亿,与年初公布的数据4000万相比,该游戏在5个月内玩家数量增长了2倍有余。同日凌晨,任...

1132
来自专栏数据派THU

干货 | 清华大学郑方:语音技术用于身份认证的理论与实践

“网络空间身份认证”事关新时代的国家安全、经济安全、社会稳定、民众福祉等,这其中包括五个方面:

2054
来自专栏量子位

英伟达发布全球最大GPU:性能提升10倍,售价250万

DGX-2能够实现每秒2千万亿次浮点运算(2 PFLOPS),性能比去年9月推出的DGX-1性能提高了10倍,售价39.9万美元(人民币250万元)。

1205
来自专栏新智元

英特尔年底出货神经网络处理器,到2020年深度学习训练性能提升100倍

【新智元导读】英特尔神经网络处理器NMP终于确定将在2017年年底面世,现在传出与Facebook合作的传言。《财富》报道称,Facebook为芯片设计提供了...

3935
来自专栏新智元

刚刚,黄仁勋发布全球最大GPU,超算级逆天算力,仅售39.9万美元

【新智元导读】今天在刚刚结束的GTC 2018上,英伟达CEO黄仁勋说两件大事,一是发布了迄今最大的GPU,二是暂定自动驾驶暂停研发。随后英伟达股价下跌3.8%...

54823

扫码关注云+社区

领取腾讯云代金券