腾讯云即将支持Ampere架构A100 Tensor Core GPU云服务器

腾讯云计算产品团队

发布于 2020-06-05 16:40:25

4.9K0

发布于 2020-06-05 16:40:25

最近随着下一代NVIDIA Ampere计算架构全新发布，腾讯云作为国内云厂商的领导者，将成为业内率先推出采用NVIDIA A100 Tensor Core GPU的云服务实例的云厂商之一。为企业在深度学习训练与推理、高性能计算、数据分析、视频分析等领域提供更高性能的计算资源，同时进一步降低企业的使用成本，帮助企业更快投入市场。

腾讯云即将搭载的NVIDIA A100 Tensor Core GPU，为各种规模的AI、数据分析和HPC都提供了前所未有的加速，以应对各种各样复杂的计算挑战。作为NVIDIA云计算数据中心的引擎，A100可以有效扩展至数千GPU组成的集群，同样也可以被划分为最多7个vGPU实例。A100 GPU的第三代Tensor Core技术现在可以为各种工作负载提供更高精度计算，加速业务迭代适应市场需求。A100为所有主流的深度学习框架、700多种HPC应用程序提供加速，同时NVIDIA提供的NGC的容器化软件可帮助开发人员快速启动和部署项目。

与当前腾讯云异构计算服务器GN10系列相比，搭载A100的下一代计算产品会在实例的种类与规格、浮点计算能力、GPU互联以及多媒体硬件引擎等方面有了全新的提升：

全面升级GPU云服务器实例

在深度学习训练方面，腾讯云异构计算平台GPU互联采用第三代NVLINK互联技术，使得GPU之间通讯速度达到600GB/秒，配合当前16卡的Delta平台，腾讯云会推出最强性能的单机黑石物理服务器。与此同时，利用NVIDIA提供NVSWITCH、PCIe Gen4以及NVIDIA Magnum IO等多种互联加速解决方案，腾讯云下一代将推出更加强大的黑石物理服务器组网，创建高速的GPU训练集群。

在推理以及一些渲染场景中，腾讯云推出的CVM vGPU实例也将全面升级，新一代实例采用NVIDIA MIG技术，实现了vGPU的物理隔离与独立调度，能够提供更高的安全性与更低延迟。同时每个GPU都拥有其独立的计算资源，L2 cache和GPU内存，为更多客户容器化部署业务提供更加灵活解决方案。多个vGPU可以彼此互不影响并行计算，在共享模式下，计算单元可以自由地访问彼此的GPU内存，为客户带来最高性价比的云服务。

更加强大算力，首次支持TF32

在浮点计算能力方面，除全面支持FP32、FP16、INT8、INT4的各种精度之外，腾讯云新一代GPU云服务实例，还首次支持了TensorFloat32 （TF32）精度计算，与此前的FP32相比，TF32在不更改现有代码的情况下，峰值计算性能提升了8倍。TF32还保留了FP32的准确性，并减少了神经网络的内存占用。

腾讯云新一代vGPU实例，在ResNet50推理任务中，单卡NVIDIA A100 GPU实例性能是单卡NVIDIA T4 GPU实例的7.7倍左右；比采用了NVIDIA V100 GPU的前一代GN10X实例快2.9倍，相比而言新一代云服务器提升了一倍多的算力。

丰富多媒体硬件引擎，打破异构服务器的CPU瓶颈

新一代GPU云服务器，还会搭载NVIDIA全新的JPEG HW decoder，每个单卡实例还会包含5个视频解码器（NVDEC）以及1个Optical Flow Accelerator (OFA)。这些资源可以让用户把原本需要在CPU中预处理的耗时计算负载，移植到GPU中完成，不会让CPU计算能力成为异构服务器的瓶颈。同时在腾讯云vGPU实例中，同样可以使用视频解码器，让用户更高效利用多媒体硬件资源进行加速。

为高性能计算全新设计Tensor Core

在现代科学的HPC领域，科学家们希望通过模拟复杂的分子结构进行新药发现；或者通过大气数据来更好地预测极端天气状况等等。腾讯云高性能服务实例拥有为HPC设计的Tensor Core单元，双精度FP64操作现在可以在Tensor Core中运行，相比于每个芯片的FP64计算，计算量是其两倍还多。。同时支持丰富的开发工具生态，包括CUDA-X HPC库。

腾讯坚持一切以用户价值为依归。腾讯云希望与企业共同成长，成为企业的“水”和“电”。在互联网+工业4.0的大背景下，为企业提供最强的算力支持与可靠的云服务器。同时，加强与全球领先的技术提供商的合作，在2019年的GTC大会上，NVIDIA和腾讯游戏在云游戏服务上面进行合作，建立联合创新实验室，并确定云游戏、引擎、游戏AI等重点战略合作方向，希望更深入和广泛的结合双方在GPU和游戏领域的优势。腾讯云将持续提供更多高品质的服务，为企业甚至普通用户带来更多价值。