专栏首页AI研习社腾讯云:把GPU分开卖是黑科技吗?

腾讯云:把GPU分开卖是黑科技吗?

1999年,NVIDIA 公司发明了GPU(Graphics Processing Unit,图形处理器),优异的图形处理表现让它艳惊四座。

近年来,GPU在大规模并行运算上的巨大优势,让其成为大数据、AI以及图形图像处理等场景下不可或缺的计算引擎。

然而,一直以来,囿于GPU切分难度较高,用户不论是购买GPU硬件,还是购买GPU云服务,都只能整块购买。这样有两个结果:

1. 使用门槛较高。GPU相对CPU价格较贵,一块超级计算类GPU价格更是高达好几万,个人开发者使用门槛较高。

2. 资源浪费。在算力需求较小的时候,一整块GPU卡无法满负荷运行,造成算力浪费。

今天,这种局面看起来被打破了,腾讯云正式对外发布基于 NVIDIA T4 的虚拟GPU(vGPU)计算产品GN7实例,可以为任意AI工作负载提供支持。

因此,用户可以在云上买到规格更小的GPU计算产品,可以降低用户使用GPU的成本并增加灵活度,对一些小规模算力场景的人工智能研发有非常大的帮助。

广泛适用不同AI场景

凭借强大的计算能力和弹性能力,GN7实例在海量数据处理和人工智能领域都具有广阔的应用价值。它既可以满足诸如搜索、大数据分析等需要对海量数据进行处理的业务场景,也可以作为深度学习训练和推理的系统平台。

GN7实例的虚拟化特性,也十分适合互联网业务中人工智能业务的批量部署以及云游戏,AR/VR在云端的应用。

目前,GN7实例已经在腾讯云自有的智能钛弹性模型服务(TI-EMS)上实现了应用。该平台通过使用vGPU做小模型推理,帮助用户解决复杂模型部署和GPU利用成本效益等问题。

基于多精度支持,NVIDIA T4拥有可加速深度学习训练和推理、机器学习以及数据科学工作负载的 Tensor Core,以及丰富的平台堆栈,包括用于深度学习的cuDNN、用于数据分析和机器学习的NVIDIA RAPIDS、用于云工作站图形的NVIDIA Quadro虚拟工作站和用于云游戏的NVIDIA游戏软件。结合用于GPU虚拟化的 vComputeServer软件,腾讯云客户可以灵活选择在虚拟环境中运行GPU加速的工作负载,从而在提高安全性和利用率的同时降低成本。

进一步降低成本

GN7实例降低了GPU加速的初始投资成本,NVIDIA vComputeServer软件通过对NVIDIA T4进行虚拟化,使多台虚拟机(VM)可以同时访问GPU或者使一台虚拟机可以访问多颗 GPU,从而实现性能的最大化。因此,腾讯云用户可以根据工作负载的需求灵活选择对应的GPU加速量。

比如在进行简单模型推理这一类低算力需求的应用时,用户无须再像以往必须使用单颗物理GPU,而是可以根据自身业务具体类型对GPU算力的需求,灵活选择匹配的vGPU资源,提升了计算资源的利用率,从而有效降低用户的使用成本,避免因配置不足或配置过度而产生成本。比如,通过使用1/2 vGPU实例规格,成本相对单卡实例降低了50%。

相比过往进程级别的虚拟化GPU,GN7的升级点在于其提供的设备级虚拟化vGPU是完全模拟出来一个GPU设备,在支持GPU硬件的绝大多数特性的同时,还能够做到操作系统级别的隔离,而且不同的用户使用也不用担心资源争抢的问题。

不过,关于虚拟化GPU的技术,AI开发者也采访了一位业内资深技术人士,该人士表示,这个vGPU技术其实并不难,华为、阿里也都有类似的。当然,腾讯云和NVIDIA的深度合作还是有一定卖点。

AI开发者获悉,下周在苏州举办的GTC大会上,腾讯云将会演示NVIDIA GPU加速的云服务,并介绍如何从云端部署AI工作负载。

/ 资料推荐 /

《函数论与泛函分析初步 (第 7 版)》是世界著名数学家 A.H. 柯尔莫戈洛夫院士在莫斯科大学数学力学系多年讲授泛函分析教程 (曾称《数学分析 Ⅲ》) 的基础上编写的。《函数论与泛函分析初步 (第 7 版)》是关于泛函分析与实变函数论的精细问题的严格的系统阐述,书中反映了作者的教育思想,体现了作者丰富的教学经验与方法。内容包括:集合论初步,度量空间与拓扑空间,赋范线性空间与线性拓扑空间,线性泛函与线性算子,测度、可测函数、积分,勒贝格不定积分、微分论,可和函数空间,三角函数傅里叶变换,线性积分方程,线性空间微分学概要以及附录的巴拿赫代数。

本书适合数学、物理及相关专业的高年级本科生、研究生、高校教师和研究人员参考使用。

本文分享自微信公众号 - AI研习社(okweiwu),作者:张路

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 百度引入Ring Allreduce算法,大规模提升模型训练速度

    美国西部时间2月21日,百度硅谷人工智能实验室(SVAIL)宣布将Ring Allreduce算法引进深度学习领域,这让基于GPU训练的神经网络模型的训练速度显...

    AI研习社
  • 深度学习的完整硬件指南

    深度学习是非常消耗计算资源的,毫无疑问这就需要多核高速的CPU。但买一个更快的CPU有没有必要?在构建深度学习系统时,最糟糕的事情之一就是把钱浪费在不必要的硬件...

    AI研习社
  • 为个人深度学习机器选择合适的配置

    对于那些一直想进行深度学习研究的同学来说,如何选择合适的配置一直是个比较纠结的问题,既要考虑到使用的场景,又要考虑到价格等各方面因素。日前,medium上的一篇...

    AI研习社
  • 1.1 Programmable Graphics Processing Unit 发展历程

    面纱掩盖了过去、现在和将来,历史学家的使命是发现它现在是什么,而不是过去是什么。 ——Henry David Thoreau

    代码咖啡
  • [译]GPU加持,TensorFlow Lite更快了

    由于处理器性能和电池容量有限,在移动设备上使用计算密集的机器学习模型进行推断是非常耗资源的。 虽然可以采用一种加速途径:转换为定点数模型,但用户已经要求作为一种...

    云水木石
  • 英伟达深度学习专家路川详解“如何升级GPU深度学习系统”

    GPU 成为在构建深度学习系统时必不可少的需要关注的方向,但是诸如如何选择一款 GPU 来搭建深度学习平台,如何升级自己的 GPU 之类的问题一直困扰着开发者。...

    小莹莹
  • GPU的工作原理

    在GPU出现以前,显卡和CPU的关系有点像“主仆”,简单地说这时的显卡就是画笔,根据各种有CPU发出的指令和数据进行着色,材质的填充、渲染、输出等。 较早的娱乐...

    刘盼
  • 【杂谈】学深度学习的你有GPU了吗

    计算机常见的处理器包括CPU和GPU,CPU即中央处理单元(Central processing unit),它是计算机的控制核心。CPU需要很强的通用性来处理...

    用户1508658
  • 学习笔记︱深度学习以及R中并行算法的应用(GPU)

    版权声明:博主原创文章,微信公众号:素质云笔记,转载请注明来源“素质云博客”,谢谢合作!! ...

    素质
  • 人工智能&大数据:加速GPU在数据中心领域的应用

    随着数据需求工作负载渗透到数据中心并覆盖传统的CPU性能,GPU各供应商已经为数据中心补充了全新的设备和显示卡。 最近大数据、人工智能以及机器学习的潮流正在企业...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券