前言GPU Mounter 是一个支持动态调整运行中 Pod 可用 GPU 资源的 Kubernetes 插件，已经开源在 GitHub：支持 Pod 可用 GPU 资源的动态调整兼容 Kubernetes 调度器无侵入式修改REST API 接口一键部署下面聊一聊我对 GPU 容器化和 GPU 挂载的认识，以及为什么需要 GPU 热挂载。 GPU 容器化与 GPU 挂载GPU 挂载很好理解，即为容器或 Pod 挂载 GPU 资源，允许容器中的应用程序使用。在容器化的趋势席卷各个领域的今天，深度学习也同样无法 “幸免”。 什么是 为什么需要 GPU 热挂载？GPU 热挂载即调整一个运行中容器的 GPU 资源，能够增加或删除一个运行中的容器可用的 GPU 资源而无需暂停或重启容器。 GPU Mounter - 支持 GPU 热挂载的 Kubernetes 插件出于上面的原因，我开源了一个 Kubernetes 插件支持 GPU 资源的热挂载。
经过多年使用图形处理单元（GPU）来加速在层析成像，计算机视觉，气候建模，数字取证，地理空间数据库，粒子物理学，射电天文学和定位显微镜等领域的科学应用，我们注意到许多技术，研究软件工程师（RSE）可能会遇到的社会技术和非技术挑战 尽管其中一些挑战（例如，管理项目中的不同编程语言或必须处理不同的内存空间）在涉及GPU的所有软件项目中都是常见的，但其他挑战在科学软件项目中更为典型。 在本文中，我们介绍了从研究软件工程GPU应用程序中获得的挑战和经验教训。 Netherlands eScience Center, (2) Centrum Wiskunde & Informatica)原文地址：https:arxiv.orgabs2005.13227 十年研究软件工程 GPU应用的经验教训（CS SE）.pdf
提供包括云服务器，云数据库在内的90+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。
基于GPU的恶意软件最近，开发人员发布了两款概念验证性的恶意软件——Jellyfish rootkit和Demon键盘记录器，这两款恶意软件的运行并不是利用电脑的CPU，而是利用图像处理器GPU。 这种恶意软件能够利用GPU实现比特币挖矿机，性能更高。 功能特性该恶意软件都能够在不Hook操作系统内核进程的情况下运行，所以它的运行并不会引起怀疑。 GPU恶意软件的优点如下：1、网络上还没有分析GPU恶意软件的工具；2、可以通过DMA（直接内存存取）监听主机CPU内存；3、GPU可以用于快速的数学计算；4、关闭之后恶意内存仍然存留于GPU内。 因为许多电脑并没有独立显卡，这样的条件可能会极大地限制恶意软件的感染量。不过，在某些条件下将能够满足这种要求，例如游戏玩家或视频爱好者的电脑就很可能含有独立显卡。
AI的硬件与软件动力为了解决大数据和大模型的问题，许多行业专家已经转向使用图形处理单元（GPU）来运行DL和复杂的ML模型。GPU是专门用于处理密集图形和图像处理的芯片。 尽管硬件和GPU处理能力有了很大的进步，但人工智能软件才是解决大数据和大模型问题的关键。即使使用GPU，在一台配备GPU的机器上训练复杂的模型也可能需要数周时间。 分布式实现DL和ML处理的软件解决方案需要能够跨多台机器处理大量的参数同步。架构良好的软件可以有效地提高GPU和带宽利用率。重调度、多线程计算和通信使用是提高分布式DL和复杂ML在GPU上性能的关键。 精心设计的AI软件解决方案可以处理多台机器上的分布式DL和ML处理，正确的处理DL和ML的功能强大的硬件是人工智能的关键。 这种人工智能软件和硬件动力是消除企业间采用AI障碍的关键驱动因素，利用GPU和软件架构的计算硬件能力，可成功地在生产中部署AI。
本文包含以下内容：硬件和软件的最低要求安装 Python 和所需工具设置开发环境一些 GPU 术语安装 GPU 驱动安装 TensorFlow（CPU 和 GPU）安装 PyTorch（CPU 和 GPU ）验证安装情况我的个人经验和替代方法硬件和软件的最低要求如果你要按照本指南操作并且计划使用 GPU，你必须使用英伟达 GPU。 一些 GPU 术语 在安装 GPU 相关软件之前，我们有必要了解这些软件是什么，以及你需要它们的原因。GPU 驱动：顾名思义，GPU 驱动是让操作系统及程序能使用 GPU 硬件的软件。 CuDNN：即 CUDA Deep Neural Network 软件库，这是一个用于深度神经网络的 GPU 加速原语库。 通道安装 TensorFlow 的 GPU 支持软件。
缘起自己的一个朋友是做科研工作的，不久前他找到我向我咨询一个关于科学计算的需求：他在做蛋白和药物对接相关的研究，希望使用分子动力学模拟软件Amber （https:ambermd.org），这款科学计算软件也在材料科学中有着广泛的应用 这款软件在运算时可以利用GPU加速极大提升计算效率，所以一开始他和我咨询的是关于GPU显卡相关的问题，但聊着聊着发现如果自行购买GPU显卡维护主机有如下问题：单台主机购买及维护成本很高，GPU硬件通常需要单独购买 软件环境部署仅需一次，之后可以制作为镜像，未来不再会有软件环境部署成本。朋友欣然接受了我的提议，并拜托我帮他部署好整个Amber环境。 后续工作做好环境后，我们可以利用云服务器的镜像制作功能为部署好的软件环境制作自定义镜像，这样做有如下好处：可随时使用该镜像创建新的计算实例。之后机器上的软件环境有问题随时可用该镜像恢复。 （这里也要注意软件授权问题）参考资料nvidia developer【玩转腾讯云】GPU云服务器(驱动篇)Amber镜像服务
这家初创公司的流处理软件引擎可以使用图形处理单元（GPU）来加速几乎任何类型的实时数据处理。 位于美国加州圣莫尼卡的Fastdata.io将利用这笔融资来加速采用其高性能计算软件FDIO Engine，这是目前为止第一个本地GPU软件。 软件利用Nvidia GPU的大规模并行处理能力，提供实时流处理运动中的大数据。FDIO Engine旨在满足各行各业对高效实时大数据处理的不断增长的需求。 FDIO Engine是第一款在本地GPU数据帧（GDF）上运行的软件，它使用Apache箭头列格式表示GPU上的数据。 我们是GDF和fastdata.io业务计划的大力支持者，FDIO Engine的技术有望在各类基于GPU的软件解决方案中实现更快速和高效的数据通信。
那么，英伟达的GPU是如何加速计算呢？本系列将介绍GPU计算加速的一些基础知识：GPU硬件知识和基础概念：包括CPU与GPU的区别、GPU架构、CUDA软件栈简介。 2007年，英伟达发布了CUDA编程模型，软件开发人员从此可以使用CUDA在英伟达的GPU上进行并行编程。在此之前，GPU编程并不友好。CUDA简单到什么程度？ 英伟达能在人工智能时代击败Intel、AMD等强大对手，很大一部分是因为它丰富的软件体系。这些软件工具库使研发人员专注于自己的研发领域，不用再去花大量时间学习GPU底层知识。 CUDA对于GPU就像个人电脑上的Windows、手机上的安卓系统，一旦建立好生态，吸引了开发者，用户非常依赖这套软件生态体系。 CUDA及其软件栈的优势是方便易用，缺点也显而易见：软件环境复杂，库以及版本很多，顶层应用又严重依赖底层工具库，入门者很难快速配置好一整套环境；多环境配置困难。
要想在异构计算上有所突破，良好的支持环境是必不可少的，NVIDIA就为其GPU通用计算开发了一套CUDA软件，AMD也要有相应的工具才行。这个工具就是CodeXL。 CodeXL 工具套件为软件开发者和独立软件供应商（ISV）进入一个并行编程的新时代奠定基础，以发挥各种计算系统中AMD高性能CPU、GPU和APU的计算性能。 包括GPU debugger（GPU调试器）、CPU profiler（CPU分析器）、GPU profiler（GPU分析器）和静态的GPU performance analyzer性能分析器以及面向 Windows® 和 Linux的独立用户接口，以增强的接入性和巡游能力，让开发者可以为领先的软件应用带来具备惊人的更快运行速度、更长电池时间和更平滑回放效果的解决方案。
Simulia Abaqus是一種有限元素法软件，用于机械、土木、电子等行业的结构和场分析版本：2017 加速功能Direct Sparse SolverAMS Eigen SolverSteady-State ANSYS Fluent流体动力学软件Fluent是目前可用的、功能最强大的计算流体动力学(CFD)软件工具,能够让您更深入更快速地优化自己的产品性能。 RELION 基于贝叶斯理论的冷冻电镜3维图像数据处理软件(regularized likelihood optimization）版本:2.1支持多GPU和单节点? AMBER分子动力学版本：18.10支持多GPU和单节点加速功能：PMEMD显式溶剂和GB隐式溶剂支持多GPU和集群??GROMACS动力学模拟版本：2018支持多GPU和单节点? 版本：6.1支持多GPU和GPU集群?VASP进行电子结构计算和量子力学-分子动力学模拟软件包版本：5.4.4支持多GPU和单节点???
电脑环境：ubuntu 18.04本次教程主要是在Ubuntu 18.04下安装Tensorflow 2.0 GPU版本，大家之前在安装Tensorflow 2.0 GPU版本时，是否经常遇到CUDA、 1、安装conda首先下载minconda软件，下载命令如下：wget https:mirrors.tuna.tsinghua.edu.cnanacondaminicondaMiniconda3-py37 首先打开配置软件环境变量文件：vim ~.bashrc 将下面这行代码加入文件中，注意，每个人的软件安装地址不一样，可以 cd 到软件安装目录下，然后用 pwd 命令查看地址。 export PATH=homeubuntuminiconda3bin:$PATH 最后重新激活环境变量：source activate ~.bashrc 这时候minconda的软件安装完成了。 然后看看是否报错，整个Tensorflow GPU版本就安装好了，仅仅几行命令，无需再自定义安装CUDA、cuDNN，开箱即用Tensorflow 2.0 GPU版本。快来享用一番！
WSL将支持GPU假设您在Windows主机上安装了正确的GPU驱动程序，将可用于任何已安装的WSL发行版（Ubuntu、Fedora、openSUSE），而无需安装任何其他软件包。 这个过程是由一个新的Linux内核驱动Dxgkrnl来实现，该驱动利用GPU-PV协议将GPU暴露给用户模式的Linux。?有了GPU支持以后，微软还在WSL中加入了机器学习API DirectML。 Windows终于有软件包管理工具了这次，除了WSL更新，微软也提供了一些新的工具。首先，Windows终于迎来的自己的软件包管理工具winget。? 和Ubuntu中的apt-get一样，现在给Windows安装软件包只需一行命令，无需在去浏览器里找软件包再双击安装。 现在软件包管理工具winget只是预览版，但是已经加入了多项重要功能：install：安装应用show：展示应用信息source：管理软件源search：查找应用并显示应用基本信息hash：验证软件包哈希值
讲座的三个关键见解分别是：软件进步可以激发架构创新。硬件 软件接口的进化为架构创新创造了机会。市场最终会解决架构争论。我想再补充第四点，补全这个循环：在竞争中胜出的架构促进了后续的软件进化。 GPU 是否会分成两种 DSA，一种用于 AI，另一种用于 3D？我的预测如下：GPU 硬件 软件接口将维持 GPU 作为 AI 世界“CPU”的地位。 GPU 硬件 软件接口 我们可以将 GPU 在 3D 领域中的主导地位和在 AI 世界中取得的巨大成功归功于它的硬件 软件接口，这种接口是 GPU 和 3D 图形软件架构师努力推行的。 程序员对 GPU 能做的唯一控制就是调整每个块的参数。如今，GPU 硬件 软件接口让程序员可以自由地处理每个工作项目，无论它们是顶点还是像素。 请注意，通过 GPGPU，GPU 可以将 3D 渲染作为纯“软件”来实现，而无需使用任何固定功能的硬件。
英伟达GPU软硬件依赖栈GPU部分最底层是操作系统和驱动，再往上是提供给程序员的开发接口CUDA。 Windows上缺少包的概念，类Unix系统一般使用包管理软件（Package Manager）来管理和安装软件，我们在手机上常用的应用商店其实就是一个包管理软件。 软件发布者将编译好的软件发布到包管理仓库（Repository，简称Repo），用户通过包管理软件来下载和安装，只不过类Unix系统一般使用命令行来安装这些软件。 当前包所依赖的其他软件，比如GPU版的TensorFlow所依赖的cuDNN、LightGBM所依赖的NumPy等。编译过程相当耗时。比如，TensorFlow的构建时间就非常长。 但是：别人编译好的软件是在别人的基础环境上进行的，这就导致这个软件非常依赖当初编译它的环境。安装当前包之前肯定要先安装好这个包所依赖的软件包。可见，包管理也是一个有一定挑战的问题。
该软件库现已集成到 TensorFlow、Caffe 和 Torch 中。 IBM 研究员 Hillery Hunter 用前所未有的 GPU 处理速度开发新软件。我们的软件可以完全同步地进行深度学习训练，并且这种训练只有非常少的通信成本。 但是当 GPU 变得更快，它们的学习也更快；并且它们不得不以一种传统软件无法实现的速率与其他 GPU 共享学习。这就为系统网络增加了压力，并且是一个棘手的技术问题。 当你查看扩展效率，或者当你添加 GPU 看到如何接近于完美的系统性能扩展时，我们使用（DDL）软件解决这个功能性差距的能力是显而易见的。 在本论文中，我们提出了一种软硬件联合优化的分布式深度学习系统，该系统一直到数百块 GPU 都能实现性能的近线性缩放。
为了加速人工智能在5G领域的广泛应用，英伟达(NVIDIA)推出了一款名为“天线”(Aerial)的软件开发工具包，支持gpu加速、软件定义的无线无线接入网络。 Aerial提供了两个关键的sdk——CUDA虚拟网络功能(cuVNF)和CUDA基带(cuBB)——以简化使用NVIDIA gpu的现成服务器构建高度可伸缩和可编程的软件定义的5G运行网络。 NVIDIA EGX堆栈包括一个NVIDIA驱动程序，NVIDIA Kubernetes插件，NVIDIA容器运行时插件和NVIDIA GPU监控软件。 为了简化启用gpu的服务器的管理，电信公司可以将所有需要的NVIDIA软件安装为运行在Kubernetes上的容器。Kubernetes是一种开源软件，广泛用于加速各种复杂软件的部署和管理。 我们相信，我们的5G网络将通过软件方式或软件化来完成，NVIDIA的航空SDKs将在这方面发挥重要作用。
总的来说，软件是英伟达 GPU非常强大的一步。另一方面，英伟达现在有一项政策，即只允许Tesla GPU在数据中心使用CUDA，而不允许GTX或RTX卡。 AMD对他们的深度学习软件投入很少，因此不能指望英伟达和AMD之间的软件差距将在未来缩小。目前，AMD GPU的性能还可以。 目前，GPU云实例太昂贵而无法单独使用，我建议在云中启动最终训练工作之前，使用一些专用的廉价GPU进行原型设计。初创公司：具有革命性的硬件概念但缺乏软件有一系列初创公司旨在生产下一代深度学习硬件。 一旦这个阶段完成，软件就成了主要问题。目前，还没有初创公司能够生产出适用于当前深度学习硬件的软件。 需要开发一个完整的软件套件才能具有竞争力，这一点从AMD与英伟达的例子中可以清楚地看出：AMD拥有出色的硬件，但只有90％的软件——这还不足以与英伟达竞争。
刚刚结束的Build大会上，微软发布了WSL的重大更新：Windows中的Linux子系统（WSL）将支持GPU，还能运行GUI应用，引来了一大批开发者的惊叹。 Windows 10将很快通过Linux工具增加对GPU硬件加速的支持。微软还强调，将重点解决并行计算或训练机器学习和人工智能模型的开发场景。? GPU硬件的加速将会在未来几个月开始为Windows 10的开发人员提供支持，微软还计划在今年内分享更多关于Linux GUI 的支持情况。 微软的Windows终端命令行工具已在去年的预览版中上线，本周已经发布了1.0版。微软改进了Windows 10的文件浏览器，可以直接访问Linux文件。 WSL 2和这些新的GPU有望解决一些突出的WSL问题。微软一直在努力解决WSL原始版本的兼容性和文件IO性能问题，预计本月下旬Windows 10将发布WSL 2，这是WSL 2关注的一个大领域。
腾讯GPU 云服务器是提供 GPU 算力的弹性计算服务，具有超强的并行计算能力，作为 IaaS 层的尖兵利器，服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景……
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
网站备案
对象存储
文件存储