【资料学习】我到底拿什么说服老板采购Tesla V100！
【资料学习】我到底拿什么说服老板采购Tesla V100！
本文仅献给需要做GPU超算方案和预算的科研前线的人
同类介绍Tesla V100的技术文章很多，我们只highlight关键几个知识点。
2017年5月GTC 2017大会上，英伟达发布了面向高性能计算的新一代Volta架构加速器，Tesla V100。Tesla V100加速器采用12nm FFN工艺，搭载新款图形处理器GV100，拥有5120 CUDA、640个Tensor内核，分PCle和SXM2两版，双精度浮点运算能力分别可达7 TFLOPS和7.8 TFLOPS，单精度则为14 TFLOPS和15.7 TFLOPS。
注意：这一代基于Volta架构的Tesla产品只推出了Tesla V100这一款
Tesla V100不仅仅中心/HPC加速器，更针对深度学习算法和Caffe2、MXNet、CNTK、TensorFlow等框架新版本进行了设计，新的流多处理器（SM）架构提供独立、并行整数和浮点数据通路，配备全新Tensor核心，运算能力达125 Tensor TFLOPS，单精度矩阵-矩阵乘法比Tesla P100快1.8倍，混合精度矩阵-矩阵乘法比Tesla P100快9倍。
与上一代Pascal GP100 GPU一样，GV100 GPU由6个GPU处理集群（GPC）和8个512位内存控制器组成，每个GPC拥有7个纹理处理集群（TPC），每个TPC含2个流多处理器（SM）。含84个SM的完整GV100 GPU，总共拥有5376个FP32核心，5376个INT32核心、2688个FP64核心、672个Tensor核心以及336个纹理单元。每个HBM2 DRAM堆栈由一对内存控制器控制。完整的GV100 GPU总共包含6144KB的L2缓存。
▲NVIDIA Tesla系列各GPU比较
计算能力7.0
GV100 GPU支持新的Compute Capability7.0，详情参见下表。
▲GK180、GM200、GP100和GV100计算能力对比
Tensor核心：大型神经网络训练的关键
Tesla V100包含640个Tensor核心（密集运算器），这是支持大型神经网络训练的关键，可为训练和推理应用提供125 Tensor TFLOPS：每个SM有8个核心，SM内每块处理器（分区）有2个，每个Tensor核心每时钟执行64次浮点FMA运算。
L1数据缓存和性能共享
将数据缓存和共享内存功能整合进单一内存块中，可为两种类型内存访问提供出色的整体性能，带来更低延迟和更高带宽。整合后的容量可达128KB/SM，比GP100数据缓存大了七倍以上，不使用共享内存的程序可将其作为缓存，纹理单元也可使用该缓存。
NVLink：第二代高速互联
NVLink最早于2016年随Tesla P100加速器和Pascal GP100 GPU一起推出，是英伟达的高速互联技术。Tesla V100引入了第二代NVLink，可以提供更高的链路速度（从20GB/s增加到25GB/s）以及每个GPU更多的链路（从4条增至6条），并在CPU主控、缓存一致性和可扩展性方面实现改进。
优化HBM2内存架构
Tesla P100是首个支持高带宽HBM2内存技术的GPU架构。Tesla V100的HBM2更快、更高效：HBM2内存由内存堆栈（与GPU位于同样的物理包）组成，每个堆栈使用四个存储器晶片，从而获得最大为16GB的GPU内存，与传统GDDR5设计相比，可显著节省能耗和占用空间，从而允许在服务器中安装更多GPU。
此外，Tesla V100 HBM2内存子系统支持通过纠一位检二位（SECDED）纠错码（ECC）来保护数据，为已受数据损坏影响的计算应用程序提供更高可靠性。这在大型集群计算环境中尤为重要，因为其中的GPU需处理非常大的数据集亦或长时间运行应用程序。
复制引擎支持多处理器数据传输
英伟达GPU复制引擎可在多个GPU间或GPU与CPU间传输数据。
之前的复制引擎需要固定（不可分页）源内存区域和目标内存区域，而新的Volta GV100 GPU复制引擎可为没有映射至分页表的地址生成分页错误，然后内存子系统可处理分页错误，并将地址映射至分页表，之后复制引擎便可执行传输。目前，此功能可用于ATS系统中.
CUDA：通用并行计算架构的改进
1、独立线程调度优化
Volta GV100是首款支持独立线程调度的GPU，允许GPU执行任何线程，从而程序中的并行线程之间实现更精细的同步与协作。
2、多进程服务
多进程服务（MPS）是Volta GV100架构的一项新功能（Pascal的CUDA MPS是一个CPU进程），专门用于在单一用户的应用程序中贡共享GPU。
Volta MPS可为MPS服务器的关键组件实现硬件加速，使MPS客户端将工作直接提交至GPU中的工作队列，降低提交延迟并增加总吞吐量（特别是用于高效推理部署），从而提升性能并改进隔离（服务质量和独立地址空间），增加MPS客户端的最大数量，将其从Pascal上的16个增加为Volta上的48个。
3、统一内存寻址和地址转换服务
CUDA 6曾推出有限形式的统一内存寻址，以简化GPU编程，该功能在Pascal GP100中通过硬件页面错误和更大的地址空间得到改进。Volta GV100中，全新的存取计数器功能可追踪GPU存取其他处理器内存的频率，帮助确保内存页面移动至访问页面最频繁的处理器的物理内存。此外，Volta还通过NVLink支持地址转换服务（ATS），为GPU提供对CPU内存的完整访问权限。