首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

PyTorch1.6:新增自动混合精度训练、Windows版开发维护权移交微软

刚刚,Facebook 通过 PyTorch 官方博客宣布:PyTorch 1.6 正式发布!新版本增加了一个 amp 子模块,支持本地自动混合精度训练。Facebook 还表示,微软已扩大了对 PyTorch 社区的参与,现在拥有 PyTorch 在 Windows 上的开发和维护所有权。

相比于以往的 PyTorch 版本,本次即将发布的 PyTorch 1.6 有哪些吸引人的地方呢?

总的来说,PyTorch 1.6 版本包括许多新的 API、用于性能改进和性能分析的工具,以及对基于分布式数据并行(DDP)和远程过程调用(RPC)的分布式训练的重大更新。一些亮点包括:

在英伟达的帮助下增加了对自动混合精度(AMP)训练的本地支持,并且具有稳定的功能;

增加了对 TensorPipe 的本地支持;

在前端 API 增加了对复杂张量的支持;

提供张量级内存消耗信息的新分析工具;

分布式数据并行(DDP)训练和远程过程调用(RPC)包的大量改进和新功能。

PyTorch 官方博客表示,从此版本开始,PyTorch 的特性将分为 Stable(稳定版)、Beta(测试版)和 Prototype(原型版)。需要注意的是,Prototype 特性不包含在二进制包中,但可以通过使用 Nightly 从源代码构建或通过编译器标志(compiler flag)来使用。

此外,Facebook 还宣布,他们将把 Windows 版 PyTorch 的开发维护权移交给微软。

在 Windows 系统上运行 PyTorch 一直都是一种不愉快的体验,显然微软也看到了这一点。他们在 Pytorch 的博客中表示:

「在 PyTorch 1.6 中,我们为核心 PyTorch 及其域库提供了与 Linux 相同的测试覆盖率,同时将教程测试自动化,以此来改进 Windows 的核心质量。在 PyTorch 社区的帮助下,我们将测试覆盖范围添加到三个域库中:TorchVision、TorchText 和 TorchAudio。在 PyTorch 的后续版本中,我们将继续改进。根据收到的社区反馈,下一步的改进方向应该会聚焦于分布式训练支持和更好的 pip 安装体验。」

除了本地 Windows 体验,在今年的 Build 2020 大会上,微软还宣布了一个为 WSL 提供 GPU 计算支持的计划,PyTorch 将在其中起到不小的作用。现阶段,WSL2 已获得对 GPU 的初始支持,其中就包含对 PyTorch 的支持,WSL 用户可以直接运行本地 PyTorch 程序,进行机器学习,不需要传统的虚拟机或双引导设置。

性能与分析

[STABLE] 自动混合精度(AMP)训练

AMP 使用户可以轻松启用自动混合精度训练,从而在 Tensor Core GPU 上实现更高的性能并节省多达 50%的内存。使用本地支持的 torch.cuda.amp API,AMP 为混合精度提供了方便的方法,其中某些运算使用 torch.float32 (float)。其他运算使用 torch.float16(half)。有些运算,如线性层和卷积,在 float16 中要快得多。而另一些运算,比如缩减,通常需要 float32 的动态范围。混合精度尝试将每个运算与其相应的数据类型相匹配。

[BETA] FORK/JOIN 并行

新版本增加了对语言级构造的支持,以及对 TorchScript 代码中粗粒度并行的运行时的支持。这种支持对于一些情况非常有用,比如在集成中并行运行模型,或者并行运行循环网络的双向组件,它还允许为任务级并行释放并行架构(例如多核 CPU)的计算能力。

TorchScript 程序的并行执行是通过 torch.jit.fork 和 torch.jit.wait 两个 primitive 实现的。下面的例子展示了 foo 的并行执行:

[BETA] 内存分析器

「torch.autograd.profiler」API 现在包含一个可以让你检查 CPU 和 GPU 模型内不同算子的张量内存开销的内存分析器。

该 API 的用法如下所示:

分布式训练 & RPC

[BETA] 用于 RPC 的 TENSORPIPE 后端

PyTorch 1.6 为 RPC 模块引入了一个新的后端,它利用了 TensorPipe 库(一个针对机器学习的 tensor-aware 点对点通信 primitive,旨在补充 PyTorch 中分布式训练的现有 primitive)。TensorPipe 的成对和异步特性使其能够应用于数据并行之外的新的网络范式:客户端 - 服务器方法以及和模型和 pipeline 并行训练。

[BETA] DDP+RPC

PyTorch Distributed 支持两种强大的范式:用于对模型进行完全同步数据并行训练的 DDP 和支持分布式模型并行的 RPC 框架。在此之前,这两个特性是独立工作的,用户不能混用它们来尝试混合并行范式。

从 PyTorch 1.6 开始,该框架允许 DDP 和 RPC 无缝协作,这样用户就可以结合这两种技术来实现数据并行和模型并行。

[BETA] RPC - 异步用户函数

RPC 异步用户函数( Asynchronous User Function)支持执行用户定义函数时在服务器端生成和恢复的能力。在此特性之前,当被调用方处理请求时,一个 RPC 线程将一直等待,直到用户函数返回。

前端 API 更新

[BETA] 复数

Pythorch1.6 版本提供了对复杂张量的 beta 级支持。包括 torch.complex64 和 torch.complex128 dtypes。

复数在数学和工程中经常出现,特别是在信号处理中,复值神经网络是一个活跃的研究领域。复张量的 beta 版将支持通用的 PyTorch 和复张量功能,以及 Torchaudio、ESPne 等所需的功能。

更新的域库

TORCHVISION 0.7

torchvision 0.7 引入了两个新的预训练语义分割模型,即 FCN ResNet50 和 DeepLabV3 ResNet50,它们都在 COCO 上进行了训练,并且使用的内存占用空间小于 ResNet101。此外还引入了 AMP(自动混合精度),该功能可为不同的 GPU 运算自动选择浮点精度,从而在保持精度的同时提高性能。

TORCHAUDIO 0.6

torchaudio 现在正式支持 Windows,微软负责 Windows 版本。此版本还引入了一个新模块(包含 wav2letter)、若干新功能(contrast, cvm, dcshift, overdrive, vad, phaser, flanger, biquad)、新数据集(GTZAN,CMU)和一个新的可选 sox 后端,支持 TorchScript。

  • 发表于:
  • 原文链接http://news.51cto.com/art/202007/622421.htm
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券