PyTorch 2.0 早期版本来了，稳定版明年 3 月发布

出品|开源中国

PyTorch 团队在昨日举办的 2022 PyTorch Conference 大会上宣布了 PyTorch 2.0，提供了用于体验的早期版本，并表示稳定版将于 2023 年 3 月上旬发布。

团队介绍道，PyTorch 2.0 是他们向 PyTorch 下一代 2 系列迈出的第一步。在过去的几年里，从 PyTorch 1.0 到最新的 1.13，他们对 PyTorch 进行了创新和迭代，并将它迁移到新成立的 PyTorch 基金会，成为 Linux 基金会的一部分。

PyTorch 2.0 引入了 torch.compile，这是一种编译模式，可以在不更改模型代码的情况下加速模型。在 163 个涵盖视觉、NLP 和其他领域的开源模型中，该团队发现使用 2.0 可以将训练速度提高 38-76%。

其次，PyTorch 2.0 是 100% 向后兼容的：代码库一样，API 一样，写模型的方式也一样。团队之所以称它为 2.0，是因为它有一些标志性的新特性，包括：

TorchDynamo 可以从字节码分析生成 FX 图；

AOTAutograd 可以以 ahead-of-time 的方式生成反向图；

PrimTorch 引入了一个小型算子集，使后端更容易；

TorchInductor：一个由 OpenAI Triton 支持的 DL 编译器。

PyTorch 2.0 将延续 PyTorch 一贯的优势，包括 Python 集成、命令式风格、API 简单等等。此外，PyTorch 2.0 提供了相同的 eager-mode 开发和用户体验，同时从根本上改变和增强了 PyTorch 在编译器级别的运行方式。该版本能够为「Dynamic Shapes」和分布式运行提供更快的性能和更好的支持。

在官方博客中，PyTorch 团队介绍了他们对 2.0 系列的展望：