双雄之争，PyTorch1.3发布，全新功能来袭

2019年，机器学习框架之争进入了新阶段：PyTorch与TensorFlow成为最后两大玩家，PyTorch占据学术界领军地位，TensorFlow在工业界力量依然强大，两个框架都在向对方借鉴，但是都不太理想。

昨天的PyTorch 开发者大会上，Facebook 重磅发布了 PyTorch 1.3，推出一系列新特性，如支持无缝模型部署到移动设备，模型量化以在推理时获得更好的性能以及前端改进，此外，还推出了一大波工具和库，增加 Cloud TPU 和阿里云支持等。

天平倾斜，研究人员的选择

自2012年深度学习重新获得突出地位以来，许多机器学习框架也相应成为研究人员和行业从业者的新宠。从Caffe和Theano的早期学术成果，到业界大规模支持的PyTorch和TensorFlow，2019年，机器学习框架之战主要是PyTorch和TensorFlow的对峙。

如今之所以说天平发生了倾斜，是因为实实在在的数据。仅2019 年上半年，ArXiv 论文中 PyTorch 的引用量就增长了 194%；PyTorch 平台的贡献者数量比去年增长了 50% 以上，达到近 1200 人。2019年主要顶级研究会议的论文中，多数使用的都是PyTorch。

PyTorch在视觉和语言会议方面的优势最为明显，分别以2:1和3:1的比例超过了TensorFlow。此外可以看到，在ICLR和ICML等通用机器学习会议上，PyTorch也比TensorFlow更受欢迎。虽然PyTorch是一个“新人”，但正在快速增长，尤其在学术圈中地位飙升，大有取代TensorFlow，成为机器学习框架 No. 1 的势头。

大多数的研究人员更加喜欢PyTorch的API，而不是TensorFlow的API，不仅是因为PyTorch的设计更好，还有部分因为是TensorFlow 切换API接口过于频繁，用起来没有前者方便。

此外，尽管与TensorFlow 比起来，PyTorch的动态图 (Dynamic Graphs) 提供的优化空间比较小，但许多用户都反馈说PyTorch的速度不亚于TensorFlow，甚至比对方还快，性能极其强劲。

最后，PyTorch更加简单，并且风格与Python很像，能轻易和Python生态集成起来，因此得到研究人员偏爱是理所当然的。

PyTorch 1.3——全新升级

开发者大会第一天，PyTorch 1.3率先公布。新的版本不仅能支持安卓iOS移动端部署，还能让用户去对手Google的Colab上调用云TPU，甚至还被集成在了阿里云上。PyTorch 1.3 带来了一系列重要的新特性，其中包括对移动设备部署的实验支持、 8-bit 整数的 eager mode 量化，以及 name tensors 等一大波全新的功能。

Named tensors：允许用户给张量维度命名，从而让张量更易用，这样就可以直接用名字，而不用根据位置来跟踪张量维度。

Quantization：低精度执行计算和存储的技术。

PyTorch mobile：支持端到端的工作流。

Detectron2：PyTorc 中的对象检测库。提供对最新模型和任务的支持，增强的灵活性以帮助进行计算机视觉研究，并改善了可维护性和可扩展性以支持生产用例。

Captum：提供最先进的工具，帮助研究人员了解特定神经元和层的重要性，并影响模型的预测。

CrypTen：基于云或机器学习即服务（MLaaS）平台的ML的实际应用提出了一系列安全和隐私挑战。这些平台的用户可能不希望或是无法共享未加密数据，这使他们无法充分利用机器学习工具。为了应对这些挑战，机器学习社区正在探索各种成熟度不同的技术方法。其中包括同态加密、安全多方计算、可信执行环境、设备计算和差分隐私。为了帮助更好地理解如何应用其中的某些技术，Facebook发布了CrypTen，这是一个新的基于社区的研究平台，用于推动隐私保护ML领域的发展。

Fairseq 的语音扩展：语言翻译和音频处理是搜索、翻译、语音和助手等系统和应用程序中的关键组件。更新扩展了 fairseq，这是一个用于序列到序列应用的框架，包括对语音和音频识别任务的端到端学习的支持。

云端支持、硬件生态扩展：PyTorch为AWS、Microsoft Azure 和谷歌云等任何云提供商提供部署支持。除了主要的GPU和CPU合作伙伴之外，PyTorch生态系统还支持专用的机器学习加速器。比如英特尔不久前推出的NNP-I推理芯片、Habana Labs的AI处理器。

未来

尽管PyTorch势头猛烈，但TensorFlow也没有坐以待毙。十一期间登场的TensorFlow 2.0有着快速、可扩展、可投入生产的巨大优势，对于工业界来说，这是非常诱人的。

目前的态势是，在研究界，PyTorch占据了上风，但在工业界，它依然不是老大哥TensorFlow的对手。

PyTorch的机会在于，机器学习是一个研究驱动的领域，只要PyTorch在研究领域占据主导地位，企业就只有被迫转型，因为工业界不能忽视研究成果，有些时候，他们也是别无所选择的。

但可惜的是，这个过程注定将十分缓慢， 且十分困难。