深度学习框架对决篇：Keras VS PyTorch

来源：机器之心

参与：杜伟、一鸣

Keras和PyTorch之争由来已久。一年前，机器之心就曾做过此方面的探讨：《Keras vs PyTorch：谁是「第一」深度学习框架？》。现在PyTorch已经升级到1.x版本，而Keras也在进一步发展，情况发生了怎样的变化呢？本文从四个方面对Keras和PyTorch各自的优劣势做了进一步详述，相信读者会对如何选择适合自己的框架有更清楚的认知。

TensorFlow 是很多科学家、工程师和开发人员的首个深度学习框架。虽然 TensorFlow 1.0 早在 2017 年 2 月就发布了，但使用过程中对用户不太友好。

过去几年里，Keras 和 PyTorch 日益成为广受用户欢迎的两种库，因为它们使用起来比 TensorFlow 简单多了。

本文将分别对 Keras 和 PyTorch 的四个方面进行比较，你可以根据两种框架的优劣势以及自身的需要选择其中一种。

Keras 和 PyTorch 简介

Keras 于 2015 年 3 月首次发布，是能够在 TensorFlow、CNTK、Theano 或 MXNet 上运行的高级 API（或作为 TensorFlow 内的 tf.contrib）。Keras 的突出特点在于其易用性，它是迄今为止最容易上手且能够快速运行的框架。此外，Keras 能够直观地定义，函数式 API 的使用令用户可以将层定义为函数。

PyTorch 于 2016 年 10 月发布，由 Facebook AI 研究团队开发，是专注于直接处理数组表达式的较低级别 API。与 Keras 相比，你能够拥有更强的灵活度以及对 PyTorch 的控制，同时又不需要进行太多的声明式编程（declarative programming）。

选择 Keras 还是 PyTorch？

有时，深度学习从业者会纠结于应该使用哪一种框架，这通常取决于个人喜好。下面将介绍 Keras 和 PyTorch 的几个方面对比，你可据此做出自己的选择。

定义模型的类 vs 函数

Keras 在定义模型时提供函数式 API。通过函数式 API，神经网络被定义为一组序列函数，然后一个接一个地得到应用。例如，函数定义层 1 的输出是函数定义层 2 的输入。

在使用 PyTorch 时，用户将神经网络设置为一个扩展了 Torch 库中 torch.nn. 模块的类。与 Keras 类似，PyTorch 为用户提供作为组件的层，但由于这些层属于 Python 类，所以它们是类__init__() 方法中的引用，并通过类的 forward() 方法执行。

相比而言，PyTorch 能够令你访问 Python 的所有类别特征，而不只是简单的函数调用。定义网络变得更加清晰，而且优雅。但如果你认为以最快的速度编写网络代码最为重要，则 Keras 对你来说更加易于使用。

张量和计算图 vs 标准阵列

对于一般程序员来说，Keras API 会隐藏大量的混乱细节，定义网络层也非常直观。因而，你在默认设置下就足以入门。但当你想要实现一个非常先进或「独特的」模型时，才真正需要深入了解低级和本质的 TensorFlow。

但当你真正深入了解低级 TensorFlow 代码时，就会遇到一些挑战。你需要确保所有矩阵乘法对齐。更不要想着将层输出打印出来了，因为你会在终端上打印出一个很好的张量定义（Tensor definition）。

相较于 Keras，PyTorch 在这些方面往往更加宽容。你只需要了解每个层的输入和输出大小就可以了，并且 PyTorch 在这一点上做得非常好，你可以快速掌握。你不需要构建抽象的计算图（其内部情况你在调试时无法看到）。

PyTorch 的另一个优点在于其平滑性（smoothness），你可以在 Torch 张量和 Numpy 矩阵之间来回切换。但如果开发者需要实现一些自定义内容，则 TF 张量和 Numpy 矩阵之间的切换可能会很麻烦，这要求他们对 TensorFlow 有一个透彻了解。

实际上，PyTorch 的交互运算更加简单，两步即可：将 Torch 张量（变量对象）转换成 Numpy，然后进行反向运算即可。

当然，如果你不需要实现任何独特的内容，则 Keras 也表现的非常好，因为你不会遇到任何 TensorFlow 障碍。但如果想要实现一些独特的内容，则 PyTorch 可能会表现得更加平滑。

训练模型

开始训练

利用 Keras 训练模型超级简单！只需要一个简单的.fit()，你就可以开启模型训练之旅。

而利用 PyTorch 训练模型包含以下几个步骤：

• 每一批次的训练开始时初始化梯度
• 在模型中运行前向传播
• 运行后向传播
• 计算损失和更新权重

所以，就训练模型来说，PyTorch 较为繁琐。

控制 CPU vs GPU 模式

我们需要更多算力。

如果你已经安装了 tensorflow-gpu，则在 Keras 中能够使用 GPU 并且会默认完成。然后，如果你想要将某些运算转移至 CPU，则可以以单行方式完成。

但对于 PyTorch 来说，你必须显式地为每个 torch 张量和 numpy 变量启动 GPU。这样代码会比较混乱。并且如果你想在 CPU 和 GPU 之间来回移动以执行不同运算，则很容易出错。

例如，为了将之前的模型转移到 GPU 上运行，则需要以下步骤：

因而，Keras 在简洁性和默认设置方面优于 PyTorch。

选择 Keras 或 PyTorch 的一般性建议

作者通常建议初学者从 Keras 开始。Keras 绝对是理解和使用起来最简单的框架，能够很快地上手运行。你完全不需要担心 GPU 设置、处理抽象代码以及其他任何复杂的事情。你甚至可以在不接触任何 TensorFlow 单行代码的情况下，实现自定义层和损失函数。

但如果你开始深度了解到深度网络的更细粒度层面或者正在实现一些非标准的事情，则 PyTorch 是你的首选库。使用 PyTorch 需要进行一些额外操作，但这不会减缓你的进程。你依然能够快速实现、训练和测试网络，并享受简单调试带来的额外益处。

参考链接：https://towardsdatascience.com/keras-vs-pytorch-for-deep-learning-a013cb63870d