主流的深度学习开源框架

TensorFlow最初由谷歌的Machine Intelligence research organization 中Google Brain Team的研究人员和工程师开发的。这个框架旨在方便研究人员对机器学习的研究，并简化从研究模型到实际生产的迁移的过程。

Google自开源TensorFlow起，投入大量的人力，物力，财力，逐步构建了一个AI生态，从基础研究、AI教育再到应用实现，而这个生态的核心就是TensorFlow。如前所说，深度学习是AIoT时代的基石，毫无疑问，Google依然走在时代转折点的前列。

TensorFlow提供全面的服务，无论是Python，C++，JAVA，Go，甚至是JavaScript，Julia，C#，几乎所有开发者都可以从熟悉的语言入手开始深度学习的旅程。TensorFlow构建了活跃的社区，完善的文档体系，大大降低了我们的学习成本，不过社区和文档主要以英文为主，中文支持有待加强。另外，TensorFlow有很直观的计算图可视化呈现。模型能够快速的部署在各种硬件机器上，从高性能的计算机到移动设备，再到更小的更轻量的智能终端。

TensorFlow的缺点已经被诟病多年，相比Pytorch，Caffe等框架，TensorFlow的计算速度可以说是“牛拉车“。而且通过它构建一个深度学习框架需要更复杂的代码，还要忍受重复的多次构建静态图。

但综合来说，对于英文阅读和英文交流毫无障碍的同学，TensorFlow依然是深度学习框架的优选方案。

Pytorch是基于用Lua编写的Torch库的Python实现的深度学习库，它由Facebook创建，目前被广泛应用于学术界和工业界，随着Caffe2项目并入Pytorch，Pytorch开始威胁到TensorFlow在深度学习应用框架领域的地位。

Pytorch官网的标题语简明地描述了Pytorch的特点以及将要发力的方向。Pytorch在学术界优势很大，关于用到深度学习模型的文章，除了Google的，其他大部分都是通过Pytorch进行实验的，究其原因，一是Pytorch库足够简单，跟NumPy，SciPy等可以无缝连接，而且基于tensor的GPU加速非常给力，二是训练网络迭代的核心-梯度的计算，Autograd架构(借鉴于Chainer)，基于Pytorch，我们可以动态地设计网络，而无需笨拙地定义静态网络图，才能去进行计算，想要对网络有任务修改，都要从头开始构建静态图。基于简单，灵活的设计，Pytorch快速成为了学术界的主流深度学习框架。

Pytorch的劣势在于模型部署，由于对其部署难度早有耳闻，我没尝试过部署Pytorch的模型，一般是在Pytorch快速的试验新的模型，确认好的效果再去找“现成的”的TensorFlow模型做简单的优化。

不过现在，如果稍微深入了解TensorFlow和Pytorch，就会发现他们越来越像，TF加入了动态图架构，Pytorch致力于其在工业界更加易用。打开各自的官网，你也会发现文档风格也越发的相似。

Keras是一个高层神经网络API，由纯Python编写而成并使用TensorFlow、Theano及CNTK作为后端。Keras为支持快速实验而生，能够把想法迅速转换为结果。Keras应该是深度学习框架之中最容易上手的一个，它提供了一致而简洁的API， 能够极大地减少一般应用下用户的工作量，避免用户重复造轮子。

严格意义上讲，Keras并不能称为一个深度学习框架，它更像一个深度学习接口，它构建于第三方框架之上。Keras的缺点很明显：过度封装导致丧失灵活性。Keras最初作为Theano的高级API而诞生，后来增加了TensorFlow和CNTK作为后端。为了屏蔽后端的差异性，提供一致的用户接口，Keras做了层层封装，导致用户在新增操作或是获取底层的数据信息时过于困难。同时，过度封装也使得Keras的程序过于缓慢，许多BUG都隐藏于封装之中，在绝大多数场景下，Keras是本文介绍的所有框架中最慢的一个。

Caffe的全称是Convolutional Architecture for Fast Feature Embedding，它是一个清晰、高效的深度学习框架，核心语言是C++，它支持命令行、Python和MATLAB接口，既可以在CPU上运行，也可以在GPU上运行。

Caffe的优点是简洁快速，缺点是缺少灵活性。不同于Keras因为太多的封装导致灵活性丧失，Caffe灵活性的缺失主要是因为它的设计。在Caffe中最主要的抽象对象是层，每实现一个新的层，必须要利用C++实现它的前向传播和反向传播代码，而如果想要新层运行在GPU上，还需要同时利用CUDA实现这一层的前向传播和反向传播。这种限制使得不熟悉C++和CUDA的用户扩展Caffe十分困难。

Caffe凭借其易用性、简洁明了的源码、出众的性能和快速的原型设计获取了众多用户，曾经占据深度学习领域的半壁江山。但是在深度学习新时代到来之时，Caffe已经表现出明显的力不从心，诸多问题逐渐显现（包括灵活性缺失、扩展难、依赖众多环境难以配置、应用局限等）。尽管现在在GitHub上还能找到许多基于Caffe的项目，但是新的项目已经越来越少。

Caffe的作者从加州大学伯克利分校毕业后加入了Google，参与过TensorFlow的开发，后来离开Google加入FAIR，担任工程主管，并开发Caffe2。Caffe2是一个兼具表现力、速度和模块性的开源深度学习框架。它沿袭了大量的 Caffe 设计，可解决多年来在 Caffe 的使用和部署中发现的瓶颈问题。Caffe2的设计追求轻量级，在保有扩展性和高性能的同时，Caffe2 也强调了便携性。Caffe2 从一开始就以性能、扩展、移动端部署作为主要设计目标。Caffe2 的核心 C++ 库能提供速度和便携性，而其 Python 和 C++ API 使用户可以轻松地在 Linux、Windows、iOS、Android ，甚至 Raspberry Pi 和 NVIDIA Tegra 上进行原型设计、训练和部署。

Caffe2继承了Caffe的优点，在速度上令人印象深刻。Facebook 人工智能实验室与应用机器学习团队合作，利用Caffe2大幅加速机器视觉任务的模型训练过程，仅需 1 小时就训练完ImageNet 这样超大规模的数据集。

PaddlePaddle是由百度自主研发的开源深度学习平台，中文名字--飞桨。飞桨(PaddlePaddle)集深度学习训练和预测框架、模型库、工具组件和服务平台为一体，拥有兼顾灵活性和高性能的开发机制、工业级的模型库、超大规模分布式训练技术、高速推理引擎以及系统化的社区服务等五大优势，致力于让深度学习技术的创新与应用更简单。

Apache MXnet是为了提高效率和灵活性而设计的深度学习框架。它允许使用者将符号编程和命令式编程混合使用，从而最大限度地提高效率和生产力。

Theano是深度学习框架的鼻祖，它由Yoshua Bengio和蒙特利尔大学的研究小组于2007年创建，是率先广泛使用的深度学习框架。Theano 是一个 Python 库，速度更快，功能强大，可以高效的进行数值表达和计算，可以说是从NumPy矩阵表达向tensor表达的一次跨越，为后来的深度学习框架提供了样板。遗憾的是Theano团队已经停止了该项目的更新，深度学习应用框架的发展进入到了背靠工业界大规模应用的阶段。