深度学习TensorFlow道术6

静听花开花落 坐看云卷云舒

TF数据流图模型广泛应用于机器学习领域，一个应用场景是加速训练大规模计算密集型神经网络模型，本文将介绍TF实现三种加速方法。

数据并行训练：将输入数据分成多份子集，针对每份数据子集，先分别在不同device上并行跑模型副本计算梯度，再合并梯度，最后更新参数。有同步数据并行和异步数据并行两种方式，前者使用单个Client驱动模型多副本执行，所有副本同步更新参数，后者每个Client驱动一个模型副本，每个副本异步更新参数。

模型并行训练：TF模型的不同部分可以同时在不同的设备上执行，下图展示了在三个device上并行执行一个深度LSTM模型。

流水线并行训练：将计算步骤流水线化，在同一个device内，不同步骤可以并行执行。

参考文献：

TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems. 2015.

Google TensorFlow 人工智能 深度学习 框架

未名小宇宙，一直在您身边，欢迎关注！