【在线视频】如何在GPU上进行混合精度训练

混合精度在计算方法中结合了不同的数值精度。

使用精度低于FP32的系统可以减少内存使用，允许部署更大的网络。数据传输需要更少的时间，而且计算性能会提高，尤其是在NVIDIA gpu上，它的Tensor Core支持这种精度。DNNs的混合精度训练实现了两个主要目标:

-减少需要的内存，使训练更大的模型或训练更大的小批量

-通过低精度算法降低所需资源，缩短训练/推理时间。

本视频演示了如何在TensorFlow里训练ResNet-50与混合精度。

在这个视频中有五件重要的事情:

1. 混合精度训练可以提高计算性能，并在保持训练精度的同时减少内存带宽。
2. 充分利用了Tensor Cores在FP16中进行计算操作。
3. 权重的主副本保存在FP32中，以避免在反向传播期间进行不精确的权重更新。
4. 为了确保梯度在FP16中得到安全地表示，进行了损耗缩放，并在FP32中计算了损耗，以避免FP16中出现的溢出问题。
5. Tensor Core加速的最佳实践指南:使用8的倍数做为Linear层矩阵的大小, 和做为卷积通道的数量.。

NVIDIA官网关于混合精度的文档：

更多学习视频：

确认过的眼神：这是一份NVIDIA TensorRT 4.0的实战教程

MATLAB 与 NVIDIA TensorRT 在一起啦，你不看看么？