混合精度在计算方法中结合了不同的数值精度。
使用精度低于FP32的系统可以减少内存使用,允许部署更大的网络。数据传输需要更少的时间,而且计算性能会提高,尤其是在NVIDIA gpu上,它的Tensor Core支持这种精度。DNNs的混合精度训练实现了两个主要目标:
-减少需要的内存,使训练更大的模型或训练更大的小批量
-通过低精度算法降低所需资源,缩短训练/推理时间。
本视频演示了如何在TensorFlow里训练ResNet-50与混合精度。
在这个视频中有五件重要的事情:
NVIDIA官网关于混合精度的文档:
更多学习视频: