有些人会觉得现在市场上有很多深度学习引擎的框架,比如tensorflow, pytorch, caffe等,为什么还需要加速呢,很简单,虽然深度学习的技术发展火热,也有很多大牛,但是深度学习框架在技术上目前并没有收敛。这种事就像大数据分析hadoop一样,之前并没有成熟框架来处理分布式数据,经过很多年沉淀,现在hadoop已经成工业标准,后来内存的计算用spark。深度学习框架也是一样,由于深度学习算法还没有完全成熟以及与传统硬件计算力的不同(对新的芯片计算能力有需求),所以深度学习框架并没有得到真正的收敛。下面我们看一下袁进辉老师对深度学习架构的优化有什么办法。
袁进辉老师首先分析已有框架的优缺点,然后分享深度学习框架应该怎么加速(数据并行,模型并行,流水并行)的观点。
视频转载自腾讯视频