Breakfast Bytes I HOT CHIPS机器学习现场笔记:On-device推理

微信又改版啦,为了让大家能及时看到我们的文(福)章(利),特意做了一个“星标教程”以免与大家擦肩而过~

HOT CHIPS是一年一度的高性能芯片大会,各大行业巨头都在此盛会上展出自家最尖端的芯片和技术。在今年的第30届会议上,我们的Paul亲临现场并为大家带来了关于机器学习领域的一手笔记。

他在重点介绍on-device推理领域的同时,也将向大家介绍在云端加速训练的内容;这一部分由MIT Han’s实验室的Song Han在此次会议上提出。

显然,一种更好地完成on-device推理工作的方法是构建一个特殊的on-device推理引擎。在这两天的会议上,Arm、英伟达(NVIDIA)和赛灵思(Xilinx)等公司都展出了他们的该类产品。所有的服务器处理器都对神经网络编程进行了优化,即使是新一代的Intel处理器(目前称为Cascade Lake SP)也对ISA进行了新的扩展:增加了专门用于评估神经网络的指令,可比常规指令更快完成任务。

神经网络的训练几乎总是在云端使用32位浮点数进行。大量研究表明即使我们计划最终运行一个降价模型(reduced model),我们也需要在训练期间保持精度。如果降得过快,我们便会错过陷入局部极小值的机会,或者在不收敛的情况下结束。通常,当我们看到一张图在展示代表训练算法正在探索的空间的平面时,这张图都是一张光滑的鞍状图而没有任何问题。然而实际上,下方的图片才更具代表性。

深度模型压缩

剪枝(Pruning)

第一个优化方法是剪枝(Pruning)。训练出来的网络有大量的连接,其中很多可以被移除而不会影响模型的准确性。一旦这些连接被移除,网络就可以在较少连接的情况下进行重新训练,模型的精准度也会通过重新训练和重新计算全部权重而得到恢复。剪枝和再训练的过程可以重复进行,直到在不损失过多准确性的情况下再无连接可被移除。

人类的大脑也会进行剪枝。新生儿有50万亿个突触,这个数字随着婴儿大脑的生长而在一周岁时达到1000万亿。而当婴儿进入青春期时,这个数字会减半到500万亿。用这种方法修剪神经网络也会有类似的效果,有时经过剪枝和重新训练的网络不仅更小,准确率也会同时提高。在AlexNet上使用这种方法,卷积层可以减少3倍,完全连接层可以减少10倍。

稀疏(Sparsity)

第二个方法是稀疏(Sparsity)。我们都知道任何数乘以0的结果是0,所以当我们将0权重作为一个乘数时我们就得到了最简单直白的优化方法。因此我们不仅不需要将0输入到乘法器中,我们还可以使另一个输入保持在原来的值上,从而既节省了对总线的内存访问,又节省了电源。当进行训练时,很多权重几乎不参与推理并接近于0。通过将这些权重直接设置为0,我们可以使矩阵变得稀疏并使任何优化成为可能。

如下图所示,稀疏性可以是非结构化的,也可以是结构化的。通过使用稀疏性,一个可以交付1TOPS的网络实际可以交付3TOPS(如果将所有从未实际执行过的操作都计算在内的话)。

量化(Quantization)

量化(Quantization)意味着将权重的宽度从32位浮点数减少到16位、8位甚至更低。令人惊讶的是,这么做并不会损失过多的准确性,却使深度压缩实际奏效。

联合以上优化方法

如果这么做,我们会得到高达50X的压缩比,同时Song演讲中提出的每一个基准测试都在压缩网络中提高了精准性。

更令人惊讶的是,剪枝后的模型加速了图像分类和目标探测能力。这是因为速度的限制(即“roof line”)是对内存带宽的限制,而不是对计算的限制。通过减少内存访问,计算单元可以保持更忙碌的状态。这几乎与用于执行推理的引擎无关。如此看来,压缩网络似乎只有利端而无弊害:更小、更快、更准确。

硬件设计

基于HOT CHIPS上神经网络处理器的介绍和展示,我从Song Han和其他人的工作中得到的经验教训是:

在云端要以完全精准的状态训练

使用上述技术压缩网络

优化稀疏矩阵的推理硬件,避免表示0

优化存在一个输入为0的MAC操作,并禁止操作和访问非零操作数

将精度降低到8位或者16位,并构建大量8位MAC机

不要使用缓存,这只是在浪费时间。明智地安排操作,以便尽可能多地重用从内存中获取的值,而不是在后续的工作中返过头来重新加载相同的值。

*原创内容,转载请注明出处。

Breakfast Bytes系列:

欢迎您的留言!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181026G0BXZO00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券