英伟达网络：硬件感知网络转化，加速硬件上部署（附源文件）

计算机视觉研究院

发布于 2021-07-30 16:50:26

5580

发布于 2021-07-30 16:50:26

文章被收录于专栏：计算机视觉战队计算机视觉战队

作者：Edison_G

给定一个训练有素的网络，我们如何加速它以满足在特定硬件上部署的效率需求？

前言

给定一个训练有素的网络，我们如何加速它以满足在特定硬件上部署的效率需求？常用的硬件感知网络压缩技术通过修剪、核融合、量化和降低精度来解决这个问题。

但是，这些方法不会改变底层网络操作。在今天分享中，研究者提出了硬件感知网络转换 (HANT)，它通过使用类似神经架构搜索的方法用更有效的替代方法替换低效操作来加速网络。HANT分两个阶段解决这个问题：在第一阶段，使用逐层特征图蒸馏训练教师模型每一层的大量替代操作。在第二阶段，将有效操作的组合选择放宽到可以在几秒钟内解决的整数优化问题。

通过内核融合和量化扩展了HANT，以进一步提高吞吐量。研究者对EfficientNet系列加速的实验结果表明，HANT可以将它们加速高达3.6倍，而ImageNet数据集的top-1精度下降<0.4%。在比较相同的延迟水平时，HANT可以将EfficientNet-B4加速到与EfficientNet-B1相同的延迟，同时准确度提高3%。

背景

在许多应用程序中，我们可能可以访问在准确性方面满足所需性能需求的神经网络，但是，部署的计算成本太高。硬件感知网络压缩的目标是降低在实际应用中部署深度神经网络的运营成本、功耗和环境影响方面发挥着关键作用。

当前的网络压缩技术可以分为：（ⅰ）修剪，消除非活性神经元，（ⅱ）编译时优或内核融合，结合多个操作成等效操作，（iii）降低精度的量化，以及(iv)知识提炼，将知识从较大的教师网络提炼到较小的学生网络中。(i) 到 (iii) 中的方法仅限于底层网络操作，它们不会改变架构。知识蒸馏将网络架构从教师转变为学生，但是学生架构搜索由于手动设计需要领域知识和多次迭代。

为了以高效且可扩展的方式解决具有大量候选操作的搜索问题，研究者提出了一种两阶段的方法。在第一阶段，定义了一个大的操作池，从经典的残差块到更新的转换器类型块，例如在 [dosovitskiy2020image] 中使用的具有不同超参数的操作。对于教师的每一层，研究者使用一个简单的逐层损失函数来训练所有候选操作，该函数鼓励候选者模仿教师的层；这可以在一个时期内快速并行完成。

新框架

新提出的方法通过知识蒸馏引导的预训练阶段降低了重复多目标搜索的成本，然后是一种廉价的神经架构搜索方法。最近有几项工作共享研究者方法的共同元素，在上表中进行了比较。

候选预训练阶段：最小化教师操作ti的输出和每一层s上每个学生操作的输出之间的MSE损失，其中每个操作的输入是前一层的教师输出。

架构搜索：研究者在查找表中估计并记录网络准确性和延迟的降低，因为用其中一个学生操作替换教师操作。然后研究者应用整数规划来最小化精度降低，同时实现目标延迟降低。

实验

研究者将HANT应用于EfficientNet模型系列。

实施细节。 从TensorFlow存储库中导入现成的预训练模型和权重作为教师模型。只有ImageNet-1K数据集用于预训练、候选评估和微调。在第二阶段找到架构后，使用开箱即用的timm package，其参数与EfficientNet训练相匹配，以对所选架构进行100次微调。对于预训练，使用4个V100 GPU，为了微调32个V100 GPU，所有训练都在PyTorch中以FP16模式完成。