[AI新知] Google用新方法缩放网路模型，提高准确率却不会牺牲效能

导读

Google AI研究团队发表了缩放卷积式网路模型的新方法，利用简单却高效的复合系数，透过更结构化的方式，来缩放CNN模型

Google AI研究团队最近发表了缩放卷积式网路（CNN）模型的新方法，利用简单却高效的复合系数，透过更结构化的方式，来缩放CNN模型，有别于任意扩展模型维度的传统方法，像是宽度、深度，或是用更高解析度的图像当训练资料，Google研究团队的方式是针对每个维度，用固定的系数，一致地扩展，利用该方法搭配上Google的自动建模工具AutoML，Google开发出一系列更小更快的模型EfficientNet，效能可以快上10倍。

CNN模型的开发通常是用固定的资源成本，当有更多资源时，为了达到更好的准确率，就会扩展CNN模型，举例来说，可以增加ResNet网路的层数，从ResNet-18扩展至ResNet-200，传统任意扩展模型维度的方法，虽然也可以改善准确率，但是需要经过繁杂的手动优化过程，且通常需要牺牲效能，Google的目标是要找出提升准确率的同时，又能保持效能的缩放模型方法。

为了理解缩放模型的影响，Google研究团队有系统地研究了扩增模型不同维度所产生的影响，当扩增个别维度能够改善模型表现时，Google观察如何平衡模型其他所有的维度，以最好地改善整体的表现。第一步，Google用网格搜寻（grid search）来找出扩展不同维度之间的关系，如此一来，能够确定每个维度的适当系数，接着，用这些系数来将原本的模型缩放成目标模型大小，或是符合预算的模型。

此外，由于EfficientNet模型展现出显著的效能改善，Google希望EfficientNet模型能成为未来电脑视觉任务的新基础，因此，Google团队开源释出所有EfficientNet一系列的模型。