导读
Google AI研究团队发表了缩放卷积式网路模型的新方法,利用简单却高效的复合系数,透过更结构化的方式,来缩放CNN模型
Google AI研究团队最近发表了缩放卷积式网路(CNN)模型的新方法,利用简单却高效的复合系数,透过更结构化的方式,来缩放CNN模型,有别于任意扩展模型维度的传统方法,像是宽度、深度,或是用更高解析度的图像当训练资料,Google研究团队的方式是针对每个维度,用固定的系数,一致地扩展,利用该方法搭配上Google的自动建模工具AutoML,Google开发出一系列更小更快的模型EfficientNet,效能可以快上10倍。
CNN模型的开发通常是用固定的资源成本,当有更多资源时,为了达到更好的准确率,就会扩展CNN模型,举例来说,可以增加ResNet网路的层数,从ResNet-18扩展至ResNet-200,传统任意扩展模型维度的方法,虽然也可以改善准确率,但是需要经过繁杂的手动优化过程,且通常需要牺牲效能,Google的目标是要找出提升准确率的同时,又能保持效能的缩放模型方法。
为了理解缩放模型的影响,Google研究团队有系统地研究了扩增模型不同维度所产生的影响,当扩增个别维度能够改善模型表现时,Google观察如何平衡模型其他所有的维度,以最好地改善整体的表现。第一步,Google用网格搜寻(grid search)来找出扩展不同维度之间的关系,如此一来,能够确定每个维度的适当系数,接着,用这些系数来将原本的模型缩放成目标模型大小,或是符合预算的模型。
此外,由于EfficientNet模型展现出显著的效能改善,Google希望EfficientNet模型能成为未来电脑视觉任务的新基础,因此,Google团队开源释出所有EfficientNet一系列的模型。