AutoML对开发者来说不是个陌生词汇了。
半年前Google I/O开发者大会上,谷歌推出能自动设计机器学习模型的方法AutoML,想让神经网络更“平易近人”。
虽然AutoML能设计出与人类设计的神经网络同等水平的小型神经网络,但始终被限制在CIFAR-10和Penn Treebank等小型数据集上。
△ 谷歌耗费数年探索出的GoogleNet网络架构
那么,AutoML在ImageNet图像分类和COCO物体检测等大型数据集上如何执行呢?
不得不说,应用到这两个数据集挑战巨大,它们的数量级远远大于CIFAR-10和Penn Treebank数据集。如果直接将AutoML应用到ImageNet,需要花费数月的时间来调整训练。
为了让这种方法应用到ImageNet中,研究人员对AutoML做了两点调整,方便更容易地处理大型数据集:
用这种方法,AutoML分别找到在CIFAR-10和ImageNet图像分类、COCO物体检测中的最佳层。这两层结合形成一种新架构,我们称之为“NASNet”。
△ NASNet架构由两层组成:普通层(左)和还原层(右),两层均由AutoML设计
在ImageNet图像分类中,NASNet在验证集上的预测精度达到了82.7%,超过了之前所有的初始模型。此外,NASNet比先前所有执行结果性能提升了1.2%,与arxiv上预印本中最佳结果不相上下。
此外,NASNet可能会被调整产生一组模型,它们在低计算成本的情况下准确性仍非常感人。例如,一个小版本的NASNet准确度达74%,相比于移动平台同等规模、最先进的模型,这一数据要比后者高3.1%。
大的NASNet实现了目前最高的准确性,同时将之前论文中最佳结果的计算成本减半。
△ 在ImageNet图像分类中,NASNet和最先进的的人类构建的模型在不同模型大小上的准确性
研究人员也将从ImageNet学习到的特征迁移到物体检测。在实验中,研究人员将从ImageNet分类中学到的特征与Faster-RCNN框架特征结合,超越了预印本中在COCO目标检测任务上最好的预测性能,无论是在大模型和移动优化模型上。其中,最大模型的mAP(平均准确率)达到了43.1%,比先前发表的最好结果提升了4%。
△ 示例物体检测用到了NASNet的Faster-RCNN
研究人员认为,NASNet在ImageNet和COCO上学习的图像特征将被用于许多计算机视觉应用。因此,研究人员将NASNet开源,用于对图像分类和物体检测在Slim和TensorFlow库中物体检测的推理。
最后,附官方介绍地址:
https://research.googleblog.com/2017/11/automl-for-large-scale-image.html
及研究论文预印本地址:
https://arxiv.org/abs/1707.07012