专栏首页机器之心精度、延迟两不误,移动端性能新SOTA,谷歌TF开源轻量级EfficientNet

精度、延迟两不误,移动端性能新SOTA,谷歌TF开源轻量级EfficientNet

机器之心报道

机器之心编辑部

我们都知道,谷歌在 2019 年 5 月推出了一种用于图像分类的新模型——EfficientNet,该模型在使用更少参数、消耗更少算力的情况下,达到了目前图像分类 SOTA 的准确度。这令人不由自主地联想到,如果能让 EfficientNet 运行在计算资源受限的移动设备上,是否会为移动或物联网等设备开拓出新的应用场景呢?TensorFlow 最新的博客给出了答案。

今天,谷歌在 GitHub 与 TFHub 上同时发布了 EfficientNet-Lite,该模型运行在 TensorFlow Lite 上,且专门针对移动设备 CPU、GPU 以及 EdgeTPU 做了优化。EfficientNet-Lite 为边缘设备带来了 EfficientNet 上强大的性能,并且提供五个不同版本,让用户能够根据自己的应用场景灵活地在低延迟与高精度之间选择。

项目地址:https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite

即便是 EfficientNet-Lite4 这个计算量最大的版本,在 ImageNet top-1 上达到 80.4% 分类精度的同时,也能够实时(30ms/image)运行在 Pixel 4 的 CPU 上。EfficientNet-Lite 与目前流行的图像分类模型对应量化版本的性能比较如下图所示:

图 1. 在 Pixel 4 CPU 上开启四个线程时各模型经过 INT8 量化后的性能比较。

量化与异构硬件方面的难题

由于边缘设备的一些特性,使得 EfficientNet 在其上运行面临着很多挑战。

首先是量化问题。由于浮点运算在边缘设备上的支持有限,需要对模型进行量化处理。然而,这一过程往往涉及复杂的量化感知训练(伪量化),或降低训练后量化模型的准确率。

幸运的是,借助 TensorFlow Lite 中提供的训练后量化流程来对模型进行量化处理,能够在最大程度上降低对其准确率的影响。

其次是异构计算设备带来的问题。要想在移动设备 GPU 或 EdgeTPU 这一类大范围的硬件加速器上,运行同样的模型是一件非常有挑战的事。由于这类硬件针对其应用场景进行了高度定制,它们仅在有限的运算操作上具有良好性能。谷歌的工程师就发现,一些特定硬件加速器并不能很好地支持 EfficientNet 中的一些运算。

为解决以上问题,谷歌对原本的 EfficientNet 做了如下改进:

  • 去除 squeeze-and-excitation 网络,因为其在异构计算设备上支持欠佳
  • 使用 RELU6 替代所有的 swish 激活函数,这一操作极大地提升了训练后量化的质量
  • 放缩模型尺寸时固定住其 stem 与 head 模块以减少放缩后模型的尺寸与计算量

利用 TensorFlow 模型优化工具包进行训练后量化

得益于 TF 模型优化工具包,研究者利用整型训练后量化(integer-only post-training quantization)即可以轻松地对模型进行量化,同时准确度也不会有太多损失。这样就可以将模型大小减少至原来的 1/4,推理速度提升至原来的 2 倍。

下图是 EfficientNet-Lite0 浮点模型与其量化版本在准确度和延迟两个方面的对比情况:

在 4 线程 Pixel 4 CPU 上进行基准测试。

研究者还分享了一些有关训练后量化的经验。他们表示,在首次尝试利用训练后量化时,准确度出现了大幅度下降:ImageNet 数据集上的 Top-1 准确度由 75% 降至 46%。之后,研究者发现准确度的大幅下降是由量化输出范围过大造成的。在本质上,量化是对浮点值进行仿射变换(affine transformation),从而拟合 8 位整型的(int8)bucket:

量化图示。

在下面的示例中,输出张量范围由-168 到 204:

这表明,由于很难将大范围的浮点张量拟合至 8 位整型 bucket,准确度可能已经损失太多了。

为了解决这一问题,研究者将 swish 激活函数替换为「约束范围的」激活函数(relu6),因为后者将输出范围限制在 [0, 6]。做出此改变后,量化模型在 ImageNet 数据集上的 Top-1 准确度由之前的 46% 回升至 74.4%。

在数据集上尝试使用 EfficientNet-Lite

现在我们可以看看如何使用 EfficientNet-Lite 在你的数据集上的性能表现。官方博客建议使用 TensorFlow Lite Model Maker,这是一个可以在已有 TensorFlow 模型上应用迁移学习的工具。其中,用户可以使用自己的输入数据,并以 TensorFlow Lite 的形式输出模型。

TensorFlow Lite Model Maker 支持很多模型架构,包括 MobileNetV2 和所有变体版本的 EfficientNet-Lite。以下为使用 EfficientNet-Lite0 进行图像分类的代码,只需要五行就够了。

# Load your custom dataset
data = ImageClassifierDataLoader.from_folder(flower_path)
train_data, test_data = data.split(0.9)# Customize the pre-trained TensorFlow model
model = image_classifier.create(train_data, model_spec=efficienetnet_lite0_spec)# Evaluate the model
loss, accuracy = model.evaluate(test_data)# Export as TensorFlow Lite model.
model.export('image_classifier.tflite', 'image_labels.txt')

通过改变 model_spec 参数,你可以很容易地尝试不同的模型。对于小数据集,如 tf_flowers,你可以达到 92% 的准确率,而且只需要几分钟时间,训练 5 个 epoch。如果训练更多 epoch,采用更多数据,或者微调整个模型,效果还能更好。

模型建立好以后,可以将其构建为移动端 app。App 会自动下载在 ImageNet 数据集上预训练过的 EfficientNet-Lite,并存放在 asset 文件件。如果你想定制化自己的模型,可以替换掉该文件夹中的模型。

从截图上可以看到,模型可以实现实时推理速度(>= 30 fps)。

参考链接:https://blog.tensorflow.org/2020/03/higher-accuracy-on-vision-models-with-efficientnet-lite.html?linkId=84432329

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 终于!谷歌移动端深度学习框架TensorFlow Lite正式发布

    机器之心
  • 7 Papers | 微信团队等NumNet论文;神经算术逻辑单元评价方法;将量子电路转为机器学习模型

    论文 1:Parameterized quantum circuits as machine learning models

    机器之心
  • 专访 | MATLAB更新R2017b:转换CUDA代码极大提升推断速度

    机器之心原创 作者:蒋思源 近日,Mathworks 推出了包含 MATLAB 和 Simulink 产品系列的 Release 2017b(R2017b),该...

    机器之心
  • 终于!谷歌移动端深度学习框架TensorFlow Lite正式发布

    机器之心
  • 震惊!谷歌正式发布移动端深度学习框架TensorFlow Lite

    今年 5 月,谷歌曾在 I/O 大会上宣布即将推出 TensorFlow Lite,今日,谷歌终于发布了新工具的开发者预览版本,这是一款 TensorFlow ...

    刘盼
  • 【AI听】微软刷新了SQuAD记录!聊天机器人居然懂人类情感?谷歌大脑「神经网络优化器搜索」又双叒叕更新……

    本周关键词 SQuAD|聊天机器人 计算机视觉|谷歌大脑 主播 | 吴璇 NO/1 上周,微软又刷新了SQuAD记录... 今年7月,斯坦福大学发起的SQuA...

    AI研习社
  • 12-MQTT介绍

    看到这个项目第一想法肯定需要一个服务器,所有的wifi设备和手机都去连接这个服务器,然后服务器进行信息的中转

    杨奉武
  • [PHP] 通用网关接口CGI 的运行原理

    CGI 的运行原理: 1.客户端访问某个 URL 地址之后,通过 GET/POST/PUT 等方式提交数据,并通过 HTTP 协议向 Web 服务器发出请求。 ...

    陶士涵
  • 3D视觉技术在机器人抓取作业中的应用实例

    摘要:近年来,机器人自动化领域越来越多地应用3D视觉技术对目标物体进行定位。本文主要研究3D视觉技术在机器人抓取作业中的应用,总结了3D视觉技术在识别、定位物体...

    小白学视觉
  • 织梦添加新变量和删除新变量的方法

    在用织梦建站时,有时候想调用自定义的某些信息,而织梦后台没有调用这些信息的地方,例如站长邮箱、站长 QQ 等,这时我们就可以用织梦后台添加新变量的方法调用自定义...

    Savalone

扫码关注云+社区

领取腾讯云代金券