MobileNet教程:用TensorFlow搭建在手机上运行的图像分类器

王瀚宸 编译自 Hackernoon 量子位 报道 | 公众号 QbitAI

在移动端本地运行神经网络成了明显的趋势,Google还为此推出了MobileNet框架。

MobileNet框架怎么用?Coastline Automation创始人Matt Harvey最近在Medium上发布了一份教程,教你用MobileNet来识别道路。

Coastline是一家用深度学习来监测行车情况、防止车祸的公司。以下是Matt Harvey的教程:

作为卷积神经网络中的新成员,MobileNet有着很多令人惊艳的表现,今天我们就用数据集训练一个试试。

MobileNet具有以下酷炫的特点:

1. 它们非常非常小

2. 它们非常非常快

3. 它们非常非常准

4. 它们很容易调试

这些特点是非常重要的。

目前,很多移动端上的深度学习任务都是在云端完成的。当你想要让手机识别一张图片,程序会先把这张图片通过网络发送到远程服务器上进行分类,随后再将结果发送回手机上。

随着手机计算能力的迅猛增加,加上SqueezeNet和MobileNet等架构让计算机视觉所需要的网络复杂度快速下降,深度学习计算很快就能完全在设备本地完成。

移动设备本地的深度学习,除了能在没有网络连接的情况下正常运行之外,另一个长处是节省时间,比如说一个车辆安全应用,对反应速度要求非常高,把图片传送到云端处理显然是不现实的。

因此,本文按照以下的顺序来介绍MobileNet:

1. MobileNet是什么?

2. 怎样搭建自己的数据集,在TensorFlow下训练MobileNet?

3. 怎样用TensorFlow训练一个在ImageNet上训练过的模型?

4. 跟Inception V3相比,MobileNet的表现怎么样?

5. 怎样使用再训练(retrained)的MobileNet来识别图片?

MobileNets是什么?

MobileNet是由Google的研究者们设计的一类卷积神经网络。它们在手机上运行,计算消耗小、运行速度快,因此很适合在移动端上做应用。

MobileNet和传统的CNN在结构上的差别主要是,传统CNN中在批规范化和ReLU(线性整流函数)前边,是一个3×3卷积层,而MobileNet将卷积过程分为一个3×3深度方向的卷积和一个1×1点对点的卷积。如果你想了解个中细节和缘由的话,我强烈建议你读一下他们的论文。

论文: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications https://arxiv.org/pdf/1704.04861.pdf

那么MobileNet的短板是什么呢?准确性。跟我们熟悉的那些大型、消耗巨大资源的神经网络相比,MobileNet的准确性不如前者高。但是MobileNet的长处是能够在功耗和性能之间寻求良好的平衡点。

MobileNet拥有两个表观变量:width multiplier和resolution multiplier,我们可以通过调整这两个变量值来使得模型适应具体问题。Width multiplier让我们把网络变得稀疏,而resolution multiplier可以改变输入图片的分辨率,从而降低每层网络间的内部表达。

Google开源了MobileNet,并随之开放了16个ImageNet checkpoint,每一个对应一种不同的参数结构。这为我们训练自己的小又快的图像分类器提供了一个良好的开端。

搭建数据集,训练MobileNet

我们今天的挑战是搭建一个能够识别道路和非道路图片的分类器。这就像《硅谷》里面的“hot dog, not hot dog”应用,把热狗改成了道路。

为什么选择道路呢?因为在Coastline,我们正在基于计算机视觉开发用于汽车安全的移动应用。跟所有涉及视觉的app一样,用户隐私是非常需要考虑的一点。所以当用户打开我们的app时,系统会首先检查它看到的是否是道路。如果不是的话,那么它就会关闭摄像头。我们希望这个过程能够在尽可能快速、只占用少量资源的情况下完成。

为了解决这个问题,我们需要先为它创建数据集。我们的目标是收集10,000张图片,道路和非道路的图片大概各占50%。

我们从以下几个来源得到相应的图片:

  • 从我们自己的数据集里,随机选取4,000张显然是道路的图片;
  • 从ImageNet里随机选取2000张显然不是道路的图片;
  • 从网上选取3000张不那么明显的非道路图片,以防分类器学会的是区分“天空、非天空”;
  • 从网上选取1000张不那么明显的道路图片,以防分类器把挡风玻璃上的倒影等特征错认为道路特征。

我们将会把图片放进“道路”或“非道路”文件夹,这就是我们在重新训练网络之前所需要的图片上的准备工作。

此外,从网上搜集的图片可以有效地增加你的数据集的多样性,但这样做也有一个缺点,网站上图片的标签往往有些混乱。比如说,通过搜索“道路风景(road landscape)”所得到的图片可能是在美美的自然风光背景下郑重有条通向前方的道路:

或者是群山中有一条隐约可见的小路:

为解决这个问题,我们可以挨个浏览每张图片然后手动进行标注,但如果是这样那我们还要Deep learning干嘛呢?

实际上,我们将在所有数据的基础上重新训练一个大型的网络(比如Inception V3),注意要通过early stopping和heavy data augmentation等方法来防止过拟合。

然后我们让网络对数据集中所有的图片(包括之前用来训练的图片)进行分类,然后记录那些分错类或不确定的图片。随后我们逐个排查这些图片,把它们移动到正确的分类下。

这与之前手动分类图片相比,需要进行的调整的图片数量大大减少。重复这个多次步骤,能够让我们的准确率比Inception提高7个百分点。

随后我们将会使用TensorFlow以及迁移学习来在我们这个特定的数据集上对MobileNet进行调整。

使用ImageNet预训练过的模型

TensorFlow拥有一些很好的工具,你可以使用它们在不码任何代码的情况下就能够重新训练MobileNet。

TensorFlow下再训练MobileNet详情: https://github.com/tensorflow/tensorflow/commit/055500bbcea60513c0160d213a10a7055f079312

你可以用TensorFlow范例文件夹里的脚本文件,来在你自己的数据上重新训练MobileNet。

等等!你应该使用哪一版的MobileNet呢?这是个好问题。让我们先简单训练一下比较各个版本的表现。为了开始训练,我们将会运行以下一段来自TensorFlow repository根目录下的脚本:

python tensorflow/examples/image_retraining/retrain.py \
    --image_dir ~/ml/blogs/road-not-road/data/ \
    --learning_rate=0.0001 \
    --testing_percentage=20 \
    --validation_percentage=20 \
    --train_batch_size=32 \
    --validation_batch_size=-1 \
    --flip_left_right True \
    --random_scale=30 \
    --random_brightness=30 \
    --eval_step_interval=100 \
    --how_many_training_steps=600 \
    --architecture mobilenet_1.0_224

代码中“architecture”的标签对应着将要重新训练的MobileNet的版本。这里“1.0”对应着width multiplier,取值范围有1.0,0.75,0.50和0.25。“224”则对应着image resolution/resolution multiplier,这里可以选择的值有224,192,160和128。具体来说,为了训练最小型的MobileNet,你应该用“—architecture mobilenet_0.25_128”。

代码中所涉及的其他重要的参数有:

learning_rate:这是你需要进行调整的参数,我发现设置为0.0001有较好的训练效果。

testing and validation percentage:这个脚本将会把你的数据分为 训练集/验证集/测试集 三类。网络将会使用训练集进行训练,在每一个“eval_step_interval”之后使用验证集对网络表现的评估进行更新,最后在“how_many_training_steps”之后使用测试集进行测试,给出最终的分数。

validation_batch_size:把这项设为-1意味着让脚本使用你所有的数据来进行验证。当你没有很多数据时(比如说这里我们只有10000张图片),把这项设为-1可以有效地较少评估步骤中的差异。

用这种方法训练几个版本的MobileNet之后,让我们看看他们之间的比较吧。

MobileNet表现如何?

为了得到比较的基准,我们花18分钟对Inception进行了600步训练,最终达到了95.9%的正确率,模型大小有84MB。

在测试对1,000张图片进行快速识别时发现,Inception可以在NVIDIA GeForce 960m GPU的架构上以19fps(frame per second,每秒钟识别的图片数)的速度对图片进行识别。

当然,这个结果还有很多改进空间,但我们不打算在这上面继续花时间了。

训练Inception V3,只需要将脚本中的-architecture-标签那里改为inception_v3即可。

旁注:为什么准确率只有95.9%?这看起来应该是个很好解决的问题。确实,除了我们可以对训练参数进行充分的调试之外(我们实际上在另一次采用不同结构的训练中取得了98.9%的准确率),其实这两个类别之间的界定也有一些模糊。比如说:

有一张图片的内容是是树林中一条不清晰的小径。这到底是一条铁路还是马路?我自己都不清楚。

有一张图片是,在风景名胜中的远处有条路。这到底是算作是一个风景还是一条道路?或者是算作是一张图片中的道路?什么情况下我们认为这个分类会改变?

有一些偏艺术风的图片,是否应该算作是道路呢?

那么,MobileNet的表现如何呢?不出意外,没那么好。但是,牺牲一些准确率却在其他方面有了很大的提升。

使用最大的MobileNet(1.0, 224),我们能够在4分钟的训练下达到95.5%的正确率。最终产生的模型大小也仅有17Mb,在同样的GPU下能够以135fps的速度运行。

与Inception相比,MobileNet训练出的模型速度是前者的7倍,而尺寸只有前者的四分之一,准确率上只损失了0.4%。

那么最小尺寸的MobileNet(0.24, 128)表现怎么样呢?准确率下降了更多,只有89.2%,但是运行速度有450 fps,模型的大小仅有930kb,还不到1Mb!

用再训练的MobileNet来分类

现在你拥有了在你特定数据集上的重新训练后的MobileNet,是时候来试试了。不出意外的是,TensorFlow上也有相应的脚本文件来完成这项功能。

python3 tensorflow/examples/label_image/label_image.py \ 
  --graph=/tmp/mobilenet_0.50_192.pb \
  --labels=/tmp/output_labels.txt \
  --image=/home/harvitronix/ml/blogs/road-not-road/test-image.jpg \
  --input_layer=input \
  --output_layer=final_result \
  --input_mean=128 \
  --input_std=128 \
  --input_width=192 \
  --input_height=192
我们的算法把这张图片识别为道路,虽然信心值只有0.686811,但也很不错了

旁注:值得说明的是,在我们这个相当简单的两分类问题中,准确度(与模型大小、运行速度之间)的权衡没有这么显著。对于像拥有1001个分类的ImageNet来说,这个权衡就显得非常重要了。

见Google公布的表格: https://research.googleblog.com/2017/06/mobilenets-open-source-models-for.html

下一步

MobileNet的设计初衷是为了在移动端上运行神经网络。

接下来,我们还会创造一些新的训练数据,再进行精细的调试,然后将我们的再训练的MobileNet应用到一个Android app当中去。我们将会看到在现实中它可以达到怎样的运行速度和准确率。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-07-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

谷歌开源基于TensorFlow的通用框架AdaNet,快速且易于使用

Ensemble learning结合不同机器学习模型预测,被广泛用于神经网络以实现最先进的性能,得益于丰富的历史和理论保证,成功的挑战,如Netflix奖和各...

8620
来自专栏鸿的学习笔记

The Brain vs Deep Learning(四)

现在我们经历了整个过程,让我们把所有这一切都放在全文中,看看大脑如何使用所有的这一切。大多数神经元每秒重复接收输入和发射的过程约50到1000次; 射击频率高度...

7310
来自专栏宏伦工作室

天池FashionAI全球挑战赛小小尝试

31950
来自专栏新智元

【超级干货】177页鲁棒机器学习教程(附PPT全文下载)

这个短期课程讨论了从有监督的机器学习中获得可靠决策的问题。它试图总结关于我们如何创建机器学习分类器的当前知识,这些分类器在进行预测时可以保证预测的正确性和高概率...

16230
来自专栏AI研习社

如何构建商品定价模型?Mercari Price Suggestion Challenge 最佳方案出炉

「如何分析一件商品究竟值多少钱?」对于消费者和商品卖家来说,这着实是一个不小的挑战。在网上购物时,当只有文字描述时,这个问题显得更为突出。在商品价格上,一些极小...

72080
来自专栏机器之心

学界 | 抛弃黑箱,斯坦福大学与Facebook提出程序生成式图像推理模型

选自arXiv 作者:Justin Johnson等 机器之心编译 参与:李泽南 去年 12 月,斯坦福大学联合 Facebook 推出了一个用于组合式语言和初...

29050
来自专栏张善友的专栏

一个开源的,跨平台的.NET机器学习框架ML.NET

19560
来自专栏AI科技评论

动态|谷歌开源T2T模型库,深度学习系统进入模块化时代!

AI 科技评论按:6月19日,谷歌发布了T2T(Tensor2Tensor)深度学习开源系统,这个系统的一大优点是模块化,这也就意味着系统更加灵活,适应性更强。...

33880
来自专栏机器之心

学界 | 谷歌大脑提出MAPO:用于程序合成的策略优化方法

该框架可用于从弱监督 (如问答对) 中学习语义解析和程序合成,这比全监督 (如问答对) 更容易收集,也更灵活。应用程序包括虚拟助手、数据库的自然语言接口、人机交...

11530
来自专栏量子位

Facebook开源移动端深度学习加速框架,比TensorFlow Lite快一倍

Facebook发布了一个开源框架,叫QNNPACK,是手机端神经网络计算的加速包。

17220

扫码关注云+社区

领取腾讯云代金券