GoogLeNet的心路历程(三)

本文主要介绍GoogLeNet续作二,inception v3。说实话,Szegedy这哥们真的很厉害,同一个网络他改一改就改出了4篇论文,这是其中第3篇,还有个inception v4。

[v3] Rethinking the Inception Architecture for Computer Vision,top5 error 3.5%

随着Szegedy研究GoogLeNet的深入,网络的复杂度也逐渐提高,到了inception v3,它的复杂度已经到了普通玩家望而却步的境界,内部结构实在是太乱了,不得不佩服作者。

论文做出的贡献主要有4个:

1、分解大filters,使其小型化、多层化,其中有个“非对称卷积”很新颖

2、优化inception v1的auxiliary classifiers

3、提出一种缩小特征图大小的方法,说白了就是一种新的、更复杂的pooling层

4、Label smooth,“标签平滑”,很难用中文说清楚的一种方法

Szegedy还把一段时间内的科研心得总结了一下,在论文里写了4项网络设计基本原则:

1、尽量避免representational bottlenecks,这种情况一般发生在pooling层,字面意思是,pooling后特征图变小了,但有用信息不能丢,不能因为网络的漏斗形结构而产生表达瓶颈,解决办法是上面提到的贡献3

2、采用更高维的表示方法能够更容易的处理网络的局部信息,我承认前面那句话是我硬翻译的,principle 2我确实不太明白

3、把大的filters拆成几个小filters叠加,不会降低网络的识别能力,对应上面的贡献1

4、把握好网络深度和宽度的平衡,这个原则说了等于没说

下面分析一下论文的4个贡献:

1、Filter分解

其实大filters拆解成若干小filters叠加的方法已经在VGG里提过了,inception v3更进了一步,提出了“非对称卷积”,我在非对称卷积—Asymmetric Convolutions一文中分析过一些,在这里就不展开介绍了,概念很简单,一看就懂那种类型。

2、优化auxiliary classifiers

GoogLeNet首次提出了auxiliary classifiers,效果还行,我之前在这里介绍过。Szegedy同志在过了一年多后,又看了看这个tech,他发现有点问题:auxiliary classifiers在训练初期的时候并不能加速收敛,只有当训练快结束的时候它才会略微提高网络精度。

Auxiliary Classifiers

然后Szegedy就把第一个auxiliary classifiers去掉了!还说,auxiliary classifiers能够起到regularizer的作用,完全不知所云,以后有机会再看。原文如下:

Instead, we argue that the auxiliary classifiers act as regularizer. This is supported by the fact that the main classifier of the network performs better if the side branch is batch-normalized or has a dropout layer. This also gives a weak supporting evidence for the conjecture that batch normalization acts as a regularizer.

3、新的pooling层

按照传统的做法,在pooling之前,为了防止信息丢失,应当加入了expand层,如下图右半部分。

这么做有个问题,会增加运算量,于是Szegedy就想出了下面这种pooling层。

是不是很复杂?想不到pooling也能玩儿出这么多花样。

上图可以这么理解,Szegedy利用了两个并行的结构完成grid size reduction,分别是conv和pool,就是上图的右半部分。左半部分是右半部分的内部结构。

为什么这么做?我是说这种结构是怎么设计出来的?Szegedy只字不提,或许这就是深度学习的魅力所在吧。

4、Lable smooth

Szegedy用了将近一页的篇幅叙述label smooth,可见这个方法有多么难理解。

深度学习用的labels一般都是one hot向量,用来指示classifier的唯一结果,这样的labels有点类似信号与系统里的脉冲函数,或者叫“Dirac delta”,即只在某一位置取1,其它位置都是0。

Labels的脉冲性质会引发两个不良后果:一是over-fitting,另外一个是降低了网络的适应性。这段话我实在没看懂,附上原文:

First, it may result in over-fitting: if the model learns to assign full probability to the groundtruth label for each training example, it is not guaranteed to generalize. Second, it encourages the differences between the largest logit and all others to become large, and this, combined with the bounded gradient, reduces the ability of the model to adapt.

Szegedy在阐述完上面两个缺点后,补充了一句话,说不良后果的产生就是因为网络对它预测的东西太自信了。完全没搞懂。

Intuitively, this happens because the model becomes too confident about its predictions.

我想起来一个美国签证官曾经跟我说过的话:“他看学术论文的时候,每个单词都认识,但所有单词拼到一起的时候,就蒙圈了。”

好了,先不管这么多,这个label smooth具体是怎么实现的?就是下式:

为了方便理解,转换成python代码,就是这样的:

new_labels = (1.0 - label_smoothing) * one_hot_labels + label_smoothing / num_classes

Szegedy在网络实现的时候,令 label_smoothing = 0.1,num_classes = 1000。Label smooth提高了网络精度0.2%。

我对Label smooth理解是这样的,它把原来很突兀的one_hot_labels稍微的平滑了一点,枪打了出头鸟,削了立于鸡群那只鹤的脑袋,分了点身高给鸡们,避免了网络过度学习labels而产生的弊端。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-03-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Petrichor的专栏

深度学习: 处理不平衡样本

对不平衡样本的处理手段主要分为两大类:数据层面 (简单粗暴)、算法层面 (复杂) 。

52620
来自专栏AI科技评论

业界 | Facebook最新开源工具——不费吹灰之力识别图片中的对象

雷锋网注:Piotr Dollar于2014年成为FAIR研究科学家,主要研究领域为计算机视觉和机器学习,曾在MSR任职三年,并建立Anchovi Labs(于...

38150
来自专栏数据科学与人工智能

【数据挖掘】详细解释数据挖掘中的 10 大算法(下)

上一篇中作者解释了 C4.5算法、K 均值聚类算法、支持向量机、Apriori 关联算法、EM 算法,下篇继续解释 PageRank 算法、AdaBoost 迭...

29760
来自专栏AI科技评论

干货 | 文本嵌入的经典模型与最新进展

AI 科技评论按:这篇文章来自自然语言处理以及机器学习专家、Huggingface 的技术负责人 Thomas Wolf,介绍了文本嵌入的重点知识和最新趋势。...

16630
来自专栏AI科技评论

媲美人类有何不可?深度解读微软新AI翻译系统四大秘技

AI 科技评论按:3 月 15 日的文章《机器翻译新突破,微软中英新闻翻译达人类水平》中,我们介绍了微软亚洲研究院与雷德蒙研究院共同研发的新的机器翻译系统,微软...

37880
来自专栏小巫技术博客

深度学习,NLP和表征(译)

10530
来自专栏吉浦迅科技

(图解)类神经网络的复兴:深度学习简史

前述:人工智能与机器学习的演进 1950年代计算机发明以来,科学家便希冀着利用计算机创造出人工智能。然而当时的人工智能理论采用的是逻辑推理方法,需要百分之百确...

560120
来自专栏新智元

深度学习盛会 ICLR-17 最佳论文出炉!机器自主编程 NPI 再称雄

1 新智元编译 来源:iclr.cc、openreview.net 编译:闻菲、张易、刘小芹 【新智元导读】深度学习盛会 ICLR 2017 日程及最佳论文...

441130
来自专栏机器之心

业界 | 分子性质预测新突破:谷歌新型神经网络助力化学研究

选自Google Research Blog 作者:George Dahl 机器之心编译 参与:吴攀 理论上讲,由原子构成的分子种类的数量是无穷大的。要了解这些...

415100
来自专栏专知

基于信息理论的机器学习-中科院自动化所胡包钢研究员教程分享03(附pdf下载)

【导读】专知于11月24日推出胡老师的基于信息理论的机器学习报告系列教程,大家反响热烈,胡老师PPT内容非常翔实精彩,是学习机器学习信息理论不可多得的好教程,今...

36670

扫码关注云+社区

领取腾讯云代金券