专栏首页AI科技评论ICCV 2019 Oral | 期望最大化注意力网络 EMANet 详解

ICCV 2019 Oral | 期望最大化注意力网络 EMANet 详解

作者 | 立夏之光 编辑 | 唐里

本文转自知乎,作者立夏之光。AI科技评论获授权转载,如需转载请联系原作者。原文链接:https://dwz.cn/3BFMz8pW

文章介绍了作者被 ICCV 2019接受为Oral的论文《Expectation-Maximization Attention Networks for Semantic Segmentation》。作者:李夏、钟之声、吴建龙、杨一博、林宙辰、刘宏。代码已开源在:https://github.com/XiaLiPKU/EMANet。

背景介绍

语义分割是计算机视觉领域的一项基础任务,它的目标是为每个像素预测类别标签。由于类别多样繁杂,且类间表征相似度大,语义分割要求模型具有强大的区分能力。近年来,基于全卷积网络(FCN[1])的一系列研究,在该任务上取得了卓越的成绩。

这些语义分割网络,由骨干网络和语义分割头组成。全卷积网络受制于较小的有效感知域,无法充分捕获长距离信息。为弥补这一缺陷,诸多工作提出提出了高效的多尺度上下文融合模块,例如全局池化层、Deeplab[2]的空洞空间卷积池化金字塔、PSPNet[3]的金字塔池化模块等。

近年来,自注意力机制在自然语言处理领域取得卓越成果。Nonlocal[4]被提出后,在计算机视觉领域也受到了广泛的关注,并被一系列文章证明了在语义分割中的有效性。它使得每个像素可以充分捕获全局信息。然而,自注意力机制需要生成一个巨大的注意力图,其空间复杂度和时间复杂度巨大。其瓶颈在于,每一个像素的注意力图都需要对全图计算。

本文所提出的期望最大化注意力机制(EMA),摒弃了在全图上计算注意力图的流程,转而通过期望最大化(EM)算法迭代出一组紧凑的基,在这组基上运行注意力机制,从而大大降低了复杂度。其中,E步更新注意力图,M步更新这组基。E、M交替执行,收敛之后用来重建特征图。本文把这一机制嵌入网络中,构造出轻量且易实现的EMA Unit。其作为语义分割头,在多个数据集上取得了较高的精度。

期望最大化注意力机制

前提知识

期望最大化算法

期望最大化(EM)算法旨在为隐变量模型寻找最大似然解。对于观测数据

,每一个数据点

都对应隐变量

。我们把{X,Z}称为完整数据,其似然函数为

,θ是模型的参数。E步根据当前参数

计算隐变量Z的后验分布,并以之寻找完整数据的似然

M步通过最大化似然函数来更新参数得到

EM算法被证明会收敛到局部最大值处,且迭代过程完整数据似然值单调递增。

高斯混合模型(GMM)是EM算法的一个范例,它把数据用多个高斯分布拟合。其

即为第k个高斯分布的参数

,隐变量

为第k个高斯分布对第n数据点的“责任”。E步更新“责任”,M步更新高斯参数。在实际应用中,

经常被简化为 I 。

非局部网络

非局部网络(Nonlocal)率先将自注意力机制使用在计算机视觉任务中。其核心算子是:

其中

表示广义的核函数,C(x)是归一化系数。它将第i个像素的特征

更新为其他所有像素特征经过g变换之后的加权平均

,权重通过归一化后的核函数计算,表征两个像素之间的相关度。这里1<j<N ,所以视为像素特征被一组过完备的基进行了重构。这组基数目巨大,且存在大量信息冗余。

期望最大化注意力机制

期望最大化注意力机制由

三部分组成,前两者分别对应EM算法的E步和M步。假定输入的特征图为

,基初始值为

估计隐变量

,即每个基对像素的权责。具体地,第k个基对第n个像素的权责可以计算为:

在这里,内核

可以有多种选择。我们选择

的形式。在实现中,可以用如下的方式实现:

其中,λ作为超参数来控制Z的分布。

步更新基μ 。为了保证μ和X处在同一表征空间内,此处μ被计算作X的加权平均。具体地,第k个基被更新为:

值得注意的是,如果

,则公式(5)中,

会变成一组one-hot编码。在这种情形下,每个像素仅由一个基负责,而基被更新为其所负责的像素的均值,这便是标准的K-means算法。

交替执行T步。此后,近似收敛的μ和Z便可以被用来对X进行重估计得

相比于X ,具有低秩的特性。从下图中可看出,其在保持类间差异的同时,类别内部差异得到缩小。从图像角度来看,起到了类似保边滤波的效果。

综上,EMA在获得低秩重构特性的同时,将复杂度从Nonlocal的

降低至O(NKT)。实验中,EMA仅需3步就可达到近似收敛,因此T作为一个小常数,可以被省去。至此,EMA复杂度仅为O(NK)。考虑到

,其复杂度得到显著的降低。

期望最大化注意力模块

EMA Unit

期望最大化注意力模块(EMAU)的结构如上图所示。除了核心的EMA之外,两个1*1卷积分别放置于EMA前后。前者将输入的值域从

映射到R ;后者将

映射到X的残差空间。囊括进两个卷积的额外负荷,EMAU的FLOPs仅相当于同样输入输出大小时3*3卷积的1/3,参数量仅为

对于EM算法而言,参数的初始化会影响到最终收敛时的效果。上一节中讨论了EMA如何在单张图像的特征图上进行迭代运算。而对于深度网络训练过程中的大量图片,在逐个批次训练的同时,EM参数的迭代初值

理应得到不断优化。本文中,迭代初值

的维护参考BN中running_mean和running_std的滑动平均更新方式,即:

其中,

表示动量;

表示

在一个mini-batch上的平均。

此外,EMA的迭代过程可以展开为一个RNN,其反向传播也会面临梯度爆炸或消失等问题。此外,公式(8)也要求

的差异不宜过大,不然初值

的更新也会出现不稳定。RNN中采取LayerNorm(LN)来进行归一化是一个合理的选择。但在EMA中,LN会改变基的方向,进而影响其语义。因为,本文选择L2Norm来对基进行归一化。这样,

的更新轨迹便处在一个高维球面上。

此处,我们可以考虑下EMA和A2Net[5]的关联。A2Net的核心算子如下:

其中

代表三个1*1卷积,它们的参数分别为

。如果我们将θ和φ的参数共享,并将

记作μ。那么,

和公式(5)无异;而[·]内则在更新μ ,即相当于

迭代一次。因此,A2-Block可以看作EMAU的特殊例子,它只迭代一次EM,且μ由反向传播来更新。而EMAU迭代T步,用滑动平均来更新μ。

实验

首先是在PASCOL VOC上的消融实验。这里对比了不同的μ更新方法和归一化方法的影响。

可以清楚地看到,EMA使用滑动均值(Moving average)和L2Norm最为有效。作为对比,Nonlocal和A2Net的模块作为语义分割头,在同样设置下分别达到 77.78%和77.34%的分数,而EMANet仅迭代一次时分数为77.34%,三者无显著差异,符合上文对Nonlocal和A2Net的分析和对比。接下来是不同训练和测试中迭代次数Τ的对比实验。

可以发现,EMA仅需三步即可近似收敛(精度不再增益)。而随着训练时迭代次数的继续增长,精度有所下降,这是由EMA的RNN特性引起的。

接下来,是EMANet和DeeplabV3、DeeplabV3+和PSANet的详细对比。

可以发现,EMANet无论在精度还是在计算代价上,都显著高于表中几个经典算法。

在VOC test server上,EMANet在所有使用ResNet-101的算法中,取得了最高的分数。此外,在PASCAL Context和COCO stuff数据集上也表现卓越。

最后是学习到的注意力图的可视化。如下图,i,j,k,l表示四个随机选择的基的下标。右边四列绘出的是它们各自对应的注意力图。可以看到,不同的基会收敛到一些特定的语义概念。

参考资料:

[1] FCN https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf

[2] Deeplab https://arxiv.org/abs/1606.00915

[3] PSPNet https://arxiv.org/abs/1612.01105

[4] Non-local Neural Networks https://arxiv.org/abs/1711.07971

[5] A2Net https://papers.nips.cc/paper/7318-a2-nets-double-attention-networks.pdf

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:立夏之光

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 「国王-男人+女人=皇后」背后的词类比原理究竟为何?| ACL 2019

    AI 科技评论按:在近些年的自然语言处理研究中,「词类比」是一个十分有趣的现象,最经典的例子莫过于「国王-男人+女人=皇后」。然而,如何将神经网路的黑盒拆开从而...

    AI科技评论
  • DeepMind发布最新原始音频波形深度生成模型WaveNet,将为TTS带来无数可能

    编者按:Google的DeepMind研究实验室昨天公布了其在语音合成领域的最新成果——WaveNet,一种原始音频波形深度生成模型,能够模仿人类的声音,生成的...

    AI科技评论
  • 这六大方法,如何让 Transformer 轻松应对高难度长文本序列?

    众所周知,多头注意力机制 (Multi-Head Self-Attention) 的计算开销很大。在处理长度为 n 的序列时,其

    AI科技评论
  • ICCV 2019 | 解读北大提出的期望最大化注意力网络EMANet

    本文介绍笔者被 ICCV 2019 接受为 Oral 的论文 Expectation-Maximization Attention Networks for S...

    机器之心
  • Kubeconfig文件自动合并-实现K8S多集群切换

    随着 Kubernetes 越来越流行,不管大公司还是小公司都往 Kubernetes 迁移,每个公司最少有两套集群(测试和生产),但是多个集群就有多个 Kub...

    YP小站
  • 特征锦囊:怎么定义一个方法去填充数值变量的空值?

    可以看出,这个数据集有一个数值变量quantitative_columns,存在一行缺失值,我们直接调用sklearn的preprocessing方法里的Imp...

    Sam Gor
  • python的pyserial模块

    py3study
  • 小朋友学Python(22):重写与重载

    在学Python的方法重写和重载之前,可以先复习一下Java的重写与重载: 小朋友学Java(8):重写与重载 一、方法重写 重写是子类对父类的允许访问的方法的...

    海天一树
  • 算法学习笔记(四):堆排序

    free赖权华
  • 什么是好的R包

    我发现写作这个事情也非常遵循楞次定律,上学期一旦开始了越写越停不下来,但是过春节停一段时间后,越不写越难以重新开始。整理了不少东西可以写作,但是每次都被懒癌打败...

    生物信息知识分享

扫码关注云+社区

领取腾讯云代金券