利用Transformer来进行目标检测和语义分割

介绍

这次介绍的是Facebook AI的一篇文章“End-to-End Object Detection with Transformers”

恰好最近Transformer也比较热门，这里就介绍一下如何利用Transformer来进行目标检测以及语义分割。

关于Transformer，可以参考我的这篇文章。

这里我简要地介绍一下Transformer，这是一个用于序列到序列建模的模型架构，被广泛应用于自然语言翻译等领域。Transformer抛弃了以往对序列建模的RNN形式的网络架构，引入了注意力机制，实现了不错的序列建模以及变换能力。

大致架构以及流程

DETR的架构

如上图所示，这里面主要分为两个部分：

• Backbone：主要是CNN，用来抽取高级语义特征的
• Encoder-Decoder：将高级语义特征利用并给出目标预测

更为细节地，给出如下的架构

架构细节

目标检测的效果

目标检测效果

如上图所示，可以看到DETR的计算次数不算多，但是FPS也不算高，只能算中规中矩。

那么语义分割呢？

这里给出关于语义分割的大致架构，如下图所示：

语义分割架构

注意到，图中所描述的，边界框嵌入（Box Embedding）实质上就是decoder的输出（在FFN之前）。 然后使用一个多头部注意力的机制，这个机制实质上是对Q，K，V进行多次的线性变换，在这里面，K和V是Encoder的输入，Q是decoder的输出。 其中M是多头部注意力的头部数量。

之后，通过一个简单的CNN，得到一个Mask矩阵，用来生成语义分割的结果。

语义分割结果分析

语义分割结果

可以看到比起PanopticFPN++来说，效果的提升有限，特别是AP并不佳，表现一般。

结论

文章将Transformer应用到了目标检测以及语义分割的领域，取得了不错的效果，但是性能上相较于FastRCNN类似架构的方法，并没有明显的提升，但显现出这种序列模型不错的扩展能力。用一个架构解决多种问题，统一化模型的目标指日可待。