CNN+Transformer！谷歌提出BoTNet：新主干网络！在ImageNet上达84.7%准确率！
CNN+Transformer！谷歌提出BoTNet：新主干网络！在ImageNet上达84.7%准确率！
前言
现在几乎所有大厂、高校都有团队在研究视觉Transformer的工作，这里Amusi 建议大家不管你有没有想到应用的方向和场景，但都要学习一下Transformer相关知识点。
强烈推荐小白看一下这两篇视觉Transformer综述：
先回顾一下用于视觉识别的自注意力方法，比如SANet、ViT、DETR等：
本文将介绍的是视觉Transformer的新backbone，之前有代表性的Transformer主干网络有：
现在有非常多的工作就是基于ViT魔改，Amusi 觉得本文分享的BoTNet 应该能助燃视觉Transformer 这把火！
BoTNet
基于Transformer的新backbone来了！在ImageNet上高达84.7％的top-1精度，性能优于SENet、EfficientNet等，将其应用于目标检测、实例分割等下游任务，涨点显著！代码即将开源！实验做得相当充分！
Bottleneck Transformers for Visual Recognition
作者单位：UC Berkeley, 谷歌 论文：https://arxiv.org/abs/2101.11605
BoTNet：一种简单却功能强大的backbone，该架构将自注意力纳入了多种计算机视觉任务，包括图像分类，目标检测和实例分割。该方法在实例分割和目标检测方面显著改善了基线，同时还减少了参数，从而使延迟最小化。
通过仅在ResNet中，用Multi-Head Self-Attention (MHSA)来替换3 × 3 convolution，并且不进行其他任何更改（如图1所示）。
Multi-Head Self-Attention (MHSA) 究竟长啥样？如下图所示：
上述介绍了核心内容：Bottleneck Transformer (BoT) block，是不是非常大道至简？将ResNet-50与BoT结合，诞生了BoTNet-50，结构如下表所示：
BoT-50和ResNet-50的性能比较如下表所示：
上述比较实验，其实无法看出BoT的明显优势，但加入 multi-scale jitter之后，性能提升明显！如下表所示：
加入 relative position encodings ，还能进一步提升性能！
本文还对BoT block的位置进行详尽实验，发现不同位置/组合性能有所差异
实验结果
注：实验做的相当充分，建议去看原文，实验表格相当之多！
用于图像分类的BoTNet又进行了改版升级：BoTNet-S1 (S1 to depict stride 1 in the final blockgroup）
BoTNet-S1-128版本在ImageNet上高达84.7％的top-1精度！
在使用Mask R-CNN框架的情况下，BoTNet在COCO实例分割基准上实现了44.4％的Mask AP和49.7％的Box AP。超过了以前在COCO验证集上评估的ResNeSt的最佳单一模型和单一尺度结果。
BoTNet论文下载
后台回复：BoTNet，即可下载上述论文PDF！
CV资源下载
后台回复：Transformer综述，即可下载两个最新的视觉Transformer综述PDF，肝起来！