实时语义分割

ICNet for Real-Time Semantic Segmentation on High-Resolution Images https://hszhao.github.io/projects/icnet/ https://github.com/hszhao/ICNet

本文针对高分辨率图像语义分割问题，引入 Cascade 思想 实现实时语义分割。 延伸阅读： Not All Pixels Are Equal：Difficulty-Aware Semantic Segmentation via Deep Layer Cascade

Scene Parsing through ADE20K Dataset

首先来对比一下各个语义分割算法的速度和精度对比：

这里写图片描述

在 PSPNet 算法对于分辨率为 1024 × 2048 和 512 × 1024 的时间

这里写图片描述

stage5 的卷积核个数是 stage4的两倍

3.2. Intuitive Speedup Downsampling Input 对输入图像降采样来提速

这里写图片描述

这个思路的缺点就是精度下降的比较厉害

Downsampling Feature 对特征图进行降采样来提速

这里写图片描述

这个思路达不到实时语义分割的要求

Model Compression 模型压缩 这里我们采用了 文献【13】的方法，效果不是很理想

这里写图片描述

4 Our Image Cascade Network

这里写图片描述

这里我们输入三个尺度的图像：Low Resolution 对应 sub4，Median Resolution 对应 sub24， High Resolution 对应 sub124

这里写图片描述

多尺度特征图信息的融合通过 Cascade feature fusion unit

这里写图片描述

这里写图片描述

Cityscapes 效果：

这里写图片描述

这里写图片描述