CVPR 2020 论文大盘点-全景分割与视频目标分割篇

今天的内容关注于全景分割（Panoptic Segmentation）和视频目标分割（Video Object Segmentation，VOS）。

什么是全景分割？

全景分割即同时实现对背景的语义分割和前景的实例分割。这是图像分割领域近来的新趋势，请看下图：

图片来自论文 Panoptic Segmentation,CVPR 2019

上图中，(b)语义分割的结果是相同语义的对象标成相同的颜色，（c）实例分割是对目标前景分个体的像素级标注来，（d）全景分割结合了语义分割和实例分割的结果。

全景分割在CVPR 2019 被提出，但一年多来已经引起广泛关注，CVPR 2020 总计有8篇文章。

什么是视频目标分割？

对视频中感兴趣的目标进行分割，给定第一帧mask的VOS称为one-shot VOS （单样本VOS），无第一帧目标mask的称为zero-shot VOS（无样本VOS）。（大家可以在下述论文 Learning Video Object Segmentation From Unlabeled Videos 中了解）

下图为实例级视频目标分割的例子：

图片来自论文 Video Object Segmentation with Re-identification,CVPR 2017

视频目标分割是集检测、跟踪、分割、ReID于一体的计算机视觉任务，提供了更加丰富的信息，标注成本很高，计算量也比较大，近年来随着高性能设备和相关数据集的出现，也越来越受到关注。CVPR 2020 总计有8篇相关文献。

全景分割

简单、快速、强大的用于自底向上全景分割的方法，语义分割分支使用D

eeplab

[1].Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation

作者 | Bowen Cheng, Maxwell D. Collins, Yukun Zhu, Ting Liu, Thomas S. Huang, Hartwig Adam, Liang-Chieh Chen

单位 | 伊利诺伊大学厄巴纳-香槟分校；谷歌

代码 | https://github.com/bowenc0221/panoptic-deeplab

使用双向聚合网络进行遮挡处理用于全景分割

[2].BANet: Bidirectional Aggregation Network With Occlusion Handling for Panoptic Segmentation

作者 | Yifeng Chen, Guangchen Lin, Songyuan Li, Omar Bourahla, Yiming Wu, Fangfang Wang, Junyi Feng, Mingliang Xu, Xi Li

单位 | 浙江大学；郑州大学

利用密集检测结果的实时全景分割

[3].Real-Time Panoptic Segmentation From Dense Detections

作者 | Rui Hou, Jie Li, Arjun Bhargava, Allan Raventos, Vitor Guizilini, Chao Fang, Jerome Lynch, Adrien Gaidon

单位 | 丰田研究所；密歇根大学

用于全景分割的双向图推理网络

[4].Bidirectional Graph Reasoning Network for Panoptic Segmentation

作者 | Yangxin Wu, Gengwei Zhang, Yiming Gao, Xiajun Deng, Ke Gong, Xiaodan Liang, Liang Lin

单位 | 中山大学；DarkMatter AI Research

像素共识投票用于全景分割

[5].Pixel Consensus Voting for Panoptic Segmentation

作者 | Haochen Wang, Ruotian Luo, Michael Maire, Greg Shakhnarovich

单位 | 卡内基·梅隆大学；TTI-Chicago；芝加哥大学

代码 | 即将

视频全景分割

[6].Video Panoptic Segmentation

作者 | Dahun Kim, Sanghyun Woo, Joon-Young Lee, In So Kweon

单位 | 韩国科学技术院；Adobe Research

代码 | https://github.com/mcahny/vps

备注 | CVPR 2020 Oral

学习实例遮挡用于全景分割

[7].Learning Instance Occlusion for Panoptic Segmentation

作者 | Justin Lazarow, Kwonjoon Lee, Kunyu Shi, Zhuowen Tu

单位 | 加利福尼亚大学圣迭戈分校

统一全景分割的训练和推理方法

[8].Unifying Training and Inference for Panoptic Segmentation

作者 | Qizhu Li, Xiaojuan Qi, Philip H.S. Torr

单位 | 牛津大学

视频目标分割

一种视频目标分割的转换方法，采用标签传播的方式，简单高性能、高效率。

[9].A Transductive Approach for Video Object Segmentation

作者 | Yizhuo Zhang, Zhirong Wu, Houwen Peng, Stephen Lin

单位 | 微软亚洲研究院；卡内基梅隆大学

代码 | https://github.com/microsoft/transductive-vos.pytorch

学习快速与鲁棒的目标模型（表观模型与分割模型）用于视频目标分割

[10].Learning Fast and Robust Target Models for Video Object Segmentation

作者 | Andreas Robinson, Felix Jaremo Lawin, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg

单位 | Linkoping University, Sweden；ETH Zurich, Switzerland；IIAI

代码 | https://github.com/andr345/frtm-vos

时序聚合网络与动态模板匹配的快速视频目标分割

[11].Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching

作者 | Xuhua Huang, Jiarui Xu, Yu-Wing Tai, Chi-Keung Tang

单位 | 香港科技大学；腾讯

代码 | https://xuhuaking.github.io/Fast-VOS-DTTM-TAN/（即将）

从非标注视频中学习视频目标分割

[12].Learning Video Object Segmentation From Unlabeled Videos

作者 | Xiankai Lu, Wenguan Wang, Jianbing Shen, Yu-Wing Tai, David J. Crandall, Steven C. H. Hoi

单位 | IIAI；苏黎世联邦理工学院；腾讯；印第安纳大学

代码 | https://github.com/carrierlxk/MuG

状态感知的跟踪器用于实时的视频目标分割

[13].State-Aware Tracker for Real-Time Video Object Segmentation

作者 | Xi Chen, Zuoxin Li, Ye Yuan, Gang Yu, Jianxin Shen, Donglian Qi

单位 | 浙江大学；旷视

代码 | https://github.com/XavierCHEN34/State-Aware-Tracker

解读 | 漫谈视频目标跟踪与分割

交互式视频目标分割

[14].Memory Aggregation Networks for Efficient Interactive Video Object Segmentation

作者 | Jiaxu Miao, Yunchao Wei, Yi Yang

单位 | 百度；悉尼科技大学

基于文本的视频分割

[15].Visual-Textual Capsule Routing for Text-Based Video Segmentation

作者 | Bruce McIntosh, Kevin Duarte, Yogesh S Rawat, Mubarak Shah

单位 | 中佛罗里达大学；

快速模板匹配与更新，用于视频目标跟踪与分割

[16].Fast Template Matching and Update for Video Object Tracking and Segmentation

作者 | Mingjie Sun, Jimin Xiao, Eng Gee Lim, Bingfeng Zhang, Yao Zhao

单位 | 西郊利物浦；利物浦大学；北京交通大学

代码 | https://github.com/insomnia94/FTMU（即将）