前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Max-DeepLab全景分割流水线,分辨率高达51.3%

Max-DeepLab全景分割流水线,分辨率高达51.3%

作者头像
OpenCV学堂
发布2021-05-07 14:03:40
9740
发布2021-05-07 14:03:40
举报
文章被收录于专栏:贾志刚-OpenCV学堂


【导读】2021年有两名华人学者在CVPR上提出了一种端到端的方法,可以用于全景分割的流水线,将Transformer架构用于计算机视觉任务。

天才少年们的传奇人生

2015年毕业于上海交通大学计算机工程专业的王会宇(Huiyu Wang),在本科期间就一直边做科研助理,边学习,一直保持是班里的Top 5%呢。

先后在加州大学洛杉矶分校(UCLA)就读电子工程的硕士,后来又成功在约翰·霍普金斯大学(JHU)就读计算机科学的博士。

非常优秀的他对于计算机视觉和机器学习都有很深的造诣,现在在Google任职,在CVPR、ICLR、arXiv、ICCV等论坛上发表过很多文章,小编都惊呆了!

本篇二作陈良杰(Jay Chen)在Alan L. Yuille的指导下获得了UCLA的计算机科学博士学位,他的研究兴趣包括计算机视觉、图形模型和机器学习,也是位名副其实的大佬!

自2016年以来就一直在google工作,他说码农的每一天都很兴奋!

MaX-DeepLab是什么?

全景分割(panoptic segmentation) 是一种计算机视觉任务,它将语义分割(semantic segmentation) 和实例分割 (instance segmentation) 统一起来。

语义分割为每个像素分配一个类标签, 实例分割是检测和分割每个对象实例。

全景分割会预测一组不重叠的蒙版及其对应的类别标签,例如,物体的类别:“汽车”,“交通信号灯”,“道路”等,通常会使用多个替代子任务来完成该任务。

之前,DETR( Detection Transformer) 试图用目标框检测子任务,并简化为端到端的操作来解决其中的一些问题,理论上这在计算效率上更高,并且减少了伪像。

但是,训练过程仍然严重依赖于目标框的检测,这与基于蒙版的全景分割的定义不符。

另一项工作是完全删除目标框,删除整个代理子任务及其关联的模块。

例如,Axial-DeepLab(无目标框的方法) 可以预测到实例的逐像素偏移,但是替代子任务会遇到高度变形的挑战,这些对象具有多种形状,例如,下面这张坐在椅子上的狗,它的形状较为复杂。

因此,在2021年CVPR上,两位华人博士发表了这篇文章,提出了一种端到端方法,主要用于全景分割流水线。

作者采用了双通道架构,引入了全球存储路径,可以与任何卷积层直接沟通。

最终的结果是,MaX-DeepLab在没有目标框的情况下显示出了极高的全景质量(PQ),高达7.1%,首次缩小了基于框的方法和无框方法之间的差距。

MaX-DeepLab在COCO测试开发集上达到了51.3%的PQ值,并且测试花的时间也得到很好控制。

该模型会直接预测出一组不重叠的掩码及其对应的语义标签,并通过目标优化输出掩码和类,如下图所示。

和传统Transformer架构相比,作者提出了一种将CNN(卷积神经网络)与Transformer结合起来的双路径框架。具体来说,这是一种使用双路径的转换器,可以读写任何CNN层。

MaX-DeepLab还采用了沙漏式解码器,将多种尺度特征聚合起来,最终以高分辨率输出。

失败多次!终于成功

如下图所示,MaX-DeepLab正确地分割了坐在椅子上的狗,左边第一张图。

Axial-DeepLab的方法发现对象中心偏移,因此做了回归来替代子任务。不过第二张图失败了,因为狗和椅子的中心太此靠近。

DetectoRS的方法用对象的边界框来替代子任务。由于椅子边界框的置信度低,因此它会过滤掉椅子面罩,所以也失败了。

但是将两者相结合的实验,很显眼,成功了!

MaX-DeepLab还可以正确分割重叠的斑马。因为斑马与附近的对象中心有着相似的边界框。

小结:两位华人作者出色的首次展示了全景分割可以实现端到端地训练!

作者研发出PQ型损耗和双路径转换器的MaX -DeepLab,并且在具有挑战性的COCO数据集上实现了最先进的结果。

参考资料:

https://csrhddlam.github.io/#

https://ai.googleblog.com/2021/04/max-deeplab-dual-path-transformers-for.html?m=1

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-04-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 OpenCV学堂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 天才少年们的传奇人生
  • MaX-DeepLab是什么?
相关产品与服务
图像处理
图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档