专栏首页CVerYOLACT++:更强的实时实例分割网络,可达33.5 FPS/34.1mAP!

YOLACT++:更强的实时实例分割网络,可达33.5 FPS/34.1mAP!

前言

近期推出的实例分割(Instance Segmentation)论文很多,有时间 Amusi 出一期:一文看尽实例分割系列。同时值得关注的实例分割论文也很多,比如前几天沈春华老师团队推出的的SOLO,详见:超越EfficientNet:metaKernel;实例分割新网络:SOLO

本文要速递介绍的这篇实例分割论文,是收录在ICCV 2019的实时实例分割YOLACT的改进版:YOLACT++。这里简单介绍一下YOLACT的由来:You Only Look At CoefficienTs(这里要cue一下YOLO)。

YOLACT++

《YOLACT++: Better Real-time Instance Segmentation》

论文:https://arxiv.org/abs/1912.06218

作者团队:加利福尼亚大学戴维斯分校

时间:2019年12月16日

注:在 COCO 上,34.1 mAP,速度高达 33.5 FPS!

摘要:我们为实时(> 30 fps)实例分割提供了一个简单的全卷积模型,该模型在单个Titan Xp上评估的MS COCO上取得了SOTA结果,这比以前的任何最新的方法都快得多。此外,我们仅在一个GPU上训练后即可获得此结果。我们通过将实例分割分为两个并行的子任务来完成此任务:(1)生成一组原型(prototype) masks,以及(2)预测每个实例的mask 系数。然后,我们通过将原型与模板系数线性组合来生成实例 masks。我们发现,由于此过程不依赖于 repooling,因此此方法可产生非常高质量的masks。此外,我们分析了 prototype 的 emergent 行为,并显示了它们是完全卷积的。我们还提出了快速NMS,这是对标准NMS的12毫秒快速替代,仅会有点影响性能。最后,通过将可变形(deformable)卷积合并到骨干网络中,使用更好的 anchor 尺度和长宽比优化预测head,并添加新颖的快速 masks 重新评分分支,我们的YOLACT ++模型可以在MS COCO上以33.5 FPS的实现34.1 mAP

YOLACT 网络结构

因为YOLACT++是基于YOLACT改进来的,所以相同的地方不再重复介绍,大家结合CVer推过的YOLACT文章一起阅读,下面只解释创新点。

加州大学提出:实时实例分割算法YOLACT,可达33 FPS/30mAP!现已开源!

一文读懂实时实例分割模型 YOLACT

1 Fast Mask Re-Scoring Network

Mask 评分分支由6个具有ReLU非线性的卷积层和1个全局池化层组成。由于没有特征级联,也没有fc层,因此速度开销仅为〜1 ms。

Fast Mask Re-Scoring Network

2 Deformable Convolution with Intervals

3 Optimized Prediction Head

作者尝试两种变体:(1)保持尺度不变,同时将anchor长宽比从[1,1 / 2,2]增加到[1,1 / 2,2,1 / 3、3],以及(2)保持 长宽比不变,同时将每个FPN level 的比例增加三倍([1x,2^(1/3)x,2^(2/3) x])。与YOLACT的原始配置相比,前者和后者分别增加了5/3倍和3倍的 anchors 数量

实验结果

mask mAP and speed on COCO test-dev

YOLACT vs YOLACT++

虽然YOLACT++还没有开源,但各位CVers可以看一下已经开源的YOLACT:

https://github.com/dbolya/yolact

CVer 推荐阅读

等待YOLOv4的期间,它还在更新

大盘点 | 2019年4篇目标检测算法最佳综述

大盘点 | 2019年5篇图像分割算法最佳综述

大盘点 | 2019年3篇目标跟踪算法最佳综述

目标检测三大开源神器:Detectron2/mmDetectron/SimpleDet

本文分享自微信公众号 - CVer(CVerNews),作者:Amusi

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 加州大学提出:实时实例分割算法YOLACT,可达33 FPS/30mAP!现已开源!

    本文要介绍一篇很棒的实时实例分割论文:YOLACT,该论文是由 加利福尼亚大学 提出。截止2019年4月16日,据Amusi所了解,上述MS R-CNN应该是实...

    Amusi
  • [计算机视觉论文速递] 2018-07-10 CVPR GAN专场1

    这篇文章有 2篇论文速递,都是生成对抗网络GAN方向(CVPR 2018),一篇解决为前景目标找到逼真的几何校正的问题,使得它在合成到背景图像中时看起来很自然,...

    Amusi
  • Facebook最新力作FBNetV3来了!相比ResNeSt提速5倍,精度不输EfficientNet

    FBNetV2: https://arxiv.org/abs/2004.05565

    Amusi
  • Python:一文读懂如何使用面向对象编程

    在多函数程序中,许多重要的数据被放置在全局数据区,这样它们可以被所有的函数访问。每个函数都可以具有它们自己的局部数据,将某些功能代码封装到函数中,日后便无需重复...

    MySQL轻松学
  • 打开文档变肉鸡:潜伏17年的“噩梦公式”Office漏洞攻击分析

    用户1697231
  • 史上最全 Python 面向对象编程

    在多函数程序中,许多重要的数据被放置在全局数据区,这样它们可以被所有的函数访问。每个函数都可以具有它们自己的局部数据,将某些功能代码封装到函数中,日后便无需重复...

    马哥linux运维
  • 史上最全Python面向对象编程 转

    在多函数程序中,许多重要的数据被放置在全局数据区,这样它们可以被所有的函数访问。每个函数都可以具有它们自己的局部数据,将某些功能代码封装到函数中,日后便无需重复...

    双面人
  • 伯克利《生成对抗网络》综述

    https://sites.google.com/view/berkeley-cs294-158-sp20/

    公众号机器学习与生成对抗网络
  • Eventbus3代码分析(六):SubscriberMethodFinder类

    这里,我们可以发现, 除了 构造 和 findSubscriberMethods方法 是 public对外的 其他,都是 private 的 也就是,我们...

    dodo_lihao
  • Web 安全漏洞之 XSS 攻击

    编者说:作为JS系工程师接触最多的漏洞我想就是 XSS 漏洞了,然鹅并不是所有的同学对其都有一个清晰的认识。今天我们请来了@卢士杰 同学为我们分享他眼中的 XS...

    java思维导图

扫码关注云+社区

领取腾讯云代金券