专栏首页我爱计算机视觉YOLACT++:目前最热门的实时实例分割开源库

YOLACT++:目前最热门的实时实例分割开源库

YOLACT 是ICCV 2019 接收的实时实例分割论文 YOLACT: Real-time Instance Segmentation 提出的算法,近期该文作者又对此进行了扩展,提出YOLACT++:Better Real-time Instance Segmentation,其 resnet50 模型在Titan Xp 上运行速度达 33.5 fps,在COCO 的test-dev数据集上达到34.1 mAP,并开源了代码。

论文作者/代码开发者来自加州大学戴维斯分校。

下图为YOLACT/YOLACT++ 与其他实例分割算法速度和精度的比较:

可见 YOLACT 系列具有较大的速度优势,YOLACT++ 则又在 YOLACT基础上精度提高不少。

以下视频为该文作者在ICCV 2019 公布的实例分割Demo:

这些结果并非后期处理的,而是在GPU上实时运行出来的。

YOLACT 网络架构:

在COCO数据集上与其他算法更详细的比较结果:

YOLACT / YOLACT++ 取得了速度最快的同时,取得了不错的分割精度。

作者已经开源了多个模型:

并提供了代码,可以很方便在COCO数据集上评测性能:

# Display qualitative results on COCO. From here on I'll use a confidence threshold of 0.15.
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --display

以及对图像和视频上跑实例分割:

# Display qualitative results on the specified image.
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --image=my_image.png

# Process an image and save it to another file.
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --image=input_image.png:output_image.png

# Process a whole folder of images.
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --images=path/to/input/folder:path/to/output/folder
# Display a video in real-time. "--video_multiframe" will process that many frames at once for improved performance.
# If you want, use "--display_fps" to draw the FPS directly on the frame.
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --video_multiframe=4 --video=my_video.mp4

# Display a webcam feed in real-time. If you have multiple webcams pass the index of the webcam you want instead of 0.
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --video_multiframe=4 --video=0

# Process a video and save it to another file. This uses the same pipeline as the ones above now, so it's fast!
python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.15 --top_k=15 --video_multiframe=4 --video=input_video.mp4:output_video.mp4

同时该代码也开放了训练程序,开发者可以很轻松在COCO 、Pascal SBD上训练模型,并添加 多GPU 支持。

如果开发者想要在自己的数据集上训练实例分割,只需要有COCO风格的目标检测标注JSON数据即可。

以下是分割结果示例:

论文地址:

https://arxiv.org/pdf/1912.06218.pdf

开源地址:

https://github.com/dbolya/yolact

目前该代码已经获得 2K+ 颗星,是近期最热门的实例分割开源库。


本文分享自微信公众号 - 我爱计算机视觉(aicvml),作者:CV君

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 20种小技巧,玩转Google Colab

    当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

    CV君
  • 谷歌对Deepfake亮剑:打造鉴假新工具,帮助媒体识别AI造假

    他们联手Google Research、马里兰大学、伯克利等多家研究机构,开发了一个名为Assembler的实验平台,旨在帮助记者们通过简单的操作,快速识别De...

    CV君
  • 计算机视觉:学术界与工业界GAP有多大?

    近年来,随着以深度学习为代表的机器学习方法在计算机视觉领域的广泛应用,以及计算机视觉在工业界场景中不断落地,CV领域的产、学两界之间的界限逐渐模糊,高校师生大规...

    CV君
  • 【面试题】HTTP知识点整理(附答案)

    HTTP/1 的几种优化可以弃用: 合并文件、内联资源、雪碧图、域名分片对于 HTTP/2 来说是不必要的,使用 h2 尽可能将资源细粒化,文件分解地尽可能散,...

    木子星兮
  • TPatch动态补丁系统(iOS)

    对于每一个开发,从写Hello World开始,到使用各种语言,可能都会遇到各种BUG。有的BUG能快速解决,比如Web侧的,发个JS或者Html即可。但是在终...

    QQ空间开发团队
  • Pytorch数据读取详解

    数据库DataBase + 数据集DataSet + 采样器Sampler = 加载器Loader

    marsggbo
  • Pytorch中的数据加载艺术

    数据库DataBase + 数据集DataSet + 采样器Sampler = 加载器Loader

    marsggbo
  • 票据攻击

    由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,雷神众测以及文章作者不为此承担任何责任。 雷神众测拥有对此文章的修改和...

    安恒网络空间安全讲武堂
  • 首届Apache Hadoop技术社区中国Meetup在京举办(附PPT)

    ? 近日,在Apache Hadoop社区主导及邀请下,腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技...

    腾讯技术工程官方号
  • 首届Apache Hadoop技术社区中国Meetup在京举办(内附完整PPT)

    ? 近日,在Apache Hadoop社区主导及邀请下,腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技...

    腾讯开源

扫码关注云+社区

领取腾讯云代金券