专栏首页机器学习爱好者社区MMDetection新版本V2.7发布,支持DETR,还有YOLOV4在路上!

MMDetection新版本V2.7发布,支持DETR,还有YOLOV4在路上!

最近CV界最大的新闻就是transformer的应用,这其中最火的就是Facebook提出的基于transformer的目标检测模型DETR(https://arxiv.org/abs/2005.12872)。目前,港中文维护的MMDetection库发布了最新的V2.7版本,在新版本中支持DETR模型

其实transformer提出已久,但是主要在NLP领域,而且基于transformer的模型如BERT也彻底革新了NLP领域。所以,我们也期待transformer能够同样给CV领域带来惊喜,毕竟CNN统治CV领域太长时间了,是时候需要加点新鲜料(虽然是NLP用过的料)。transformer的论文名是

Attention Is All You Need,其实从名字中就知道了transformer的核心组件是attention,关于transformer的解读文章太大了,这里不做详细介绍,这里简单说一下transformer为啥可以应用在CV上。其实transformer主要适合处理的数据输入是a set of objects,就是一坨东西然后attention。对于文本的句子来说,其实是一个word序列,而对于图像来说,其实就是一堆像素点,其实这都在

a set of objects的范围内,另外transformer采用位置嵌入(positional encoding)来解决objects间的位置关系,所以无论是句子的word顺序还是像素点的空间位置都可以解决。具体到目标检测问题上,因为detection的输出更是

a set of objects,这简直不能和transformer更契合了:

不过令大家失望的是,transformer带给CV虽然是新的视角,但是性能上谈不上超越。对于DETR来说,也存在一些问题,不如收敛慢训练时间长,而且对小目标检测不太好,不过也有一些新的工作开始做了改进:

  • Deformable DETR: Deformable Transformers for End-to-End Object Detection (https://arxiv.org/abs/2010.04159)
  • Sparse R-CNN: End-to-End Object Detection with Learnable Proposals (https://arxiv.org/abs/2011.12450)
  • UP-DETR: Unsupervised Pre-training for Object Detection with Transformers (https://arxiv.org/abs/2011.09094)

我们也期待transformer能给检测问题带来更多惊喜,另外transformer也已经成功应用在图像分类问题上,如ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale:

检测和分类都有了,基于transformer的分割还远么

,期待ing...

另外值得期待的一件事是,MMDetection库已经有了YOLOv4的分支https://github.com/open-mmlab/mmdetection/tree/yolov4),这意味不远的明天你可以用上mmdet版本的YOLOv4模型:

@DETECTORS.register_module()
class YOLOV4(SingleStageDetector):

    def __init__(self,
                 backbone,
                 neck,
                 bbox_head,
                 train_cfg=None,
                 test_cfg=None,
                 pretrained=None):
        super(YOLOV4, self).__init__(backbone, neck, bbox_head, train_cfg,
                                     test_cfg, pretrained)

‍‍‍‍‍‍‍‍

本文分享自微信公众号 - 机器学习爱好者社区(ML_shequ),作者:我是小将

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 目标检测四大开源神器:Detectron2/mmDetectron/darknet/SimpleDet

    去年Amusi 盘点过:目标检测三大开源神器:Detectron2/mmDetectron/SimpleDet。大家反映内容很棒,不少同学开始用起来这些目标检测...

    Amusi
  • 超越YOLOv5!1.3M超轻量,又好又快!目标检测神器来了

    不论你需要通用目标检测、实例分割、旋转框检测,还是行人检测、人脸检测、车辆检测等垂类算法;

    Amusi
  • 超越YOLOv5,1.3M超轻量,高效易用,这个目标检测开源项目太香了!

    这个目标检测神器简直香炸了!它不仅连续登录Github全球趋势榜,拥有的全球尖端算法论文也接连登录全球技术趋势榜PaperWithCode。

    昱良
  • 算法SOTA、功能全面、性能最佳,PaddleDetection 2.0重磅升级!

    目标检测技术作为视觉技术届的顶梁柱,不仅单兵作战在人脸、车辆、商品、缺陷检测等场景有出色的表现,也是文本识别,图像检索、视频分析、目标跟踪等复合技术的核心模块,...

    用户1386409
  • k3s新版本发布!支持Helm3!还有其他重要更新Highlight!

    两个月前,业界应用最为广泛的Kubernetes管理平台创建者Rancher Labs(以下简称Rancher)在KubeCon2019北美峰会上宣布,Ranc...

    k3s中文社区
  • 目标检测神器来了!

    刚刚全面升级的PaddleDetection2.0,它全面兼顾高性能算法、便捷开发、高效训练及完备部署,也因此受到广大开发者的喜爱,连续登录Github全球趋势...

    Datawhale
  • 2020年,那些「引爆」了ML社区的热门论文、库和基准

    不平凡的 2020 年终于过去了!这一年,由于新冠肺炎疫情的影响,CVPR、ICLR、NeurIPS 等各大学术会议都改为线上举行。但是,机器学习社区的研究者和...

    机器之心
  • 资源 | 一个基于PyTorch的目标检测工具箱,商汤联合港中文开源mmdetection

    项目地址:https://github.com/open-mmlab/mmdetection

    机器之心
  • 爬虫课程(三)|Python2和Python3的比较及安装

    黄小怪

扫码关注云+社区

领取腾讯云代金券