专栏首页视频图像无人驾驶应用中的图像语义分割框架-HRNet
原创

无人驾驶应用中的图像语义分割框架-HRNet

图像语义分割作为实现各类复杂视觉任务的基础之一,在现实中有很多应用。例如,无人驾驶技术中往往需要先实现对街景的语义识别。

HRNet网络架构是近年来表现不错的图像语义分割框架。HRNet不同于常规的Encoder-Decoder框架,而是尽可能自始至终保留高分辨率信息。HRNet 语义分割框架图中包含4类分辨率特征图信息。

HRNet 语义分割框架图

HRNet 语义分割框架图

这4类分辨率特征图关系参考HRNet 语义分割branches图,每行特征图序列对应一个Branch。Branch 1所在行特征图分辨率为H*W,通道数为C ;Branch 2 所在行特征图分辨率为(H*W)/2,通道数为2C ;Branch 3 所在行特征图分辨率为(H*W)/4,通道数为4C ;Branch 4所在行特征图分辨率为 (H*W)/8,通道数为 8C 。

HRNet 语义分割branches图

HRNet 语义分割branches图

HRNet框架中在列方向又将特征图分为4个stages。第2、3、4 stage,每个stage由一个或多个Modules组成。每个Module中包括多个Residual Unit,每个Residual Unit为Basic Block或Bottleneck Block类型。注: HRNet语义分割stages图中显示的主要为stages,并未体现Modules。

HRNet 语义分割 stages 图

HRNet 语义分割 stages 图

Residual Unit 之 Basic Block 与 Bottleneck Block

Residual Unit 之 Basic Block  与 Bottleneck Block

HRNet框架中stage 1 主要由1个Layer构成,该Layer由4个Bottleneck Blocks串联组成。stage 2主要由1个Module构成,stage3由4个Modules构成,stage4由3个Modules构成。

至于Module结构,主要表现为多个Branches的Fuse。以stage4中的Module为例。该Module包括4个Branches部分,在Module结束时对各Branch进行Fuse计算。参考HRNet语义分割stage4 Module图。

HRNet 语义分割 stage4 Module

HRNet 语义分割 stage4 Module

该Module中每个branch部分包括4个Residual Unit。每个Residual Unit为Basic Block 类型。在Module结束时通过一个Fuse Layer实现各特征图的Fuse。

HRNet 语义分割 stage 4 Module 中Residual Unit

HRNet 语义分割 stage 4 Module 中Residual Unit

HRNet 语义分割 stage 4 Module 中Fuse Layer

HRNet 语义分割 stage 4 Module 中Fuse Layer

具体Fuse方法参考Fuse Layer中各Branch特征图Fuse方法图。可以看到有3类计算方法,每类计算方法的实现称为Exchange Unit。

Fuse Layer中各Branch特征图Fuse方法图

Fuse Layer中各Branch特征图Fuse方法图

在HRNet官方代码实现层面,实现方法与上述原理说明略有不同。主要体现在各Stages之间的Fuse阶段。


新产学研项目研发
项目研发业务框架
如果项目需研发,欢迎咨询!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • DAN改进视觉参考分辨率,DRLIH实现图像复刻 | AI一周学术

    呜啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly栏目又和大家见面啦!

    大数据文摘
  • 微软亚洲研究院王井东:下一代视觉识别的通用网络结构是什么样的?丨CCF-GAIR 2020

    2020 年 8 月 7 日,第五届全球人工智能与机器人峰会(CCF-GAIR 2020)在深圳正式开幕。

    AI掘金志
  • 业内首个动静统一的图像分割套件,模型精度全面领先,最高可达87%

    图像分割技术是计算机视觉领域的一个重要的研究方向,对于广大AI开发者来说可谓耳熟能详!对于如此重要的领域,早在2019年开源的图像分割套件PaddleSeg已经...

    用户1386409
  • PaddleSeg图像分割库再添新武器,新增压缩部署方案FLOPs降低51%

    如图1所示,随着人工智能的发展,图像分割技术已经在交通控制、医疗影像和工业用表识别等多个领域获得了广范的应用。为了让广大开发者可以方便快捷的将图像分割技术应用到...

    用户1386409
  • 【智驾深谈】特斯拉4大车祸复盘,图像语义分割或成自动驾驶突破口

    【新智元导读】今年对于特斯拉公司来说,无疑是个多事之秋。接二连三事故的发生,让人们对辅助驾驶乃至无人驾驶技术产生了质疑。实际上,自动驾驶向智能化发展的一个重要标...

    新智元
  • 深度学习中的图像分割:方法和应用

    基于人工智能和深度学习方法的现代计算机视觉技术在过去10年里取得了显著进展。如今,它被用于图像分类、人脸识别、图像中物体的识别、视频分析和分类以及机器人和自动驾...

    OpenCV学堂
  • NeurIPS2019无人驾驶研究成果大总结(含大量论文及项目数据)

    神经信息处理系统大会(NeurIPS),是一个机器学习和计算神经科学相关的顶级学术会议。每年的12月举办。2019的第33届NeurIPS在加拿大温哥华于12月...

    CV君
  • 自动驾驶中图像与点云融合的深度学习研究进展综述

    文章:Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Revie...

    3D视觉工坊
  • 超越YOLOv5还不够!这个目标检测开源项目又上新了

    作为目标检测领域的扛把子,PaddleDetection当然不仅仅提供通用目标检测算法,还拥有多个业界先进、实用的关键点检测和多目标跟踪算法。除了可以准确识别、...

    Amusi
  • Lite-HRNet:轻量级HRNet,FLOPs大幅下降

    分享一篇新出的 CVPR 2021 轻量级网络论文 Lite-HRNet: A Lightweight High-Resolution Network ,大名鼎...

    CV君
  • 250,000辆汽车–用于机器学习的十大免费车辆图像和视频数据集

    随着特斯拉自动驾驶汽车的兴起以及谷歌Waymo等项目的兴起,自动驾驶汽车行业似乎每年都在增长。无人驾驶汽车是计算机视觉的一个重要领域,具有众多应用程序,并且具有...

    代码医生工作室
  • 【论文速读】城市自动驾驶应用的概率语义地图

    标题:Probabilistic Semantic Mapping for Urban Autonomous Driving Applications

    点云PCL博主
  • 告别低分辨率网络,微软提出高分辨率深度神经网络HRNet | CVPR 2019

    作者简介:孙可,中国科学技术大学信息学院在读博士生,目前在微软亚洲研究院视觉计算组实习,导师是王井东和肖斌老师。他的研究兴趣包括人体姿态估计、语义分割、图像分类...

    AI科技大本营
  • 奥迪推出大型自动驾驶数据集A2D2

    6 个摄像头和 5 个Velodyne VLP-16 LiDAR 传感器,对车辆周围环境360覆盖。

    CV君
  • 从特斯拉到英伟达,那些端到端自动驾驶研发系统有何不同?

    Nvidia是比较早做端到端控制车辆工作的公司,其方法训练CNN模型完成从单个前向摄像头的图像像素到车辆控制的映射。 其系统自动学习一些处理步骤的内部表示,比如...

    AI科技大本营
  • ​王井东:视觉识别中的高分辨率表征学习

    本次报告主要分享的是高分辨率表征学习,在计算机视觉识别里面的应用,包括如何在整个神经网络结构中维持高分辨率的表征,提出了HRNet模型结构,以及在场景分割、关键...

    马上科普尚尚
  • 地平线“小目标”:2025年,三千万汽车搭载地平线自动驾驶BPU

    【新智元导读】从AI处理器的发展变革可以看出,越是面向专门计算的芯片架构越能达到更好的功耗性能比,因此地平线基于高斯架构同时推出了“旭日”和“征程”两款芯片,每...

    新智元
  • Lyft开源L5自动驾驶数据集:55000个人工标注的3D注释框架,还有高清空间语义地图

    这份L5数据集内容丰富,加入了原始传感摄像头和激光雷达收集到的内容,内含55000个人类标注的3D注释框架,还有高清空间语义地图。

    代码医生工作室
  • 百度Apollo发布海量自动驾驶数据集,还有两项重磅挑战赛

    作者 | 费棋 近日, ApolloScape 宣布开放了大规模自动驾驶数据集。 它是 Apollo 自动驾驶项目的一个研究型项目,旨在促进自动驾驶的各方面创新...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券