首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Center-based 3D Object Detection and Tracking

三维物体通常表示为点云中的三维框。 这种表示模拟了经过充分研究的基于图像的2D边界框检测,但也带来了额外的挑战。 3D世界中的目标不遵循任何特定的方向,基于框的检测器很难枚举所有方向或将轴对齐的边界框匹配到旋转的目标。 在本文中,我们提出用点来表示、检测和跟踪三维物体。 我们的框架CenterPoint,首先使用关键点检测器检测目标的中心,然后回归到其他属性,包括3D尺寸、3D方向和速度。 在第二阶段,它使用目标上的额外点特征来改进这些估计。 在CenterPoint中,三维目标跟踪简化为贪婪最近点匹配。 由此产生的检测和跟踪算法简单、高效、有效。 CenterPoint在nuScenes基准测试中实现了最先进的3D检测和跟踪性能,单个模型的NDS和AMOTA分别为65.5和63.8。 在Waymo开放数据集上,Center-Point的表现远远超过了之前所有的单一模型方法,在所有仅使用激光雷达的提交中排名第一。

01

从单幅图像到双目立体视觉的3D目标检测算法(长文)

经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景,继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而,由于图像是三维空间在光学系统的投影,仅仅实现图像层次的识别是不够的,这在无人驾驶系统、增强现实技术等领域表现的尤为突出,计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态,通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。近年来,借助于二维图像层面的目标检测和识别的性能提升,针对如何恢复三维空间中物体的形态和空间位置,研究者们提出了很多有效的方法和策略。

02

从单幅图像到双目立体视觉的3D目标检测算法

经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景,继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而,由于图像是三维空间在光学系统的投影,仅仅实现图像层次的识别是不够的,这在无人驾驶系统、增强现实技术等领域表现的尤为突出,计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态,通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。近年来,借助于二维图像层面的目标检测和识别的性能提升,针对如何恢复三维空间中物体的形态和空间位置,研究者们提出了很多有效的方法和策略。

04

南开提出 Range-View | 激光雷达技术新进展在自动驾驶等多任务中的应用

激光雷达测距传感器在安全关键型应用中(例如,自动驾驶中的目标检测和全景分割)发挥着至关重要的作用,它可以在不考虑光照条件的情况下提供精确的3D环境测量。然而,激光雷达点云本质上是非均匀的、无序的且稀疏的,这禁止了高度优化算子(如卷积)的直接应用。解决此问题的一种方法是在点云中首先建立一个邻域结构,通过昂贵的半径搜索或最近邻搜索,然后在局部邻域中应用性能卷积算子[5, 23, 27, 36]。另一种方法是通过对输入点进行量化创建规则的 Voxel 栅格[8, 35, 41, 42, 43]或 Voxel 柱[15, 16, 26, 39, 43],这不可避免地会导致信息丢失。尽管这些算法取得了巨大成功,但利用点集和 Voxel 栅格的算法通常需要繁重的计算,这给在实时自主系统中扩展它们带来了挑战。相比之下,距离图像以无损的方式将3D数据组织成结构化的2D视觉表示。因此,距离图像无疑是所有激光雷达点云数据表示中最为紧凑和高效的。

01

Integrated Recognition, Localization and Detection using Convolutional Networks

我们提出了一个使用卷积网络进行分类、定位和检测的集成框架。我们认为在一个卷积网络中可以有效地实现多尺度和滑动窗口方法。我们还介绍了一种新的深度学习方法,通过学习预测目标的边界来定位。然后,为了增加检测的置信度,对边界框进行累积而不是抑制。我们证明了使用一个共享网络可以同时学习不同的任务。该集成框架是ImageNet Large scale evisual Recognition Challenge 2013 (ILSVRC2013)定位任务的获胜者,在检测和分类任务上获得了非常有竞争力的结果。在比赛后的工作中,我们为检测任务建立了一个新的技术状态。最后,我们从我们最好的模型中发布了一个名为OverFeat的特性提取器。

03

计算机视觉在生物力学和运动康复中的应用和研究

近几十年来,在运动生物力学和康复环境中对人体运动的研究取得了长足的进步。基于视觉的运动分析涉及从顺序图像中提取信息以描述运动,可以追溯到19世纪后期, Eadweard Muybridge首先开发了捕获屈步态图像序列的技术。此后,运动分析相关技术进步很快,与不断增长的需求相平行,这些技术可以捕获从临床步态评估到视频游戏动画在内的各种运动。在运动生物力学和康复应用中,人体运动学的定量分析是一种功能强大的工具,生物力学工具已经从使用图像的人工注释发展为基于标记的光学跟踪器,基于惯性传感器的系统以及使用复杂的人体模型,计算机视觉和机器学习算法的无标记系统,已经取得了长足的发展。

03

一文全览 | 2023最新环视自动驾驶3D检测综述!

基于视觉的3D检测任务是感知自动驾驶系统的基本任务,这在许多研究人员和自动驾驶工程师中引起了极大的兴趣。然而,使用带有相机的2D传感器输入数据实现相当好的3D BEV(鸟瞰图)性能并不是一项容易的任务。本文对现有的基于视觉的3D检测方法进行了综述,聚焦于自动驾驶。论文利用Vision BEV检测方法对60多篇论文进行了详细分析,并强调了不同的分类,以详细了解常见趋势。此外还强调了文献和行业趋势如何转向基于环视图像的方法,并记下了该方法解决的特殊情况的想法。总之,基于当前技术的缺点,包括协作感知的方向,论文为未来的研究提出了3D视觉技术的想法。

02

MV-Swin-T | 纯Transformer架构引入新型移位窗口注意力完成多视图空间特征的交互

乳腺癌在全球范围内是导致女性癌症相关死亡的第二大主要原因,也是影响女性最常见的癌症[1]。早期检测主要依赖于筛查式乳房X光摄影,包括四张图像——每侧乳房从不同角度拍摄两张:从侧面的斜位(MLO)和从上方的头尾位(CC)。尽管传统的深度学习方法在乳腺癌分类中主要关注单一视角的分析,但放射科医生在乳房X光检查中同时评估所有视角,认识到提供关键肿瘤信息的重要相关性。这突显了在医疗保健中跨视角数据分析识别异常和做出诊断的重要性,以及基于多视角或多图像的计算机辅助诊断(CAD)方案相对于基于单图像的CAD方案的优势。在乳腺癌分类和检测的最新研究中,应用了深度学习技术,取得了有希望的结果。许多当前的研究[2, 3, 4]旨在融合多视角架构,这些架构受到放射科医生多视角分析的启发,从而为更强大、性能更高的模型做出贡献。

01

清华大学&英伟达最新|Occ3D:通用全面的大规模3D Occupancy预测基准

自动驾驶感知需要对3D几何和语义进行建模。现有的方法通常侧重于估计3D边界框,忽略了更精细的几何细节,难以处理一般的、词汇表外的目标。为了克服这些限制,本文引入了一种新的3D占用预测任务,旨在从多视图图像中估计目标的详细占用和语义。为了促进这项任务,作者开发了一个标签生成pipeline,为给定场景生成密集的、可感知的标签。该pipeline包括点云聚合、点标签和遮挡处理。作者基于Waymo开放数据集和nuScenes数据集构造了两个基准,从而产生了Occ3D Waymo和Occ3D nuScene基准。最后,作者提出了一个模型,称为“粗略到精细占用”(CTF-Occ)网络。这证明了在3D占用预测任务中的优越性能。这种方法以粗略到精细的方式解决了对更精细的几何理解的需求。

04

前沿 | 超越像素平面:聚焦3D深度学习的现在和未来

想象一下,如果你正在建造一辆自动驾驶汽车,它需要了解周围的环境。为了安全行驶,你的汽车该如何感知行人、骑车的人以及周围其它的车辆呢?你可能会想到用一个摄像头来满足这些需求,但实际上,这种做法似乎效果并不好:你面对的是一个三维的环境,相机拍摄会使你把它「压缩」成二维的图像,但最后你需要将二维图像恢复成真正关心的三维图像(比如你前方的行人或车辆与你的距离)。在相机将周围的三维场景压缩成二维图像的过程中,你会丢掉很多最重要的信息。试图恢复这些信息是很困难的,即使我们使用最先进的算法也很容易出错。

02
领券