PointTrackNet：一种用于点云三维目标检测和跟踪的端到端网络

摘要

当前基于机器学习的多目标跟踪（MOT）框架在3-D点云跟踪场景中变得越来越流行。大多数传统的跟踪方法都使用滤波器（例如，卡尔曼滤波器或粒子滤波器）来按时间顺序预测对象位置，但是它们容易受到极端运动条件的影响，例如突然制动和转弯。在本文中提出了PointTrackNet目标跟踪方法，这是一个端到端的3-D对象检测和跟踪网络，可以为每个检测到的对象生成前景掩膜，3-D边界框和点跟踪关联位移。网络仅将两个相邻的点云帧作为输入。在KITTI跟踪数据集上的实验结果显示，与最新的跟踪网络相比本文的方法具有比较好的结果，尤其是在不规则和快速变化的情况下。

主要贡献

1.提出了一种端到端的三维目标检测与跟踪网络，该网络以两个相邻的原始点云为输入，输出预测的边界框和逐点关联位移。

2.提出了一种新的数据关联模块来融合两帧的点特征，并关联同一对象的相应特征。

3.从逐点数据关联生成预测的边界框。预测的边界框可以细化检测结果。

主要方法

上图展示了网络的基本结构。该网络只需输入两个相邻的无序点云，输出物体的边界框和每个物体的运动轨迹。检测和数据关联是跟踪的两个主要组成部分方法。我们设计了一种点式数据关联方法，以减少退化目标检测可能带来的负面影响。

A.逐点特征提取

在给定N*3维度点云的情况下，提出了一种目标检测器生成N*2掩膜和M个边界框，其中N表示点的个数，掩膜是一个二进制的0-1分类标签，用于区分前景和背景。从主干网络中提取点云特征。

B.关联模块

关联模块包含一个概率过滤器、两个SA层和一个关联头。为了平衡前背景点，降低计算量，提出了概率滤波器。

C.细化模块

细化模块由一个SA层、三个setupconv层和两个全连接层组成。算法1描述了跟踪管理中的完整伪码。

D.代价函数

代价函数分为两个部分，分别为识别代价和跟踪代价：

主要实验与结果

Abstract

Recent machine learning-based multi-object tracking (MOT) frameworks are becoming popular for 3-D point clouds. Most traditional tracking approaches use filters (e.g., Kalman filter or particle filter) to predict object locations in a time sequence, however, they are vulnerable to extreme motion conditions, such as sudden braking and turning. In this letter, we propose PointTrackNet, an end-to-end 3-D object detection and tracking network, to generate foreground masks, 3-D bounding boxes, and point-wise tracking association displacements for each detected object. The network merely takes as input two adjacent point-cloud frames. Experimental results on the KITTI tracking dataset show competitive results over the state-of-thearts, especially in the irregularly and rapidly changing scenarios.

本文仅做学术分享，如有侵权，请联系删文。