数据集| NCLT-North Campus Long-Term Vision and LiDAR

更新时间： 2024年2月28日

项目地址： https://robots.engin.umich.edu/nclt/index.html#changelog

参考引用： Nicholas Carlevaris-Bianco, Arash K. Ushani, and Ryan M. Eustice, University of Michigan North Campus Long-Term Vision and Lidar Dataset, International Journal of Robotics Research, 2016.

Ⅰ. 数据集介绍

NCLT是一个在密歇根大学北校区收集的大规模数据集，用于研究机器人在挑战环境下的长期自主操作能力（longterm autonomous operation in changing environments）。数据集包含全向相机图像、3D激光雷达、2D激光雷达、GPS和用于计算里程计的车轮编码器数据，所用到的传感器部署在Segway机器人本体上。

NCLT数据集由27个序列 (sessions) 组成 Table 1，时间跨度15个月（2012/01/08—2013/04/05），大约每两周采集一次数据。这些序列包含室内和室外场景，跨越不同季节和每天不同时间，在不同轨迹上反复探索校园。这使得数据集能够捕获许多具有挑战性的元素，包括：移动障碍物（例如行人、骑自行车的人和汽车）、光照变化、视角变化、季节和天气变化（例如落叶和雪），以及因工程项目建设导致的环境长期结构变化。为了进一步促进相关研究，我们还提供了所有序列在相同参考坐标系下的真实位姿。

数据集特点：

NCLT包含高质量的真值轨迹；

NCLT数据集提供传感器采样的所有原始数据，它满足我们对于输入数据的需求；

NCLT数据集包含很多有挑战性的场景。

Ⅱ. 部署的传感器与采样轨迹

RTK-GPS

NovAtel DL-4 plus RTK GPS，1Hz

全向相机

Pointgrey Ladybug3 omnidirectional camera (LB3)，倒向安装，有6个2兆（1600×1200）像素摄像头，其中5个水平，1个垂直，以5Hz进行全分辨率收集数据集。

3D激光雷达

Velodyne HDL-32E, 10Hz, 100m测量距离。

**2D激光雷达 **

Hokuyo UTM-30LX lidar，30m测量距离，270°视角，水平安装在Segway平台前端。

2D激光雷达

Hokuyo URG-04LX lidar，4m测量距离，240°视角，采用“push-broom”方式安装，可以扫描车辆前方的地面。

IMU

Microstrain 3DM-GX3-45 IMU，9轴，100Hz

消费级GPS

Garmin 18x 5Hz

单轴光纤陀螺仪 (single-axis fiber optic gyro (FOG))

KVH FOG

Ⅲ. 传感器外参

local frame： NED坐标系，选择GPS中某个点为原点

GPS坐标系： 经纬度，海拔高度

各个传感器外参，相对于body系，body坐标系在两轮轴轴心。Table 4

Ⅳ. 里程计

为了使NCLT数据集更易于使用，本文提供了两种形式的预计算里程计。

第一个提供 100 Hz 的local frame中里程计估计的平均值和协方差。

第二个相对于odom坐标系（relative odometry）。

里程计通过EKF进行估计，根据两轮差速运动模型对轮式编码器进行积分，结合单轴FOG的航向数据。测量更新源自商用IMU，用于观察roll和pitch以及body-frame中的角速率。

Ⅴ. 相机参数

5.1 相机内外惨

全向相机LadyBug3 由6个相机组成，每个相机相对于Ladybug3 Base的外参以及内参保存在cam_params.zip中。

5.2 相机去畸变参数

NCLT数据集的去畸变参数比较奇特，不是给出K1、K2、P1、P2、K3，而是给出去畸变前后像素的对应关系，即 ，所以跑算法时不能直接填去畸变参数，而应该自己先处理一下图片，去畸变。去畸变参数保存在文件U2D_ALL_1616X1232.tar.gz中。

Ⅵ. 目录结构和文件格式

gps.csv和gps_rtk.csv包含了消费级GPS（5Hz）和RTK-GPS（1Hz）的数据。

gps_rtk_err.csv文件包含了RTK-GPS fix和SLAM真值方案之间的误差。GPS数据格式如Table 7。

ms25.csv包含IMU的数据，IMU数据使用了内部滤波器，数据格式如Table 8，8-10是角旋转速率，单位rad/s。

ms25_euler.csv包含IMU读取的欧拉角 (roll, pitch, and heading)，单位rad。100Hz，二者之间没有对应关系。

odometry_mu_100hz.csv包含根据每次运行的起始位置计算得出的6-DOF (x, y, z in meters, φ, θ, ψ in radians)里程计测量值，100Hz。

odometry_cov_100hz.csv是测量值的协方差。

odometry_mu.csv 和odometry_cov.csv是 CSV 文件，分别包含 6-DOF 里程计测量和协方差，与第 4 节中所述的每个图像事件同步。这是相对于前一个图像事件计算的，并遵循与上述相同的格式。

包含来自Velodyne激光雷达的传感器数据，在每个tar文件中，都有一个包含所有观察点的文件velodyne_hits.bin和一个包含与每个图像关联的Velodyne扫描的文件夹velodyne_sync，为了方便用户，原始的距离测量值通过Velodyne内置函数直接转换为了传感器坐标系下的 (x, y, z) 坐标。出于文件大小的考虑，我们以二进制格式编码数据。对于每个点，我们通过增加100m将每个 (x, y, z) 缩放为0-40000之间的整数，并将结果离散化为5mm。

6.2.1 velodyne_hits.bin

包含当前序列（session）记录的所有激光雷达点云数据。这些点被分组为与 Velodyne 传感器报告的一个以太网数据包一致的“数据包”。对于每个数据包，我们从Table 9中描述的 24 字节标头开始。在这个 24 字节标头之后，数据包内的每个点都通过其在传感器坐标系中的 (x, y, z) 笛卡尔位置进行记录（0–40 000， 2 个字节）、返回强度（0-255，1 个字节）以及激光 ID 号（0-31，1 个字节），每个点总共 8 个字节。每个数据包最多包含 384 个点的集合，其中 384 个点是 12 组 32 束激光发射的结果；然而，我们倒置的 Velodyne 安装会导致许多激光指向天空，从而无法测量距离返回——这些不返回点不会记录在数据包中。收集一个数据包的总时间为 552.96 μs，在 Segway 的最大速度为 1 m/s 时，会导致可忽略不计的（最多） 0.5 mm 运动模糊 ——因此，出于实际目的，在NCLT数据集中，激光在数据包内返回被视为接近瞬时。标头中报告的 UTIME 是数据包内最后发射的激光的时间戳。

6.2.2 velodyne_sync文件夹

文件夹中包含一系列文件，每个文件与一个图像相关联，每个文件均根据与其关联的图像命名。每个文件包含一转的 Velodyne数据值（对应于之前的 0.1 秒），这些点在扫描期间针对 Segway 的自我运动进行运动补偿，然后记录在 Segway body坐标系中。每个点均使用上述 8 字节格式写入。

注意：velodyne_sync里的点云已经完成时间同步，有对应的照片，但是频率较低，远低于10Hz（5Hz以下）；velodyne_hits.bin则不是以帧的形式存储，以packet的形式存储，在开源算法上比较难跑。

包含来自两个单线激光雷达Hokuyo的数据。每个tar文件中包含两个文件。

hokuyo_30m.bin：包含来自Hokuyo UTM-30LX的数据。

hokuyo_4m.bin：包含来自URG-04LX lidar的数据。

Segway机器人CAD模型。

6.5 预设程序

read_vel_hits.py

读取 velodyne_hits.bin 文件中的所有数据。

vel_sync_to_csv.py

将velodyne_sync/UTIME.bin文件转换为CSV格式。

laser_angles.csv

包含 Velodyne 的 32 束激光束相对于水平面的角度（以弧度为单位）。

read_hokuyo_30m.py和read_hokuyo_4m.py

逐次读取激光雷达扫描收集的所有数据并绘制每次扫描的图。

将CSV文件转为ROS包

gps_to_rosbag.py

ms25_to_rosbag.py

ms25_euler_to_rosbag.py

vel_to_rosbag.py

hokuyo_30m_to_rosbag.py

hokuyo_4m_to_rosbag.py

sensordata_to_rosbag.py

参考文献