一文全览 | 自动驾驶Cornor-Case检测数据集

深度神经网络（DNN）被用于自动驾驶的感知系统，它需要大量的数据来进行训练，因为它们必须在各种情况下可靠地实现高性能。然而，这些DNN通常被限制在其训练数据中可用的一组封闭的语义类中，因此在面对以前看不到的实例时是不可靠的。因此，创建了多个感知数据集来评估异常检测方法，并将其可分为3组：现实世界中的真实异常、增强到现实世界中的合成异常和完全合成的场景。 本调查提供了一个结构化的、完整的概述和比较感知数据集的异常在自动驾驶异常检测。每一章都提供了有关任务和GT、上下文信息和许可的信息。此外，还讨论了现有数据集的弱点和差距，以强调开发进一步数据的重要性。

1、简介

当考虑到在交通中安全行驶的自动驾驶车辆时，有必要正确地感知环境，以提供安全的驾驶。为了确保这一点，DNN必须接受广泛的训练和数据测试。在这种情况下，已经创建了许多数据集，用于道路交通，其中大多数包括白天和阳光明媚的天气和无害的日常场景。

由于每年都有大量发布的新数据集，包括异常、异常分布（OOD）实例、新奇事物、异常值和Cornor-Case案例是很重要的，这些案例主要描述未知或不寻常的，以改进安全关键驾驶情况的检测和最终处理。为了处理这种情况，异常检测领域是一个高度活跃的研究领域。然而，如果仔细观察，大多数公共数据集遵循一个封闭的世界假设，并没有提供检测异常的空间。

在这项工作中提供了自动驾驶领域中带有标记异常的完整感知数据集集合。如Breitenstein等人所述，这些数据集显示出对物体和场景级异常的强烈关注。

可视化异常的数量和分布，并为未来工作提供见解和研究差距。已经包括了截至2023年2月1日的公共和可用数据集，这些数据集从自我角度提供了传感器数据，因为潜在利用数据集的许可证允许包括像素或点异常标签，至少以小验证集的形式。

我们排除了这些数据集，包括SiMOOD，因为它们只提供了一个框架，但没有原始数据；TOR4D、Rare4D和FS Web，因为它们不是公开的；MUAD、DANGER vKITTI、DANGER-vKITTI2和FDP集合，因为它们尚未发布；因为没有提供异常标记。我们还排除了关注不利条件的作品，如WildDash、ACDC或Rain Augmentation，因为它们对整个场景进行了分类。

除了感知数据集之外，还有包括异常的轨迹数据集或框架，如R-U-MAAD、KING或coung。虽然这些异常是最具挑战性的，但这些方法不能提供感官感知数据，而只能在模拟中执行，而模拟不能提供明确的视觉环境表征。

1.研究差距

虽然每年在自动驾驶领域发布了大量的新数据集，但关注一般数据集分析的工作却很少，而关注异常检测领域的工作则更少。虽然最近有一个关于异常检测方法的概述，但缺乏与包含异常的数据集相关的结构化知识，尽管这类异常或角落情况目前是缩放自动驾驶汽车的核心限制因素。

2.贡献

本文工作旨在帮助异常检测领域的研究人员获得包括异常在内的所有相关数据集的概述。作者提供了明确的选择标准，并为更广泛的范围指出特别排除的数据集。在第二节中提供了16个数据集的详细的结构化信息和可视化。本文的调查是唯一一种提供了目前可用的感知数据集的异常检测。在第三节中就相似性、问题和研究差距进行了广泛的讨论。所有用来重新创建可视化的代码都可以在GitHub上找到。

2、数据集

在自动驾驶中，发现非典型的和危险的情况对所有道路使用者的安全至关重要。为了提高当今模型处理这种关键情况的能力，需要数据集来进行有针对性的训练，更重要的是，对这种关键情况进行测试。因此，近年来出现了各种数据集，将在本节中描述这些数据集。如表一所示根据其基准测试对数据集进行聚类，并根据其异常源对其进行分类：

1.Automated OOD Proposal

这种方法允许使用大型的、未标记的数据集。这里，使用一种自动建议方法来生成第一个异常建议。这可以用任何异常检测方法来实现，例如，不确定性、中间检测、几何先验，或模型矛盾。随后，人类专家负责处理假阳性结果，并改进了这些建议。

2.Misc Classes

基于一个被标记的数据集，所有被标记为空白或混杂的区域都可以被进一步检查。这些术语经常互换使用，大多指不常见的物体或不相关的区域。然后，如果合适的话，人类专家会将这些类别重新标记为异常现象。

3.Class Exclusion.

这种方法是基于一个带有标记的数据集。通过从序列和验证分割中排除具有已知类的帧来创建假设的异常。使用这些方法创建了一个新的测试分割，将选定的类视为异常。

4.Web Sourcing

在这种方法中，人类专家会积极地搜索包含非典型类别的图像。作为已知类的参考列表，通常使用Cityscapes。

5.Recording and Simulation

在这里，通过驾驶真实世界的或合成世界的的数据收集来记录异常情况。通常，异常现象也不包括在Cityscapes类中。

6.Data Augmentation

对于这种技术，任何未标记的数据集都可以用作基线。通过对场景的合成操作，将异常粘贴到原始图像上，并可以进行相应的标记。如前所述，异常现象通常不包括在城市景观类中。

除了区分不同的异常方法外，我们还区分了数据集是提供具有异常的单个帧，还是提供具有时间上下文的场景。在图9中显示了所有数据集的累积异常掩码。这些给出了包含的异常的数量和在图像的区域可以找到它们。在下面的章节中将介绍每个数据集，并提供关于异常情况、可能的任务、一般上下文和许可协议的详细信息。此外，还展示了每个数据集的示例，其中异常实例和空白实例分别用橙色和黑色覆盖，并分别用绿色和红色概述。

2.1 Lost and Found数据集

Lost and Found 数据集是由Pinggera等人于2016年引入的，是第一个专注于小型道路危害检测的数据集，如图1所示。

1. 任务和基本情况：

为语义分割任务提供的立体掩模允许进行像素级和实例级的评估。他们的实例级方法是基于三维旋转轴表示，这是非常特定于方法的。由于该数据集提供了来自立体照相机的数据，因此可以应用几何方法。这些异常现象包括42种可以在街道环境中实际发现的独立物体类型。这些物体被分为标准物体、随机危险、动物或玩具、随机非危险和人类，包括静态和动态障碍。

2. 内容：

数据收集于德国大斯图加特地区。它包括不规则的路面、较大的物体距离和照明变化。典型环境包括住宅区、停车场或工业区。

3. 许可：

该数据集是“免费提供给学术和非学术实体的非商业目的”的。

2.2 Fishyscapes数据集

Blum等人于2019年引入了Fishyscapes（FS）基准，用于评估语义分割中的异常检测方法。虽然大多数数据被保留用于评估，但作者为不同的数据集FS Lost and Found和FS Static提供了验证集。第三个FS Web数据集被完全保留。第一个数据集是失物招领数据集的子集。其他的基于Cityscapes验证数据，上面覆盖了从通用Pascal VOC数据集中提取或从互联网上抓取的异常对象。FS静态验证帧是从Cityscapes数据集自动生成的。

1. 任务和基本情况：

FS数据集是为语义分割任务而设计的。FS Lost and Found使用细粒度二进制语义掩码进行了丰富。通过将图2与图1进行比较，显示了背景的精确注释。此外，异常目标是自行车或儿童的序列被过滤掉，因为它们可以被分配到Cityscapes类中的一个。

对于FSStatic和FSWeb，新的目标被混合到Cityscapes中已经注释过的场景中，从而产生了完全注释的语义掩码。从Pascal VOC数据集提取的异常属于飞机、鸟、船、瓶子、猫、椅子、牛、狗、马、羊、沙发和tvmonitor类。

2. 内容：

由于所有的图像都来自城市景观或失物招领数据集，它们是在白天晴朗的天气条件下记录的。对于增强的Cityscapes数据，这还需要街景包括来自已知类别的实例，如人类或其他车辆。根据异常类型的不同，异常出现在或上半部分的概率更高。

3. 许可：

FS根据Apache2.0授权许可。

2.3 CAOS数据集

Hendrycks等人于2019年首次引入了Combined Anomalous Object Segmentation（CAOS）基准，包括数据集StreetHazards和BDD异常。

StreetHazards基于CARLA模拟环境。训练集包括来自CARLA的三个城镇。另一个城镇为验证集保留，另外两个城镇为测试集专用。另一方面，BDD异常基于广泛的BDD100K数据集，其中从训练集和验证集中删除了几个类的所有实例，因此在新的测试集中被视为异常。

1. 任务和基本情况：

这两个数据集都是为语义分割任务而设计的，并且被对齐以以相同的分辨率提供RGB图像数据和语义基础真相。StreetHazards数据集提供了多种场景。总共插入了250个不同的异常，这些异常来自数字化模型库和语义ShapeNet。语义掩码用一个额外的异常类完全注释。对于BDD异常，三类摩托车、火车和自行车被视为异常。原始训练和验证集（包括这些类）中的所有帧都被移动到新的测试集，在那里它们变成了异常。图3提供了一个示例。由于BDD100K数据集提供了完全注释的语义掩码，因此它们也可用于BDD异常，这使得异常类可区分。由于StreetHazards和BDD异常的验证集不包括异常，但仅为语义分割的常规任务提供，因此我们将其从表I中排除。

2. 内容：

对于StreetHazards，CARLA城镇略有不同，但遵循相同的主题。包括不同的天气和白天设置。虽然数据集提供了场景，但自我运动似乎是手动执行的，因为它相当不一致。大多数异常情况都不位于与驾驶任务相关的区域。由于BDD通常基于BDD100K，它包括不同的景色、天气条件和一天中的时间。

3. 许可：

CAOS是在MIT许可下提供的。对于BDD100K，“为教育、研究和非营利目的使用、复制、修改和分发本软件及其文档的许可”。

2.4 WD-Pascal数据集

WD-Pascal是2019年发布的一个小数据集，其中WildDash（WD）数据集与来自PASCAL VOC 2007数据集的动物进行了扩充。

1. 任务和基本情况：

数据集是为语义分割任务生成的，但数据没有明确提供。作为作者代码的一部分，它是动态组装的，并作为PyTorch数据集提供。

2. 内容：

虽然数据集很小，但由于WildDash数据集，多样性仍然相对较高，如图4所示。包括的动物并不总是完整的，大小也不尽相同，这往往会导致不切实际的扩增。

3. 许可：

WD Pascal生成代码是根据GPL-2.0许可证提供的。必要的WildDash数据集附带了一份广泛的许可协议，其中仅根据CC BY-NC 4.0许可证发布强度图像。对于PASCAL VOC数据集，未提及许可协议。然而，Flickr提供了一些图片，它们介绍了自己的使用条款。

2.5 Vistas-NP数据集

2020年引入的Vistas NP是基于Mapillary Vistas数据集的大规模异常数据集。与BDD异常相似，他们从训练和验证分割中排除了类，创建了一个具有假设异常的新测试分割。Vistas NP拥有超过11000个标记帧，是迄今为止最大的异常数据集。

1. 任务和基本情况：

数据集是为语义分割任务而设计的，如图5所示。所选异常类别与BDD异常中的异常类别不同，以避免异常类别和非异常类别（例如，火车和公共汽车）的视觉相似性。因此，整个类别被排除在外，包括与人类相关的所有类别。

2. 内容：

底层Mapillary Vistas数据集具有多种多样性。与BDD异常相比，所有图像都来自美国，包括来自多个国家的图像。由于采用了众包方法，这反映在各种决议中。

3. 许可：

“Vistas NP数据集应在与原始数据集相同的条件下使用”，该数据集根据CC BY-NC-SA 4.0许可证提供。

2.6 SegmentMeIfYouCan数据集

SegmentMeIfYouCan基准由Chan等人于2021开发，引入了两个真实世界的数据集。Lis等人已于2019年发布了RoadAnomaly21数据集的先前版本。当前版本经过了改进和扩展。它由从互联网收集的图像组成，这些图像显示了道路上或附近的异常物体。RoadObstructure21数据集由作者记录，包括放置在前方道路上的异常物体。与FS Lost and Found（也包含在基准中）类似，这些数据集只包含真实的异常。

1. 任务和基本情况：

这两个数据集都是为语义分割任务而设计的，语义掩码包括二进制异常标签。道路异常21是为全街道场景中的一般异常检测而设计的，而在道路障碍21中，道路被认为是感兴趣的区域，即非异常类别。因此，该区域中未包含的所有内容都被分配给void类，如图6所示。道路异常21中的异常可分为动物，例如大象、奶牛、马、未知车辆，例如飞机、船拖车、拖拉机，以及帐篷、钢琴或圆锥体等。在RoadObstructure21中，前方道路上的每个物体都被视为障碍物。然而，该数据集中的所有障碍也符合异常的定义，即不能分配给Cityscapes类的对象。在这两种情况下，语义掩码都只针对小型验证集发布。

2. 内容：

在RoadAnomaly21中，图像是从网络资源收集的，因此描绘了各种各样的环境和设置。所有图像都是在白天和晴朗天气下拍摄的。这些异常可以出现在图像中的任何地方，甚至是天空中。因此，它们不一定是街道危险。德国和瑞士在七种不同的道路类型上记录了RoadObstructure21的图像，白天和晴朗天气也是如此。此外，夜间和下雪天气条件下有55个带注释的帧。

3. 许可：

RoadObstacle21是在CC BY 4.0下提供的，RoadObstacle21是在不同的CC BY许可证下提供的。

2.7 CODA数据集

2022年发布的CODA数据集是第一批主要基于数据集的数据集，不仅包括相机数据，还包括激光雷达数据。它们被分为CODA Base和CODA2022子集，这些子集又由不同的基础数据集组成，即KITTI、nuScenes、ONCE和SODA10M。[37]中描述了CODA Base，而CODA2022是后来添加的。

1. 任务和基本情况：

如图7所示，CODA数据集设计用于仅在图像空间中使用地面真相异常边界框进行物体检测。公共对象仅在CODA2022数据集中标记。对于异常的标记，使用了不同的技术。对于CODA-ONCE，来自激光雷达空间的未知集群被映射到图像空间，而那些无法被物体探测器分类的集群仍然作为异常建议。在第二阶段，应用手动过程来标记图像。这包括提案改进、误报删除和手动添加。此外，使用了CLIP预标记。

我们考虑了两种类型的异常现象：可能会阻碍自车辆的危险物体，或不属于典型类别的新奇物体。对于CODA-KITTI和CODA-nuScenes，仅应用了第二阶段，即使用现有标签中的不常见类别作为提案，例如KITTI中的杂项类别。异常分为车辆、行人、骑车人、动物、交通设施、障碍物和其他类别。

对于CODA2022，采用了基于FILIP的预标记过程，然后是手动过程，因为SODA10M是没有激光雷达数据的未标记数据集。数据集通常更大，包含更多异常类别。图7和图9中的比较清楚地显示了CODA-ONCE和CODA2022-ONCE数据集的差异。

2. 内容：

由于CODA数据集基于四个不同的数据集，其多样性相当高，包括多个国家、天气条件和一天中的时间。对于大多数数据集，大多数异常都出现在道路的一侧，与自我路径几乎没有关系。只有在CODA2022-SODA10M中，出现了不同的图像，在图像的中心可以发现更多的异常。这是由于数据集的众包方法。

3. 许可：

由于ONCE、SODA10M和CODA都与华为有关，它们的图像都包含在数据集中，而KITTI和NuScene需要单独下载。CODA数据集在CC BY-NC-SA 4.0许可证下提供。KITTI在CC BY-NC-SA 3.0许可证下可用，nuScenes在CC BY-NC-SA 4.0许可证下使用。

2.8 Wuppertal OOD Tracking数据集

Maag等人于2022年引入了这些数据集，实现了视频序列的OOD检测和跟踪。街道障碍物序列（SOS）数据集包含带有真实异常的注释真实场景。CARLA WildLife（CWL）数据集是一个类似于StreetHazards的合成数据集，其中免费可用的资产作为异常插入。第三个数据集，伍珀塔尔障碍序列（WOS），由真实世界但未标记的序列组成。

1. 任务和基本情况：

SOS和CWL为语义分割、实例分割和深度估计任务提供了标签。数据集包括带有二进制和类特定异常标签的语义掩码。与RoadObstructure21类似，道路代表感兴趣的区域，因此，除了道路之外的所有内容都被分配给空类。此外，这两个数据集都包含实例和深度掩码。对于SOS，8994帧中的1129帧被手动标记。对于CWL，也可以使用像素距离掩码和完全注释的语义掩码。SOS中的异常属于13种异常类型，例如袋子、雨伞或玩具，CWL中的异常包括18种异常类型（例如狗、塔或袋子）。

2. 内容：

所有的图像，真实的和合成的，都是在晴朗天气的白天记录的。SOS和CWL中的静态对象的放置方式使其大部分被道路包围，如图8所示。与街道危险相反，CWL中的异常情况都位于前方道路上，这可能导致安全关键的街道场景。此外，由于更新版本的虚幻引擎，它们更真实，质量更高。除了自我车辆和异常，场景中没有其他车辆或人类。

3. 许可：

所有数据集均在CC BY 4.0许可证下提供。CARLA WildLife是使用虚幻引擎和CARLA创建的，根据MIT许可证提供。虚幻引擎4.26中作为异常插入的资产是根据CC BY许可证提供的。

3、讨论

对自动驾驶异常检测领域的16个感知数据集进行了全面概述。我们提出了许多定义和生成异常的技术，这些技术带来了一定的挑战。在下文中对这些进行了广泛的讨论。

1.规范性定义

对于物体是否异常，目前还没有明确的定义。然而，一种常见的方法是将异常定义为19个Cityscapes评估类中的任何已知类。大多数异常技术都遵循“城市景观作为常态”的定义：对于网络资源、模拟、数据扩充和记录，选择异常对象以符合此定义。对于void类方法，异常对象的定义取决于各自的基础数据集，因为void或misc类别也没有明确定义。

此外，对于自动OOD提议技术，正态性的定义强烈依赖于所使用检测器的基本类别。最后，对于类别排除，正常性取决于排除类别的选择。这种方法标记的异常通常与城市景观无关，因此不代表现实世界中罕见的异常。

2.现实主义

特别是对于模拟或数据增强产生的异常，真实性水平可能会发生很大变化，如图9所示。例如，WD Pascal和StreetHazards中的异常通常被放置在难以置信的位置或以不现实的方式缩放。

2.传感器数据

具有异常的感知数据集主要提供相机数据。CODA Base数据集是唯一的例外，也包括激光雷达点云；然而，在3D空间中没有提供异常标签。众包方法很难将检测方法转移到自动驾驶汽车的感知系统中，因为视点差异很大。最后，摄像机数据中的异常表示对于自动驾驶系统是不可操作的，然而，这是一个一般的计算机视觉问题。

3.常规任务

数据集通常只为异常提供标签。在这种情况下，只有异常检测的任务是可能的。然而，能够在检测或分割已知类时仍然表现良好的同时检测异常通常是令人感兴趣的。

4.「Domain Shift」

记录真实世界中的异常情况非常耗时，因为它们很少出现在普通街道场景中，因此必须手动选择和放置。此外，无法捕获可能导致危险驾驶情况的异常情况。因此，出现了数据增强和模拟等异常技术来解决这些问题。仿真具有完全控制的优点。

因此，训练数据中肯定不会出现异常。然而，存在与现实的自然领域差距，因此在合成数据上表现良好的异常检测方法在真实世界数据上并不隐式可靠。数据扩充也是如此，它混合了两个领域，导致了不现实的结果。

为了确保方法真正检测粘贴到图像中的异常对象，Fishyscapes采用了两种策略：增强Cityscapes图像和粘贴已知类中的对象。第一种策略防止方法仅检测与非增强图像不同的像素，第二种策略指示是否仅识别域偏移。

5.大小

包括真实世界场景的数据集通常非常小，这些场景显示了Cityscapes的异常，即从网络资源中记录或收集的数据集。作为这些数据集中最大的一个，丢失和发现数据集只提供粗略的注释，其次是街道障碍物序列数据集，但由于从20个视频序列中提取帧，因此该数据集是高度冗余的。

这些数据集主要用于评估目的，而不是用于训练。它们还提供各种不同的异常类型，这有利于评估异常检测，但阻碍了这些异常的进一步处理，例如，在图像检索、聚类和增量学习方面。虽然Vistas NP和CODA是相当大的数据集，但它们仍然无法与具有数十万帧的常规感知数据集相比。

6.相似性

将更大的数据集作为类似数据集的组合生成需要这些数据集具有适当的异常技术、正常性定义和标记策略。这些数据集包括用于语义分割的FS Lost and Found、Road Anomaly21、Road Obstructure21和SOS。特别是，由于不同的标记策略，不可能以有意义的方式组合其他数据集。

通过对异常检测领域数据集的概述和所提到的挑战，希望在未来为更大、更多样或更专业的数据集做出贡献。

4、参考

[1]. Perception Datasets for Anomaly Detection in Autonomous Driving: A Survey.

免责声明

凡本公众号注明“来源：XXX（非集智书童）”的作品，均转载自其它媒体，版权归原作者所有，如有侵权请联系我们删除，谢谢。