NeurIPS2019无人驾驶研究成果大总结（含大量论文及项目数据）

神经信息处理系统大会（NeurIPS），是一个机器学习和计算神经科学相关的顶级学术会议。每年的12月举办。2019的第33届NeurIPS在加拿大温哥华于12月8日至14日举办，本届会议更有投稿6743篇，其中1428篇接收，录取率21.2%。NeurIPS2019开设了自动驾驶专题研讨会，收录了来自全球各大自动驾驶科研院所和公司的论文。本篇文章小编为您梳理一下NeurIPS2019上的那些自动驾驶研究成果。在我爱计算机视觉公众号后台回复“NeurIPS2019”获取论文合集及相关材料。

NeurIPS介绍

神经信息处理系统大会（NeurIPS），前称NIPS，是一个机器学习和计算神经科学相关的顶级学术会议，每年12月举行。1986年由加利福尼亚理工学院和贝尔实验室的学者提出，1987年首次举办。2000年前举办地均在美国丹佛，此后曾在美国、西班牙、加拿大多地举办。

图 NeurIPS2019投稿主题关键词分析

2019的第33届NeurIPS在加拿大温哥华于12月8日至14日举办，本届会议更有投稿6743篇，其中1428篇接收，录取率21.2%。

NeurIPS2019自动驾驶研讨会

自动驾驶（AV）为机器学习（ML）社区提供了丰富的高影响力研究问题来源；包括感知，状态估计，概率模型，时间序列预测，手势识别，鲁棒性保证，实时约束，多智能体和智能基础架构。此外，ML子领域之间朝着自动驾驶共同目标的交互作用可激发有趣的领域间讨论，从而激发新的研究途径，本次研讨会旨在促进这些研究。作为ML的一种应用，自动驾驶技术有可能通过减少交通事故，给无法驾驶的人提供独立性，甚至通过在当地街道上清晰可见的基于ML的技术实例来启发年轻一代，从而极大地改善社会。

图 NeurIPS2019自动驾驶征稿范围

本次NeurIPS2019自动驾驶研讨会接收有关自动驾驶的机器学习的论文，包括（但不限于）：

•有监督的场景感知和分类

•用于驾驶的无监督表示学习

•行人和车辆的行为建模

•手势识别

•通过AV软件管道传播的不确定性

•度量用于自动驾驶

•自动驾驶基准

•实时推理和预测

•多主体交通场景的因果模型

•不受分布路况的影响

•模仿驾驶策略

•将学习从模拟转移到现实世界（Sim2Real）

•与人力车辆的协调

•与车辆（V2V）或基础设施（V2I）的协调

•可解释的驾驶决策

•基于用户偏好的自适应驾驶方式

自动驾驶分论坛论文详情

【文章】Self-Drivinglike a Human driver instead of a Robocar: Personalized comfortable driving experiencefor autonomous vehicles

【简介】本文提出了一种基于个人驾驶偏好的自动驾驶汽车综合控制系统，为自动驾驶汽车用户提供个性化的舒适驾驶体验。本文提出了一个驾驶员偏好度量(OPM)，它定义了一个最佳的横向和纵向加速区域。此外，本文提出了一种基于控制参数的车辆控制器，通过自动车辆的优先感知机动实现横向和纵向的综合控制。该系统不仅提供了驾驶员驾驶偏好的标准，而且提供了一个个性化的自动驾驶风格，就像一个人类驾驶员而不是机器人汽车。仿真和实验结果表明，该系统通过跟踪指定的允许加速度和颠簸准则，可以像人驾驶员一样操纵自动驾驶车辆。

【文章】End-to-EndDeep Path Planning and Automatic Emergency Braking Camera Cocoon-based Solution

【简介】为了拥有一辆功能齐全的自动驾驶汽车，系统需要有不同的功能块，如自动紧急制动(AEB)，车道保持辅助(LKA)，主动巡航控制(ACC)，交通堵塞辅助(TJA)，碰撞避免(CA)。路径规划是自动驾驶的主要模块之一，该模块集成到系统中，以确保这些功能正常工作。与传统技术不同的是，本文的解决方案是使用单个块来解决问题。本文只依靠覆盖在车辆四面360度的摄像头捕获由深度卷积神经网络处理的连续图像流。该网络的输出控制三种车辆的组成部分:油门、方向盘和刹车。本文基于CARLA模拟器构建了自己的基准测试，因为在本文提出的想法中存在基准测试。该模型具有区分超车和刹车的泛化能力，被认为是道路规划和自动紧急刹车功能的第一个深度学习解决方案。代码和视频地址：

https://github.com/eslambakr/Path_Planning_using_Deeplearning

【文章】SpatialInfluence-aware Reinforcement Learning for Intelligent Transportation System

【简介】智能交通系统(ITSs)被认为是智能城市的关键，旨在改善交通流量，提高城市居民的生活质量，减少拥堵，提高通勤效率。在这篇论文中，本文探讨了相互信息共享的潜力，换句话说，基于空间影响的通信，以优化交通灯控制政策。首先，本文对交通系统进行数学分析。本文的结论是，交通系统不具有平稳的纳什均衡，因此强化学习算法提供了合适的解决方案。其次，本文描述了如何建立一个包含空间影响和社会群体效用的多智能体深度确定性政策梯度(DDPG)系统。然后利用网格拓扑网络对新系统的可扩展性进行了实证验证。本文演示了三种定向通信类型，以展示社会影响方向对整个网络效用和个人效用的影响。最后，本文定义了自私指标，分析了自私指标对群体总效用的影响。

【文章】Meta-LearningDeep Visual Words for Fast Video Object Segmentation

【简介】本文开发了一种快速算法，它不需要细化、辅助输入或后处理，并且在一次向前移动中分割数量不定的对象。本文在嵌入空间中表示一个具有集群或可视单词的对象，它对应于图像空间中的对象部分。这使本文能够在整个视频中与参考对象进行有力的匹配，因为尽管一个对象的整体外观会随着它的遮挡和变形而变化，但更多局部部分的外观可能会保持一致。本文以无监督的方式学习这些视觉词汇，使用元学习来确保本文的训练目标与推理过程相匹配。本文实现了与基于finetuning的方法相当的精度，并在四个视频分割数据集的速度/精度权衡方面达到了最先进的水平。

【文章】DynaNet:Neural Kalman Dynamical Model for Motion Estimation and Prediction

【简介】动力学模型估计和预测物理系统的时间演化。本文提出了一种混合深度学习和时变状态空间模型，可以端到端的训练。本文的神经卡尔曼动态模型允许本文利用每种方法的相对优点。本文演示了最先进的估计和预测的一些物理挑战的任务，包括视觉测程，传感器融合的视觉惯性导航。此外，本文还展示了DynaNet如何通过对创新率(卡尔曼增益)等特性的研究来指示故障。

【文章】JointTriangulation and Mapping via Differentiable Sensor Fusion

【简介】传感器融合的挑战在路线规划、机器人和自动驾驶汽车中非常普遍。本文利用自动微分(AD)和概率规划来开发一种端到端的随机优化算法，用于传感器融合和大量未知对象的三角剖分。本文的算法使用生成式模型来训练期望最大化(EM)聚类求解器。通过联合估计不同类型物体的数量和位置，以及传感器噪声特征参数和物体的先验分布，验证了从无深度信息的噪声地理位置街面图像中提取的街道标志检测方法。

【文章】VisibilityGuided NMS: Efficient Boosting of Amodal Object Detection in Crowded TrafficScenes

【简介】目标检测是自主驾驶环境感知中的一项重要工作。本文的新型可见性引导NMS (vg-NMS)利用基于像素和amodal对象检测范例，提高了检测性能，特别是对于高度遮挡的对象，计算很小。本文使用KITTI、VIPER和Synscapes数据集对vg-NMS进行了评估，结果表明它的性能优于当前最先进的NMS。

【文章】UrbanDriving with Conditional Imitation Learning

【简介】为真实世界的城市自动驾驶制定通用的决策规则是困难的。本文专注于从人类驾驶演示中学习IL的计算机视觉的语义、几何和运动表示。作为本文的主要贡献，本文提出了一种端到端的条件模仿学习方法，结合横向和纵向的控制在一个真实的车辆，以遵循城市路线与简单的交通。本文通过数据平衡来处理固有的数据集偏差，在6个月的时间里收集了大约30个小时的演示，并对本文的最终策略进行了培训。本文通过在欧洲城市街道上行驶35公里的新路线来评估本文的方法。

【文章】HybridSensor Fusion Framework for Perception in Autonomous Vehicles

【简介】本文提出了一种新的混合多传感器融合管道结构，用于自动驾驶车辆的环境感知，如道路分割、障碍物检测和跟踪。该融合框架采用了改进的基于全卷积神经网络(FCN)的编译码器和传统的扩展卡尔曼滤波(EKF)非线性状态估计方法。本文的方法使用相机、激光雷达和雷达传感器的配置，这个混合框架的目标是提供一个相对轻量级、模块化和健壮的融合系统解决方案。与可用于自主车辆嵌入式计算机的基准模型相比，它采用了改进的算法，提高了环境感知精度和实时效率。与基准技术相比，本文的融合算法在各种环境场景中显示出更好的性能。该算法在车辆上实现，利用从车辆上采集的实际传感器数据进行测试，实现实时环境感知。

【文章】End-to-End Delay Analysis and Optimization of Object Detection Module for AutonomousDriving

【简介】为了开发安全的自主驾驶系统，需要对其目标检测模块从相机到输出的延时进行深入的分析和优化。然而，令人惊讶的是，很少有人注意到这种基于dna的对象检测器的端到端延迟。就本文所知，这项研究是第一次尝试从端到端的延迟来分析Darknet YOLO对象探测器的内部结构。在分析结果的基础上，本文提出了一种优化的系统架构，该架构采用了改进的流水线策略，满足了一般目标检测器的需求。本文的经验评估显示，在本文的评估平台上，端到端延迟从1335毫秒下降到229毫秒，减少了83%。注意，本文只修改系统架构，并不改变DNN架构本身;因此不会对检测精度造成任何损失

【文章】LearningAdaptive driving behavior using Recurrent Deterministic Policy Gradient

【简介】在这项工作中，本文提出了自适应驾驶行为的模拟汽车使用连续控制深度强化学习。深确定性策略梯度(Deep Policy Gradient, DDPG)是已知的能够在模拟环境中实现平稳驾驶的策略。但是简单的前馈网络，缺乏包含时间信息的能力，因此本文使用递归变型称为递归确定性策略梯度。在交通密集的情况下，它能够减速以避免碰撞，在交通稀疏的情况下，它会加速并改变车道以超车。本文的主要贡献有:1.递归确定性策略梯度的应用。2.新颖的奖励函数公式。3.修改后的重放缓冲区称为近重放缓冲区和远重放缓冲区，其中本文维护两个重放缓冲区，并从它们中平均采样。

【文章】SocialAttention for Autonomous Decision-Making in Dense Traffic

【简介】本文研究在密集交通环境下行为规划的学习架构设计。这样的架构处理附近不同数量的车辆以保持不变的顺序选择来描述它们，同时保持准确和紧凑。本文提出了一种基于注意力的体系结构，它满足所有这些属性，并且明确地考虑了流量参与者之间的现有交互。本文展示了该架构带来了显著的性能提升，并且能够捕获可被可视化和定性解释的交互模式。视频和代码地址：https://eleurent.github.io/social-attention/.

【文章】Radar andCamera Early Fusion for Vehicle Detection in Advanced Driver Assistance Systems

【简介】感知模块是现代高级驾驶员辅助系统(ADAS)的核心。为了提高该模块的质量和鲁棒性，特别是在光照和天气条件变化等环境噪声存在的情况下，传感器(主要是摄像头和激光雷达)的融合是近年来研究的重点。在这篇论文中，本文关注一个相对未开发的领域，即摄像头和雷达传感器的早期融合。为了提高感知模块的准确性和鲁棒性，本文将经过最小处理的雷达信号与相应的摄像机框架一起提供给本文的深度学习架构。本文对真实世界数据的评估表明，雷达和摄像机信号的互补性可以在应用于目标检测时减少15%的横向误差。

【文章】BenchmarkingRobustness in Object Detection: Autonomous Driving when Winter is Coming

【简介】不管图像是否失真或天气状况如何，探测目标的能力对于像自动驾驶这样的深度学习在现实世界中的应用是至关重要的。本文在这里提供了一个易于使用的基准来评估当图像质量下降时对象检测模型的执行情况。得到的三个基准数据集(称为Pascal-C、co-c和cityscaps-c)包含大量的图像损坏。本文证明了一系列标准的目标检测模型在损坏的图像上有严重的性能损失(下降到原始性能的30%到60%)。然而，一个简单的数据增强技巧风格化的训练图像导致大量增加鲁棒性的腐败类型，严重程度和数据集。

【文章】Boostingsemantic segmentation with multi-task self-supervised learning for autonomousdriving applications

【简介】自动驾驶汽车需要了解周围复杂而动态的环境。分类、分割和检测等任务的解决方案提供了理解此环境所需的信息。这些任务的最新解决方案基于监督学习，这需要大量带注释的数据。生产这样的数据是极其昂贵和劳动密集型的。未加标签的图片和视频可以以微不足道的成本大量获得。在本研究中，本文使用它来提高单个监督任务的性能。本文探讨两个自我监督的任务:着色和深度预测。性能是通过两个数据集来评估的:Cityscapes和KITTI。总的来说，本文发现当使用语义分割训练自监督任务时，提高了3%。综上所述，自监督学习提高了语义分割的性能，而不需要额外的注释或与推理相关的计算成本。

【文章】Simulation-basedreinforcement learning for real-world autonomous driving

【简介】本文使用合成数据和强化学习算法来训练一个系统，该系统控制一个全尺寸的真实世界的车辆在一些受限的驾驶场景。驱动策略使用RGB图像作为输入。本文分析了有关感知、控制和训练的设计决策如何影响真实世界的性能。

【文章】UnderstandingNatural Language Parking Instructions and Grounding for Self-driving Cars

【简介】自动驾驶的实际应用已经得到了快速的发展，使用自然语言进行交互操作将很快成为轻松操作自动驾驶汽车的必要手段。在本研究中，本文试图实现一个对应关系，即在自然语言表达的驾驶指令和汽车传感器识别的现实世界中的物体之间。然后，本文提出了一种利用信念传播法解决接地问题的方法，并以实际观测到的传感器数据为例进行了说明。本文特别关注汽车的停车操作。

【文章】CNNs forInterference Mitigation and Denoising in Automotive Radar Using Real-World Data

【简介】雷达传感器对于驾驶员辅助系统和自动驾驶汽车的环境感知至关重要。本文评估了一种基于卷积神经网络(CNN)的方法来减少真实雷达测量中的干扰。本文将真实的测量数据与模拟的干扰相结合，以创建适合于训练模型的输入输出数据。通过有限样本容量的性能比较，验证了该模型在模拟数据和真实数据上训练的有效性以及在转移学习上的有效性。比较性能分析强调了基于cnn的模型在减少干扰和去噪真实测量中的潜力，同时也考虑了硬件的资源约束。

【文章】UnsupervisedNeural Sensor Models for Synthetic LiDAR Data Augmentation

【简介】数据稀缺是基于机器学习的感知模块的瓶颈，通常通过从模拟器中添加合成数据来解决。本文提出了两种无监督的神经传感器模型，基于不配对的领域翻译与CycleGANs和神经风格的转移技术。本文使用CARLA作为仿真环境来获得模拟的激光雷达点云，并使用它们的注释来增强数据，本文使用KITTI数据集作为真实的激光雷达数据集，从中学习真实的传感器模型映射。此外，本文利用YOLO网络为激光雷达Birdeye-View投影点云提供定向边界盒，通过外部目标检测任务评估，为所开发的传感器模型提供了一个数据扩充和评估的框架。

【文章】ScribbleSupervised Annotation Algorithms of Panoptic Segmentation for AutonomousDriving

【简介】大规模的地面真值数据集对于基于深度学习的分割模型是至关重要的，但是对每个像素的掩码进行注释是非常耗时的。在本文中，本文研究了基于半标注图的分割算法。更准确地说，本文引入了一个离散Potts模型的类，以及一个确保全局最优的类可感知整数线性规划(ILP)。这两种算法都可以在涂鸦的监督下生成全光分割，并且可以采用RGB，或者利用任何DCNN的特征图作为输入，不管是否在目标数据集上训练。本文在PASCAL VOC数据集上给出了有竞争力的语义分割结果，并在更具挑战性的Cityscapes数据集上报告了全光分割结果。本文的算法表现出优越的结果，使它们适合于新数据集上的弱监督分割，或由人工注释器在现有数据集上交互式半自动地生成地面真相。

【文章】EfficientBlack-box Assessment of Autonomous Vehicle Safety

【简介】虽然自动驾驶汽车(AV)技术已经显示出实质性的进步，但本文仍然缺乏工具进行严格和可扩展的测试。仿真测试框架需要对要运行的场景进行优先级排序，了解所选择的场景如何提供故障模式的覆盖率，并根据重要性对故障场景进行排序。本文实现了一个模拟测试框架，评估整个现代AV系统作为一个黑盒。该框架估计了控制标准交通行为的基本分布下的事故概率。为了加快罕见事件概率评估的速度，本文通过自适应重要性抽样方法有效地学习了故障场景的识别和排序。

更多自动驾驶论文详见：https://ml4ad.github.io/

本次会议完整论文列表：https://nips.cc/Conferences/2019/Schedule?type=Poster