青年科学家李弘扬：行业大模型会推动自动驾驶更快更好迈向L4

编辑 / 华卫

前不久，上海人工智能实验室青年科学家李弘扬团队发表的论文首次提出感知决策一体的自动驾驶通用模型，并于近期荣膺 「CVPR 2023 最佳论文」。这是CVPR历史上首次授予自动驾驶领域「最佳论文奖」。

在近日的Auto Innovate | 2023 WAIC 大模型与智能驾驶创新高端闭门会上，李弘扬详细介绍了这一工作成果，并分享了自动驾驶系统从路径规划（Planning）角度出发的设计思路以及对自动驾驶大模型的思考。

端到端的自动驾驶算法：

规划是最终目标

自动驾驶系统可以分成Percepiton（感知）、Prediction（预测）、Planning（规划）几个模块，目前国内外大部分企业都采用模块化设计的方案，这样的好处是比较稳定，但存在各模块优化目标不一致的问题。

为此，李弘扬团队提出一套目标导向的自动驾驶算法方案（UniAD, Unified Autonomous Driving），其设计理念是采用端到端架构，把Planning作为最终目标，整合所有自动驾驶模块，以Task级联的方式将目标检测与跟踪、在线建图、轨迹预测、占据栅格预测、规划5个关键任务串联到一起。

其中，感知模块包含目标检测与跟踪、在线建图，目标检测与跟踪模块实现了对动态元素的特征提取、帧间物体跟踪，在线建图模块实现了对静态物体的特征提取、实例级地图预测。

预测模块包含轨迹预测和占据栅格预测，轨迹预测模块实现了动静态元素交互与长时序轨迹预测，占据栅格预测模块实现了短时序全场景BEV、实例级预测。

感知、决策一体化

距离为关键优化指标

在具体实现上， UniAD在感知部分使用了BEVFormer、MOTR和Panoptic SegFormer的思想；而在轨迹预测部分，UniAD建模了车之间、车与地图元素、车与目标点等之间的交互关系，以attention的方式将其放到网络里。

而Planning模块是整合前面所有的信息去完成的，主要有三个核心设计：以运动轨迹作为先验；依据未来运动命令对BEV特征施加注意力机制；利用占据栅格进行碰撞优化。

李弘扬强调，轨迹规划是整个自驾软件算法体系中最重要的优化点，优化指标是距离。「MTL、特斯拉等方案是要把所有任务的性能都做到最好，而我们的方案只盯着Planning的结果。」

在他看来，UniAD最大的意义就是统一感知和决策体系，通过端到端模型去优化网络中的问题。

「自动驾驶大模型有待行业共同探索」

对于目前遍地开花的大模型，李弘扬直言，「我认为现在这个行业没有自动驾驶大模型。我们给UniAD工作的定义也是『自动驾驶通用模型』，而不是大模型。」

他表示，现在国内外还没有搞清楚有关大模型的基本问题，如大模型怎么定义、参数量要大到什么程度、建模形式如何、优化目标是什么等。「如果自动驾驶大模型最后是发展成感知大模型，是不完善的，那完全可以在通用视觉里做。」

此外，李弘扬提到，现在自动驾驶领域要以大模型为背景开发第三代自动驾驶数据集。

第一代是由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创建的KITTI数据集，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集；第二代是由Motional(前身为nuTonomy)团队开发的nuScenes数据集，是第一个集成摄像头、激光雷达和毫米波雷达等多种传感器、实现360度全传感器覆盖的数据集。