轻舟CTO李栋，详解端到端方案：用「安全对齐」守住下限

作者 / 还是Robo小曹‍‍‍‍‍‍‍

2024年，轻舟智航的研发重点逐渐转向城市NOA的量产，也开始涉及端到端的研发工作。

近日，轻舟智航CTO李栋对其端到端方案进行了详细解读，指出该公司采用的是One Model的端到端模型，同时在线模型训练上引入了安全对齐机制，并在离线训练中，采用了基于运动模拟的世界模型。

“端到端模型能解决很多难题，但是在给定的时间窗口和数据压力下，很难指望它来解决所有问题。”因此，轻舟在端到端模型基础上，运用了时空联合规划算法。

李栋表示，端到端模型是一个智能且复杂的轨迹生成模块，时空联合规划算法是另一个轨迹生成模块，它将扮演「后决策机制」的角色，优选出一个轨迹来执行。

“整个系统的上限是端到端打出来的，但系统的下限是由时空联合规划算法来保证的，这样能够得到两方面最好的结果。”

李栋展示了一个现实案例：在一辆车的两条绕行轨迹中，端到端的轨迹距离障碍物非常近；而如果运行时空规划算法，它就会根据已有的经验，优化出更好的一条轨迹。

轻舟One Model架构简介

在现场，李栋展示了轻舟的端到端架构，大体如下：

1、将来自传感器的图像识别、激光雷达等信息，提炼出OCC、静态元素，动态元素等核心信息；

2、将核心信息的Query输入到Attention fusion的Layer（注意力融合：用于融合处理多模态信息），然后传到时序的fused BEV Layer，以便进行3D目标检测、跟踪和场景理解，形成时空上的融合。

3、之后，大模型还会接入OCC静态、动态信息的head，进而解码出相应的元素。这些元素一方面可以做训练校验，另一方面也方便用户看到系统对障碍物检测和轨迹生成的结果；同时，还需要线上系统根据结果对模型的输出做校验。

4、引入导航信息，和图像中的Feature进行合并，最后解码出来规划轨迹。

李栋指出，这些设计中，融入了很多对规划的理解和对安全的要求。

其中一个例子，就是「多重碰撞损失约束」——将车辆不应碰触的东西设置出不同级别的Cost：“例如假设车辆碰到一个物体，付出的代价会超级高，但如果只是离它近一点，付出的代价会稍微小一点，这样它会让模型天然地收敛到一个保证合适距离，而且不发生碰撞的结构。”

据介绍，轻舟「安全对齐」的做法，是来启发自OpenAI的大模型安全对齐方法——它是通过人类的反馈，让模型产生一个符合人类的价值观的答案。

当这样的方法运用到智驾上，就可以自动化评价端到端模型产生的轨迹，不断给它Feedback，「惩罚」那些不安全的轨迹信息，通过强化学习的方法去反复迭代，这样模型会在规避危险层面上做得越来越好。

给世界模型加「保险」

针对离线的端到端模型训练，轻舟智航构建了基于运动模拟的世界模型。

该模型的训练可被理解为两步：第一步是运动行为的生成，也就是对车辆运动下一帧的朝向、速度、状态、位置等变化，利用模型来自动生成；第二步是通过另一个模型，来反推传感器应该返回什么样的图像。

相较于传统的世界模型，基于运动模拟的世界模型可以批量生产大量的长尾场景和罕见的安全临界场景，同时生成的仿真视频更加可控，保证了时序、空间位置、物体几何、物理规则的一致性和正确性，从而提高端到端系统的安全性。

“根据基于运动模拟的世界模型，我们可以做两件事：一方面是特殊场景、边界场景的数据生成；另一方面，它天然就是一个仿真器，我们可以将模型放在这个环境里去迭代和仿真，来判断它是否会形成一些危险场景或不合规场景。”

另一个端到端模型：

自动标注大模型

李栋表示，轻舟专门为端到端组建了一条业务链，让数据从采集到回传，都较为高效：其中数据回传可以做到T+1，也就是第二天研发人员就能看到数据质量的问题，一旦有新要求可以快速闭环。

在数据挖掘层面，李栋也展示了如何对道路几何元素进行重建——通过一段视频反推出当时的3D道路几何状态：“视频是2D的，要通过视频来反推出来3D，例如根据一段行车的片段，推断出当时每个障碍物的3D位置。”

至于数据标注，由于端到端需要对连续的时间片段进行全量的数据标注，如果没有全自动化的标注系统，几乎是不可行的。

在此背景下，轻舟利用4D障碍物自动标注大模型，自动标记好车辆、行人，还有杆状物、道路边界、二轮车等元素。

“离线模型比在线更好做，有两个原因：1、离线下模型可以更大，可以不用太在意实时运行这个模型；2、离线可以反复阅读一段数据，而在线只能按时间推进阅读数据，所以前者对遮挡之类的场景都能解决得非常好…现在我们的障碍物标注几乎全是模型来做的。”

李栋指出，其实自动标注大模型本身，也是纯粹的端到端模型，因为其后处理逻辑也用模型取代了。

该模型可以做到通过离线的空序关系，在不同的时间点看到类似的场景，排除掉遮挡带来的问题，能够自动化标出来类似手工标的高精地图的效果。

在分享会上，李栋展示了北京北四环的一个大型路口，距离对面超过100米，人可能都看不太清路对面的情况，系统却可以靠端到端模型去推断出左转车道，而且左转的朝向也可以根据道路边界来做预判和规划。

“这个端到端的模型，是部署在征程6M芯片上运行的模型，这在业内应该是首次。”

更细致的安全冗余

有了大量数据之后，除了能解决很多道路场景问题，还可以主动干预一些用户的交互安全问题。

例如，起身防误触策略：在开启智驾的过程中，有时用户会分心做点别的事情，可能会蹭到方向盘，导致系统误以为被接管，引发危险。

“当用户起身的时候，我们首先会根据座椅的压力和安全带，去提醒用户接管。其次，我们会将方向盘的接管扭矩增大，让它更难去触发方向盘接管，能减少很多安全事故。”李栋说道。

另外，还有「恶意驾驶（躺平）安全提示」。针对部分司机用矿泉水瓶别在方向盘上，让系统检测不到脱手状态，然后放倒座椅躺平的危险行为，轻舟专门增加了座椅角度的检测——当角度很不正常的时候，系统会提醒驾驶员接管，直到他纠正坐姿。

还有一种危险场景，是用户醉酒或疲劳驾驶：这时用户的手虽然在方向盘上，但可能已经睡着。此时也能通过DMS信号，进行接管提醒。

“这些小功能未必能完全体现技术深度，但是代表了我们在量产之后对用户行为的关注…轻舟量产产品至今没有任何一起重大事故，是因为我们的系统设计保证了安全。”李栋总结道。