自动驾驶机器人出租车如何实现全场景预测

自动驾驶机器人出租车如何实现全场景预测

通过尖端硬件、传感器技术和定制机器学习方法的结合，某机构开发的自动驾驶系统能够预测周围车辆、行人甚至动物的运动轨迹，预测时长可达8秒——这足以让车辆做出合理安全的驾驶决策。

感知、预测与规划的三步流程

该自动驾驶系统的AI架构主要由三个按顺序执行的流程组成：感知、预测和规划。这三个流程分别对应：观察世界及周围一切物体的当前运动状态；预测接下来一切将如何运动；根据这些预测决定如何从A点移动到B点。

感知团队从车辆的数十个传感器收集高分辨率数据，这些传感器包括视觉摄像头、激光雷达、雷达和长波红外摄像头。这些传感器位于车辆四个角落的高处，提供重叠的360度视野，可延伸超过一百米。借用一句流行语：这辆车能够同时看到所有地方的一切。

该机器人出租车已经包含了其环境的详细语义地图，称为道路网络，这意味着它了解当地基础设施、道路规则、限速、交叉路口布局、交通信号灯位置等所有信息。感知系统快速识别并分类场景中的其他汽车、行人和骑行者，这些被称为“智能体”。关键的是，它还追踪每个智能体的速度和当前轨迹。这些数据随后与道路网络结合，为车辆提供对其环境的极其详细的理解。

从数据丰富图像中学习

在这些组合数据传递给预测系统之前，它们会立即被简化为精华，转换为针对机器学习优化的格式。为此，预测系统最终操作的是一个自上而下、空间精确的图形描绘，展示了车辆及其环境中所有相关动态和静态方面：一个以机器人出租车为中心的、机器可读的场景鸟瞰图。

“我们将所有内容绘制成2D图像，并呈现给卷积神经网络，由它决定哪些距离重要，哪些智能体之间的关系重要等等，”预测团队总监解释道。

虽然人类可以理解这张地图的要旨，比如场景中所有车辆（用方框表示）和行人（用不同、更小的方框表示）的相对位置，但这并非为人类消费而设计，高级软件工程师指出。

“这不是RGB图像。它大约有60个通道或图层，其中还包括语义信息，”他指出。“例如，因为拿着智能手机的人往往行为不同，我们可能有一个通道，将拿着手机的行人表示为‘1’，没有手机的行人表示为‘0’。”

从这个数据丰富的图像中，机器学习系统为场景中的每一个动态智能体生成潜在轨迹的概率分布，从卡车一直到在人行横道附近徘徊的宠物狗。这些预测不仅考虑每个智能体的当前轨迹，还包括诸如汽车在给定道路布局上的预期行为、交通信号灯的状态、人行横道的运作等因素。

这些预测通常可达未来约8秒，但随着感知系统不断提供新信息，它们每十分之一秒就会重新计算一次。这些加权预测被传递给AI架构的规划部分——车辆的执行决策者——它利用这些预测来帮助决定该自动驾驶车辆如何安全运行。从感知到规划，整个过程都是实时工作的；如果需要，这辆机器人出租车的反应速度极快。

利用图神经网络

虽然完美预测本质上是不可能的，但预测团队目前正在多个方面采取措施，将车辆的预测能力提升到新的水平，首先是利用图神经网络方法。

“将GNN视为一个消息传递系统，通过它，场景中的所有智能体和静态元素相互连接，”预测团队的高级软件工程师表示。“这使得能够显式编码场景中所有智能体之间的关系，以及该自动驾驶车辆，以及这些关系未来可能如何发展。”

举个日常例子，想象自己走在一条长走廊的中间，看到一个陌生人也在走廊中间朝你走来。看到彼此的行为实际上是在传递一个默契的信息，这可能会让你们双方都稍微改变路线，这样当你们相遇时，就不会碰撞或需要急转弯。这是人类的天性。

因此，这种GNN方法能够预测该自动驾驶车辆周围所有人之间更自然的行为，因为该算法通过在某机构大量真实道路数据上的训练，能够更好地模拟现实世界中行人或汽车中的智能体如何相互影响彼此的行为。

预测与规划的深度集成

预测团队提高准确性的另一种方式是接受这样一个事实：你作为驾驶员的行为会影响其他驾驶员，而这反过来又会影响你。例如，如果你进入停着的汽车，并稍微驶入繁忙的交通中，你后面道路上的驾驶员可能会减速或停车让你出来，或者他们可能直接开过去，迫使你等待更好的机会。

“预测不是在真空中发生的。其他人的行为取决于他们世界的变化方式。如果你在预测中没有捕捉到这一点，你就在限制自己，”团队总监表示。

下一步工作正在进行中，旨在将预测与规划更深度地集成，创建一个反馈循环。规划系统现在可以与预测系统进行这样的交互：“如果我执行行动X、Y或Z，我附近的智能体在每种情况下可能会如何调整他们自己的行为？”

通过这种方式，该自动驾驶机器人出租车将变得更加自然，更擅长与其他车辆协商，同时为其客户创造更顺畅的乘坐体验。

“我和团队几年前开始研究这种新模式，当时只是一个研究项目，”高级软件工程师表示，“现在我们专注于它的集成，解决所有问题，减少延迟，并使其为生产做好准备。”

该自动驾驶机器人出租车预测能力的日益复杂化，对于致力于此的团队来说是一个明显的骄傲源泉。

“我加入这个团队已经五年多了。我见证了预测从仅仅三个实现基本启发式算法来预测轨迹的源代码文件，发展到如今处于深度学习的前沿。一切发展得如此之快，真是令人难以置信，”高级软件工程师表示。确实，按照这个速度，该自动驾驶机器人出租车最终可能成为道路上最有先见之明的车辆。尽管这个预测带有通常的警告：没有人能完美预测未来。