特斯拉的端到端智能驾驶系统

芝能科技出品

特斯拉向美国用户推送了版本号为V12.1.2 Beta的端到端FSD，引发了广泛关注。如何去理解智能驾驶端到端的系统，我们来讲一讲。

传统智能驾驶系统采用分模块方案，分为感知、规划和控制模块，通过清晰的接口和界面交互。特斯拉的端到端大模型形成一个整合的神经网络结构，将感知、规控模块合二为一。

端到端方案则完全基于全栈神经网络实现，直接输入传感器数据，输出转向、制动和加速信号。

01

特斯拉智能驾驶系统的演进历程

从2021年开始一直到预期的2023/2024年，主要要点包括：

●2021年：引入HydraNet

特斯拉起初使用Mobileye系统，但很快就转向定制系统，包括HydraNet多任务学习算法。HydraNet采用单个神经网络执行多个任务，如感知（检测物体和环境）和规划与控制（规划路径和驾驶）特斯拉在算法层面不断改进，从传统A算法、带导航路线的A算法到Monte-Carlo树搜索算法，用于规划系统。

●2022年：引入Occupancy Networks：引入了Occupancy Network算法，对感知模块进行了改进，实现更好的3D理解。HydraNet的扩展包括车道线检测的新“头”，规划器还进行了优化，整合了Occupancy Networks的输出。

●2023/2024年：过渡到端到端学习：特斯拉计划从当前架构过渡到端到端深度学习系统，过渡的关键是将规划器改造为完全使用深度学习，并使用联合损失函数进行训练。过渡后的系统将采用端到端学习，消除手动规则和代码，并允许模型在未知场景中更好地泛化。

端到端大模型是对海量驾驶视频片段的压缩，类比于大语言模型的生成式GPT，将互联网级别的数据压缩到了端到端神经网络的参数里，实现了驾驶知识的高效储存和应用全栈神经网络化的FSD是软件2.0时代的产物，完全基于数据驱动。训练数据的质量和规模成为决定端到端神经网络性能表现的关键因素。

02

端到端学习的挑战和优势

端到端学习的挑战包括模型变得更加不可解释，但作者强调可以仍然可以可视化各个组件的输出。通过从驾驶员的1000万段视频中“模仿”驾驶员来进行自我计算，以提高系统的泛化能力。

●优点

◎具备更高的技术上界：端到端结构方便进行联合优化，寻求整体最优解。

◎数据驱动解决复杂长尾问题：可通过大量数据驱动覆盖更多corner case，提高系统适应性。

◎消除严重的模块累计误差：全栈神经网络结构可传递全量信息，消除模块之间的累计误差。

●缺点

◎缺乏可解释性：端到端模型的工作机制难以解释，影响对系统的理解。

◎需要海量的高质量数据：训练算力、数据、AI人才、资金都需要较高的门槛，数据质量对模型性能有着决定性影响。

特斯拉在端到端FSD的训练上付出了巨大的投入，特斯拉花费了大约一个季度的时间完成了1000万个视频片段的训练，训练视频片段的质量和数量成为了系统性能的决定性因素，计划在2025年底将训练算力推高到100E，相比其他厂商，其训练算力仍高出一个数量级。

小结

特斯拉的端到端方案引起了广泛关注，但其可解释性和对海量高质量数据的需求成为业界关注的焦点。优势在于整体性能和适应性的提升，缺点则在于技术的可理解性和高门槛的数据需求。这条路线是确定的，就是跟随起来很费劲！