对话理想汽车郎咸朋：自动驾驶最终要拼算力和数据

/// 端到端将带来L3自动驾驶拐点，理想率先推出「有监督自动驾驶」。

2024年下半年，理想汽车智能驾驶进展飞快，实现无图NOA的规模推送、率先探索应用端到端大模型，智驾节奏已经跻身第一梯队选手。

对于理想汽车的快节奏，业内给出的评价是：财大气粗。

理想汽车自身似乎也并不避讳这一点，理想汽车智能驾驶研发副总裁郎咸朋甚至坦言称：

“我们深刻理解做人工智能，除了要建立各种平台体系外，最终大家要竞争就是算力和数据。”

他表示，特斯拉从不担心讲自己的技术路线被学习，就是因为特斯拉相信其他企业无法超越其算力和数据，这对于理想汽车也一样。

自动驾驶行业的人才流动，让各家的软件架构、算法模型都不再是绝对秘密，最终大家比拼的是有没有足够的算力和数据去训练算法。

这背后，更直白一点就是有没有足够资金支持，对于车企而言，就是能否有足够的销量去获取利润、去养自动驾驶的算力和数据。

“很多人说理想卷销量，实际上销量背后是我们对于自动驾驶的深刻思考”，郎咸朋谈到。

他还介绍，理想汽车当前训练算力达到5.39EFLOPS，预计到2024年底将超过8EFLOPS，理想汽车每年在训练算力的投入超过10亿元。

理想汽车认为，最终实现自动驾驶需要的训练算力要达到100EFLOPS的量级，折合成投入每年要超过10亿美金。

在2024成都车展期间，理想汽车公布其智驾产品的最新进展，同时，围绕外界的一些疑惑，理想汽车智能驾驶研发副总裁郎咸朋、理想汽车智能驾驶高级算法专家在也圆桌访谈时，进行了解答。

01

无图NOA推送后，Max版销量占比提升

目前，理想汽车智驾系统新旧两套架构在同步推进。

7月15日，理想汽车正式全量推送无图NOA，表示其高阶智驾不再依赖高精地图等先验信息，在全国范围内可导航的城市道路均可使用。

理想汽车表示：随着无图NOA发布，理想汽车城市NOA日均里程提升3倍，城市NOA日均活跃度提升8倍。

理想全国门店开启无图NOA试驾后，门店NOA试驾率实现倍增，30万元以上车型AD Max销量占比达到近70%。

按照理想汽车的介绍，理想智驾能力的提升已经开始为终端销量赋能，同时，理想汽车拥有的巨大用户群体，也正在反哺理想汽车智驾能力进化。

郎咸朋介绍，得益于理想用户，从2022年到2024年8月底，智能驾驶累计总里程实现从4亿公里到22亿公里的飞跃式增长，今年年底预计达到30亿公里。

同时，基于端到端模型、VLM视觉语言模型和世界模型的全新自动驾驶技术架构，7月底在车端落地并开启千人内测。千人团用户数量达到1029人，覆盖270个城市。

内测不到1个月的时间，千人团用户总城市NOA行驶里程达到21.1万公里，单日城市NOA驾驶最长里程391公里，单次零接管城市NOA最长里程81.6公里。

在千人团内测的1个月时间内，MPI（平均接管里程）从第1个版本的12.2公里，提升至第12个版本的21.8公里，提升幅度近2倍。

“全新一代理想智能驾驶迭代速度真正验证了Scaling Law（缩放定律），即模型能力会随着训练数据量增长而提升”。

2024成都车展期间，理想汽车宣布开启万人体验团招募，新一代产品将进入「有监督自动驾驶」的新阶段。基于此技术方案，理想汽车为用户带来了全新的智能驾驶产品和体验形态，即车位到车位的“一键智驾”功能。

郎咸朋表示，目前理想智驾的研发迭代速度非常快，最早今年年底、最晚明年上半年就会将这套「有监督自动驾驶」量产交付。

这样的研发、交付效率，一方面得益于高效的组织管理，他谈到，理想向华为学习了组织架构，如IPD流程等。同时，也将一些先进经验，结合理想汽车自己的企业特点进行内化处理。

另一方面，目前理想汽车智驾团队，有比较好的阶梯式研发流程，交付一代、研发一代、预研一代。

在系统验证测试方面，理想汽车逐渐已经找到了通过自动化测试、世界模型高效验证模型的方法，才能兼顾速度和质量。

02

端到端不完美，但能让自动驾驶到达L3

理想汽车全新自动驾驶架构受到诺贝尔奖获得者丹尼尔·卡尼曼提出的双系统理论启发，推出世界首创的双系统智能驾驶方案。何为双系统？

系统1，即快系统，善于处理简单任务，是人类基于经验和习惯形成的直觉，主要由One Model一体化端到端模型实现，具备高效、快速响应的能力，能够应对驾驶车辆时95%的常规场景。

系统2，即慢系统，是人类通过更深入的理解与学习，形成的逻辑推理、复杂分析和计算能力，在驾驶车辆时用于解决复杂甚至未知的交通场景，由VLM （Visual Language Model，视觉语言模型）来实现，其接收传感器输入后，经过逻辑思考，输出决策信息给到系统1，占日常驾驶的约5%。

理想汽车认为，系统1和系统2之间相互配合，能够分别确保大部分场景下的高效率和少数场景下的高上限，成为人类认知、理解世界并做出决策的基础。

如何理解两个模式的分工，詹锟介绍，VLM相当于驾校教练，它在旁边时刻提示，会给出相关建议，例如，它会说这里要注意车辆减速，但具体怎么踩刹车，这个会让端到端自己去判断。

那么，One Model端到端模型又是如何工作的？

詹锟解释了其工作流程，他谈到，负责感知的传感器输入编码，然后交给统一的Transformer decoder网络做输出，输出的信息分为几个维度：

一是感知信息的输出，可以用来做SR显示，跟驾驶员做交互。

二是进行辅助监督，让端到端模型收敛得更快。

三是做行驶轨迹输出，然后将轨迹交给控制模块，控制模块会做安全校验，最后转成油门开度、方向盘转角，进行车控执行。

詹锟表示，整个模型架构不是特别复杂，非常简洁清晰。理想汽车更多地是通过优质数据、训练策略来调整One Model端到端的效果。

他表示，One Model端到端模式的优化不只依靠数据，模型结构也很重要，里面有各种细分类型，例如Cross Attention、Self Attention，会做各种各样的设计和实验。

同时，训练策略也是关键因素，模型训练是一遍就结束，还是训练一遍以后再把重点那点挑出来重新训练一遍？还是先训练一部分，再做精选数据的训练？这些都是在大模型训练过程中，逐渐积累的经验。

在这个过程当中，不同数据、不同模型结构、不同训练方法，对模型的迭代都有帮助，这其实也是各家竞争的关键。

“每一套模型调整之后实际表现如何，内部都会进展测试，如果表现不好就会内部消化，这种模型就不会让用户使用，但是每当模型有迭代、有提升的时候，我们都会拿给用户去进行测试、验证，这是我们研发过程当中的一些迭代”。

理想汽车也坦言，One Model端到端模型虽然听起来很美好，但也不是完美无缺的。

一方面在于One Model的训练难度非常大。詹锟表示，从工作流程来看，进来的是原生数据，出来的是行驶轨迹线，这样一听就感觉不太好训练。

另一方面就是训练数据的数量和质量要求很高。理想汽车虽然已经积累了22亿公里训练数据，但实际的优质数据可能占比3%。

那么，端到端架构是不是通向自动驾驶的最优解？

詹锟表示，端到端架构能够帮助自动驾驶能力达到L3。若想进一步向L4发展，就需要端到端+VLM双系统，理想认为这是面向L4的一个终局方案。

他进一步谈到，那再往后发展，L4不是终局，自动驾驶还有L5，肯定还会有一体化的、超大规模的统一模型。未来，要把双模型合在一起，实现手脑完全结合的大模型方案，这也是理想汽车后续要尝试、探索的方向。

03

利用世界模式，打造自动驾驶模拟考场

除了系统1、系统2，理想汽车智驾体系还有第三个系统，即世界模型。

最近一段时间，车企纷纷将世界模式概念引入自动驾驶，但各家对于车企理解有所不同。

世界模型最早来自诺贝尔图灵奖获得者杨立昆，其核心思想在于让AI像婴儿一样，通过观察、学习，从物理世界中获取反馈。

郎咸朋表示，理想汽车将世界模型应用于自动驾驶，主要是用来做完整的验证测试。

他谈到，“世界模型对系统1和系统2来说，最大作用是提供一个训练和测试的场地。原来是这个场地放在真实的世界里面，我们把世界弄进模型里。在世界模型里，我们的测试、错题、真题，都在这个世界模型中进行训练”。

在产品交付之前，要做更多更有效的测试，每个模型的发版至少进行了1000万公里测试。如果用实车做测试，一方面是成本，另一方面是场景限制，测试效果可能达不到交付「有监督自动驾驶」的程度，特别是当模型迭代比较迅速的时候。

世界模型支撑了全新一代理想智能驾驶大范围、高速迭代，提供了自动化的AI能力评价体系，通过diffusion transformer技术，再加上3DGS技术，能够把曾经遇到过“错题”，举一反三地形成“模拟题”，确保了在模型评价时“错题”不再做错，同时兼具优秀的泛化能力。

同时，在云端收集到有问题的用户数据之后，模型能够进行分类并且直接放入错题库，这样的效率是非常高的。不仅节省做路试的时间，效果也有显著的提升。

郎咸朋表示，有人认为用了端到端架构后，下限变低了，安全变差了，这是针对设计不完善的一种想法。

首先，在测试层面，如果不安全、不合规，模型就不能交付给用户。

其次，从技术角度来说，理想也是有做安全兜底模块的，保证它有绝对的下限。

大模型以前，智驾工程师写了很多规则应对不同的场景，但是现在只需要写下限的规则，上限全靠端的端 、VLM去捕捉，甚至有些防御性驾驶，VLM都可以提前告诉系统，这些在一定程度上都能提升系统安全性。

重视效率的理想汽车，此前在前瞻技术的投入并不激进，今年来看，理想汽车对于智能驾驶的投入和布局已经置于较高的战略地位。

诚如理想自己说的那样，数据和资金是其明显优势，一旦下了战略决心，理想在智驾赛道的潜力值得重视和期待。

Xauto报告