理想是如何将视觉语言大模型部署到Orin-X上的？

日前，在理想汽车的2024智能驾驶夏季发布会上，理想提到其自动驾驶技术采用双系统，即系统1为端到端，系统2为VLM大模型。

根据理想方面的表述，理想的自动驾驶技术中系统1只能帮完成95%左右的这种驾驶场景，那么还有5%比较复杂的场景，需要用系统2来进行理解和判断。

上一篇文章，《理想自动驾驶技术中的双系统是什么？》阐述了理想智能驾驶技术中双系统的作用。这篇文章继续来看下，系统2的架构以及理想如何将VLM部署在Orin-X上的。

“NE时代智能车”将分三篇介绍，2024理想夏季发布会的自动驾驶技术，这是第二篇。

01.

VLM模型架构

VLM（视觉语言模型）与大语言模型不同，VLM模型有视觉和语言两个部分，还有两者对齐的部分，大语言模型只有语言部分。

来看下VLM模型架构。

最核心的部分是一个统一的transformer解码器，然后这里面的参数量是非常大。整个流程就是，将文本的prompt（提示词）进行Tokenizer（分词器）编码，然后输给这个解码器，然后同时把30度相机、120度相机的图片以及导航地图的图像进行视觉编码，送给这个模态对齐模块，然后将对齐后的信息也交给解码器。最后一起自回归的输出想要的信息。

系统2的输出包含对环境的理解、驾驶决策建议，甚至是驾驶的参观轨迹，这些都是可以给到系统1帮助辅助驾驶策略。

02.

VLM三大亮点设计

根据理想方面的介绍，VLM架构设计里面还有三大亮点。

一是，视觉编码器这部分是一个流式的视频编码器。相比于大部分传统的单帧VLM来说，流式的视频编码的优势在于，可以缓存更长的视觉时序，相当于长时序信息，这对于这个物理世界中的AI系统来说非常重要。根据理想方面介绍，这也是比较创新的一个架构。

二是，右下角设计了一个memory bank（记忆模块）模块，这里相当于是缓存了上帧甚至上上帧等多帧历史信息，这样拼成历史信息就更好的来执行超长时序的推理问题，解决超长时序的推理时延。

第三个特点，架构中有个自动驾驶系统的Prompt问题库。系统2时时刻刻都在看这个周围环境，给系统1做出一些辅助驾驶决策，同时系统1还可以主动向系统2问问题，然后根据prompt库里的问题，然后帮助系统1以解决部分场景。

例如，导航有时候也不知道自己在高架桥上还是桥下的时候，系统1可以询问系统2，来帮助系统1做出辅助判断。可以将系统2类比为驾校的“教练”，这个“教练”一直在监督你的行为，当你开错道或者需要需要帮助的时候，他也会主动提供一些建议给你。

当然要做好这个教练需要丰富的知识，在大模型中就体现为参数量。根据理想方面透露，目前VLM模型的参数量达到了22亿。

03.

部署到Orin-X需要解决的问题

22亿参数的大模型要部署到车端芯片并不是一件容易 的事。

Orin-X本身就不是为Transformer设计的，内存带宽也不够，因此将大模型部署在上面是个极大的挑战。

理想方面坦言，大模型放在Orin-x部署的时候，推理时间长达4秒，这是自动驾驶系统完全不可接受的时延，因此必须要优化它。

理想方面进行了四步优化。

第一，针对内存带宽的瓶颈，理想的解决方案是对大模型进行量化。根据理想方面介绍，起初他们尝试了业界主流的一些量化方法，例如AWQ（激活感知权重量化）、GPTQ（GPT模型训练后量化）等，但是其精度和性能不能很好地平衡。因此，理想选择自研，通过魔改GPTQ最终在Orin-x上实现了近一倍的性能提升，时延从4秒钟降到了1.9秒。

随后，理想方面还发现视觉ViT（视觉变化器）的推理也是一个比较大的瓶颈。针对此，理想选择与英伟达合作，已经在最新的Drive OS上实现了更好的Tensor（张量）的算子融合，通过对Attention算子进行深度优化，时延从1.9秒提升到了1.4秒。

第三，大模型推理的瓶颈是自回归的推理，因为其每次输出只能输出一个Token，效率太低。目前业界的解决思路 是采用投机采样方法。所谓投机采样指的是大模型在一次推理过程中能连续输出多个Token。理想方面在Orin-X上采用自研的投机采样，再次实现了整个性能一倍的提升，从1.4秒降到了0.7秒。

最后，理想方面还采用了流式视频流推理，这样使得视觉计算得到大大缓解，最后达到0.3秒的一个推理性能，从4秒降到0.3秒，对整个系统提升了将近13倍之多，基本满足车用的需求。