佑驾创新杨一泓：智舱的未来要靠多模态，而非大模型

作者 / 曹锦

在辅助驾驶PK如火如荼之际，智能座舱似乎却略显寂寞。在多款新车上市的发布会中，座舱的卖点回归舒适配置，智能化的功能却不再被强调。

这其中原因，除了语音交互、快捷控制等功能已成标配外，还从侧面体现出智舱功能创新乏力，或者一些炫酷的功能正在脱离需求。

但其实，相比起现阶段的智驾技术，智舱中「看得见，摸得着」的体验或者更易展示技术能力及品牌调性。对此，佑驾创新（Minieye）副总裁、智能座舱事业部负责人杨一泓在接受「首席智行官」专访时说：「今年大家的首要任务是『活下去』，所以更愿意在外观内饰这种视觉刺激上砸成本，但其实软件和智舱功能，是每个品牌最后的灵魂。」

大模型是绝对变革

但要严谨看待

近期，不管是智驾还是智舱领域，都出现了大模型的相关宣传。杨一泓认为，大模型代表了一场技术革命，它为行业带来的刺激是毋庸置疑的。但对大模型的应用理解，还应保持严谨态度。

目前在座舱中，大模型主要应用于语音交互，但对于交互的需求本质来说，大模型可能不会起到关键性的作用。

「所有的交互都一定要从被动走向主动，也就是从命令式走向交互式服务。但这种趋势将由多模态来支撑，而非大模型，因为前者能做到从多方位的去体察需求。」

至于大模型上云的问题，杨一泓也持保守态度。她认为座舱数据的采集涉及大量隐私问题。「大模型上云后能否提供充足的隐私保护？各家车企愿为此付多少成本？这些都是在工程化过程中会实际面临的挑战。」

同时，要在座舱环境里面找到这么多的语料去更好的训练大模型，甚至是要横跨不同车型，来训练不可复用的大模型，即便可行，在如今这个「成本敏感期」，也很难有人愿意承担这么高的成本。

另外，大模型的云端延时也容易影响到终端体验，而本地化又无法实现。「所以虽然其概念很好，但可能工程化过程中会发现它不太实用。」

智舱数据挑战

比智驾更大

对于智舱的功能开发来说，数据是一个巨大的挑战。由于归属权和隐私问题，座舱数据在量产后是无法回收，供应商只有在OTA诊断时，才可能接触到更新的数据。「所以我们的数据成本是很高的，或者说对于达成模型的泛化能力，此类挑战也是很大的。」

即便如此，杨一泓也认为，隐私保护也是座舱技术要发展的第一要素——「如果有哪项技术跨过了隐私，那它本质上都是有问题的。」

因此，如何利用限定量的数据库，去达成更好的模型训练效果，这是杨一泓认为智舱比智驾更先遇到的挑战。

另外，座舱数据的标注同样困难，比如说表情，即便是人工标注，有时也难以分辨表情。有时，佑驾还需要找演员来演绎表情，以此辨别更细微的变化，比如「惊喜」与「惊吓」的区别。

「连人工智能的喂料问题都那么难，大家现在鼓吹的大模型更是难上加难。」杨一泓感慨道。

真正的合理座舱

未必要当「伴侣」

基于大模型的可能性，有一个座舱概念经常被提起——「沉浸式伴侣服务」。但杨一泓觉得，应该反思「伴侣」的定位是否恰当。

在她看来，座舱交互不需要刷存在感，不应强调自己在提供服务，而是更应该像「隐形管家」，不仅要会察言观色，还要提供无感服务

「察言观色其实涉及到就是多模态技术，通过学习用户习惯和状态，无需指令便可及时提供服务。例如在流汗时，一伸手便能得到一张纸巾。」

对此，杨一泓以早期的DMS表现举了个例子——曾经，DMS的技术以及功都不够成熟，甚至是所有存疑场景都要警示，同时截取视频证据，这种逻辑的骚扰性质非常严重。

而现在以AI结合视觉的技术，能够通过学习用户习惯，早一步体察需求。「这是主动式交互中，最需要从业者思考的问题。」

真伪需求之争

与多模态的潜力

不管是对座舱功能有明确方向的主机厂，还是「别人有我也要」的品牌，都身处市场的淘汰过程中。

「一些看起来很酷炫的座舱功能没人用，是因为指令与交互还是不够自然。过度炫技的智能化没有带来体验感的飙升，在市场中也没形成正向反馈。」但是，这并不代表智能化的方向本身是错的，而是因为设计理念是错的。

杨一泓认为，不管是DMS还是OMS，应该用更人性化的状态来当好一名有分寸的管家。「比如说我们现在的DMS会联动座椅震动，或者空调的风口的转向，还有灯光调节，不会有那种低级的疲劳警示。」

「这几年来，我能明显感到大家在功能上进行了更多思考，但更多的是『不好用就不要』的态度。其实如果能钻进去多想两层，有的功能还是可以改良的。」

在杨一泓看来，作为「功能改良利器」的多模态，还有大量玩法有待挖掘。单从视觉+语音的组合来说，其研发空间其实还非常大。

「目前，交互起止词的问题、停顿的问题、灵敏性，对话语义理解等等，其实都还没有做好，这是因为缺乏其他维度的信息源。」她表示，视觉刚好是这种互补的信息源。

例如，如果结合视觉技术，当用户看向虚拟语音助手时，后者就能意识到此时用户说出的话都是对自己说的，这其实就是自然身体语言；另外，在人多嘈杂的时候，除了通过音区识别，其实也可以配合视觉信息，清楚知道是谁在说话。

若想通过语音控制车辆功能，有的用户会遇到不好描述的指令，比如开启特定位置的灯，可以直接看着灯的位置说「开灯」，而不用指出灯的位置和类别。

「这种技术并不复杂，我们已经在刚上市的某款新能源车型上布置了24个视觉分区了.包括内外后视镜、中控屏、脚下区域等等，这种技术也不会增加太多成本。」

做健康座舱前

要先想明白定位

在智能车产品包装上，「健康座舱」的概念也正在成为新宠。目前来看，其功能主要围绕心率，呼吸、频率、血氧、血压等指标。目前，佑驾也正在落地相关功能，但要做的是更大、更精准的网络。

杨一泓认为，留给健康功能的算力冗余是很少的，所以车企应该明确健康功能的用途，到底是增加噱头，还是真的能应急救命的，甚至是私人医生式的服务，这都需要衡量成本、算力的取舍，传感器的精度，以及资源的冗余。

「有时候很无奈，大家想要好的功能，但你不管是从前端的传感器还是到后端的资源，都并不充足，导致巧妇难为无米之炊。」杨一泓认为，包括健康功能在内的产品管家形态，距离良好的体感还需要漫长的思考。

现在座舱的主打场景多种多样，例如家庭感的座舱、音乐座舱，游戏座舱等等，车型也会因此形成卖点。「比起智能驾驶，座舱是更容易让消费者感知到的部分，不仅容易形成品牌调性，也对销量起着重要的作用。」

在有限算力下

功能需要精雕细琢

随着车内屏幕和功能越来越多，算力的分布也成为了供应商面临的难题。对此，杨一泓给出了佑驾的解法。

「与其为一个功能单独增加SOC成本，我们更愿意使用独立的小ECU，优化性价比。」至于OMS，她介绍称，基于其HMI交互需求，还是应当直接集成进车机。

「盲目追求高算力是没有性价比的一件事。以自动驾驶举例，高阶的自动驾驶对于塑造品牌的意义，远高于买车的意义。因为当一款高配车配备相应功能后，卖得最好其实还是低配车型。」杨一泓说道，过于炫酷的功能，未必真正应对了需求，还可能单纯增加了负担。

在她看来，现在的8155芯片已经够用，前提是不能「什么都要」，而是要想明白定位后，精挑细琢几个功能，打通体感。

DMS即将成为标配

OMS纯粹依赖市场

根据杨一泓的预判，DMS距离法规化已经不远了。目前，即使有些市场没有强制标准，但也会以欧标作为参考。

「国内应该很快会沿用欧标，那么DMS就会迎来标配的时代。」另一方面，OMS则纯粹依赖市场需求，谁最先从底层技术打通到上层体验，谁就能占据先机，因此佑驾也在持续就产品思路与客户举行workshop。

除了基础安全保障用途，DMS在智能化时代还能有更多用处。例如在如今「舱驾一体」的趋势下，杨一泓也更推崇DMS与自动驾驶侧的深度结合：「前者能作为一道闸门，去控制后者的功能使用权限，或者给使用者状态打分。」

「目前，我们做得更多是提供的底层算法技术。至于上层应用，我们可以提建议，但主要还要靠市场决定。」不过，杨一泓也表示，佑驾希望能尽快落地end-to-end的打包方案，就是根据品牌调性和需求，提供一套的软件服务。

在欧美市场对DMS强制要求、同时对智能化需求爆发的背景下，佑驾目前对出海业务尤为重视。

「以前我认为，欧美日系车对于OMS是非常保守的，但其实他们一旦发力，就非常激进。比如德系和日系品牌，他们不仅想上OMS，还要做到最好。」

同时，杨一泓也认为，国外的竞争势态目前还不算激烈，佑驾希望随着出口产品得到外部市场反馈，拓展出直接出海的能力。

今年，佑驾创新智能座舱感知与交互方案成功搭载于多家一线自主品牌和新势力车型，已获得30多个车型定点，其中10余款为出口车型，多家品牌的车型已经交付。