智协慧同：影子模式-自动驾驶必经之路

智协慧同合伙人兼副总裁牛国浩表示自动驾驶亟需轻量化、低成本的量产数据闭环工具链。数据引擎和边缘计算是智驾数据的核心，车云一体化是智驾数采工具最高效的解决方案。

他还表示，智协慧同的EXD 2.0影子模式方案可以进行人机比对，持续模拟决策，并进行对比判定，将数据回传；还能实现AB模型比对，通过感知结果差异来进行数据采集、快速算法优化和迭代。通过EXD影子模式中间件实现高效车端应用闭环。EXD轻量化数据闭环方案具有灵活定义算法与corner cases、轻量化模型下发、触发式轻量化图像数据采集、影子模式AB触发、数据分段上传和断点上传、结构化和非结构化数据融合存储的优势。

牛国浩 | 智协慧同合伙人兼副总裁

以下为演讲内容整理：

智驾数据采集处理

国内目前自动驾驶的系统都走向了BEV+Transformer的方向。BEV+Transformer是实现基于多摄像头、多传感器融合的全新模型架构，把单车智能作为核心推进方向。

图源：嘉宾演讲材料

BEV+Transformer最核心的是数据。特斯拉在三年前就已经推出来自己的影子模式，智协慧同在这个赛道里用自己的中间件来实现影子模式。智协慧同的整体框架和特斯拉看起来非常类似。在BEV+Transformer单车智能的拓展方向，基本上国内各大tier1或主机厂都已经有了自研的整体框架解决方案。但是是否可以实现城市NOA上路，是否实现L2++的功能？真正可以稳定、安全、可靠上路运行的方案和车型现阶段并不是很多，最核心的挑战，就是数据的获取精准度。

作为影子模式和数据底座的专业数据公司，智协慧同认为标注数据集、精准场景、数据精简程度、云端存储数据价值，都是核心内容。所以智协慧同在和跟各大主机厂交流时，都会提到数据采集的情况。很多主机厂还是不断的在用测试车去不同的城市、不同的路段，采集不同的数据，每个星期一辆测试车可以采到200-300tb的数据，但是从海量数据里提取真正的关键数据和高价值数据，这个效率是不高的。

因此智协慧同提出，智驾数据必须是高质量、高效、低成本的采集。仅依靠测试车已不能满足智驾功能快速迭代更新的需求，智能化数据采集是现阶段各大公司的痛点。

自动驾驶现在有三要素，算法、数据和算力，针对三要素，智协慧同核心focus是数据。自动驾驶的数据不仅仅是指图像数据或传感器数据。智协慧同认为应该把整车作为一个完整的数据平台，在自动驾驶场景下，要能完成整车级的全量数据的灵活采集、灵活筛选，通过采集过程中自动标签化进行高效关联，同时图像数据和传感器数据，以及车上的总线数据等进行时间和空间的对准，通过时空对准在云端或车端实现非常精准的数据闭环，也可以叫做真值。真值不仅服务于图像或智驾从感知、规划、决策、控制、算法的提升，同时也对主机厂起到保险和拓展业务的作用。

从数据维度来看，可以分成三层，获取数据的能力、加工数据的能力、闭环数据的能力。

图源：嘉宾演讲材料

一个旧的问题的解决，往往伴随着更多的新的问题的产生。这时候车端的数据采集就需要高度灵活化的触发机制和场景化的触发策略来进行采集。所以在数据加工的模块，智协慧同提出了通过云端对模型进行编排，通过低代码拖拉拽的方式生成数据的触发策略，云端和车端高效打通。进行从数据采集到加工链路效率的提升。智协慧同的框架在国内是独一无二的，通过中间件来实现数据采集和加工的过程。智协慧同通过这三层能力，来实现数据底座或车云一体化的方案提高数据闭环的效率。

图源：嘉宾演讲材料

细化来看，这三层数据能力可以通过六个模块实现，包括云端的算法编排；模块的灵活配置；在车端通过适配器或高效链路快速把车端数据打通，跟车端的通信矩阵进行适配，并且能够高效率的采集车端所有相关数据；也有对平台有一些依赖，比如说对于电子电器架构3.0平台，智协慧同采集到的数据维度目前可以达到20万+左右的智驾数据，这是极其庞大且复杂的数据规模，通过数据中间件进行高效处理；合规模块，尤其是脱敏、脱敏，通过和第三方的生态合作，可以在车端进行部分的人脸、车牌脱敏；还有车端组件v ADS，通过高效率封装车端所有复杂性，把跟智驾总线相关的算子进行车端标准化封装，对整个数据的处理过程效率提升，同时极大的降低对算力的需求，vADS中间件部署在自动驾驶的SoC芯片的a核上，通过中间件的高效运行，降低CPU的算力消耗，对于芯片的使用的效率和性能都有非常大的帮助。数据采集到车端，可以根据策略将某些数据直接在车端进行存储，而不是所有的数据必须上传云端，而上传云端的则以高倍率压缩的形态在云端进行处理，目前针对总线或结构体上的数据，包括感知、规划、决策、控制的结果数据，压缩倍率可以达到五十倍，目前是行业里的number one；针对结构体的结构化数据，尤其是报文数据，压缩比可以达到100-300倍，远超行业目前的水平。

智协慧同的影子模式最核心的解决方案的框架就是通过中间件来实现。智驾数据并不仅仅是图像数据或者传感器数据，通过中间件，将车端的全量数据进行打通，高效的在车端运行已经封装好的算子，采集车端所有跟智驾相关的数据，将智驾数据采集时间压缩到几分钟。从这个维度来看，智协慧同实现了百倍的效率提升。根据中间件的算子触发，有非常精准的采集触发节点控制，触发前后n秒，将高价值的数据快速上传到云端，给云端的算法工程师或数据闭环工程师提供非常完整的ground truth，做更好的算法升级和维护。这会是后续发展的主流。

EXD影子模式

图源：嘉宾演讲材料

vADS可以分成两个模块，智协慧同在智驾数据采集部分已经有多个项目量产，同时也和主机厂有项目在推进；影子模式可以解决方案平台在不做技术变更的情况下进行功能和性能的打通，目前已经在一家主机厂开发量产交付。

智协慧同的影子模式，可以实现AB模型比对，这种方式是自动驾驶的必经之路，AB模型的比对会提升算法优化效率；还可以人机比对，挖掘更多在自动驾驶赛道上，算法目前还不能真正解决的未知的corner case。目前已经开发出超过五十个新的智驾corner case场景，以及触发机制。

智协慧同的高效数据闭环模式，就是不走OTA的下发链路，而是通过中间件完成，高效灵活，提升成本竞争力，降低无效数据，提高效率。

图源：嘉宾演讲材料

通过分析在智驾场景下人机之间的差异，完成自动驾驶领域corner case的不断收集和问题解决。

有些情况下感知结果是有差异的。从感知模块推进到规划决策控制模块后，针对BEV+Transformer，实现特征提取及特征融合的场景下做更多的算法优化，可以更多的价值。

智协慧同目前积累的自动驾驶触发场景仍然是远远不够的，在和主机厂共同进行测试时，虽然影子模式是一种高效的方式，但是需要大量的装备部署到量产车上，目前已经有两款车型部署了智协慧同的影子模式，智协慧同期待有更多的合作伙伴部署更多智协慧同的数据底座，采集更多的影子模式场景下的corner case，累积更多场景化的数据，帮助国内的智驾技术方向更快发展，尽快达到甚至赶超FSD。

总结

图源：嘉宾演讲材料

智协慧同的影子模式具有六大优势，灵活定义算法与CornerCases；轻量化模型下发；触发式轻量化图像数据采集；影子模式 AB触发；据分段上传、断点续传；结构化和非结构化数据融合存储。

智协慧同的中间件解决方案封装了非常多的复杂场景，以及所有已经开发好的算子。这个数据底座方案，在跨车型、跨平台、跨芯片的迁移过程中，效率非常高。当有新的corner case或场景需要更新迭代时，可以进行后台快速开发，然后通过前端秒级下发就可以部署在车端，效率非常高，同时节省了自动驾驶系统部署的时间，基本可以锁定在两个月左右完成部署，在六个月完整功能上线，达到整车量产的要求和标准。加快L2及L2+自动驾驶系统上线的节奏。这是智协慧同非常大的优势。

图源：嘉宾演讲材料

智协慧同是一家专业的做数据处理的公司，通过在车端部署中间件，以及时序数据库，将部分数据进行上传，部分数据在车端进行存储，实现百倍高压缩态。推进智能汽车以数据为驱动的智能化实现路径，提高整车智能化的开发效率。

（以上内容来自智协慧同合伙人兼副总裁牛国浩于2023年6月15-16日在2023第六届自动驾驶与人机共驾论坛发表的《影子模式-自动驾驶必经之路》主题演讲。）