瞰瞰智能-基于光学影像打造的全国产多模生态智能座舱系统丨确认申报2023金辑奖·中国汽车新供应链百强

申请技术：基于光学影像打造的全国产多模生态智能座舱系统

参选领域：智能座舱

创新点及优势

技术描述：

瞰瞰智能座舱系统依托国内产业链资源，同时利用瞰瞰光学影像技术&产品优势，提供集中式、完整的智能座舱解决方案，综合满足用户多场景需求，打造集休闲、娱乐、办公为一体的“未来第三空间”。该系统集多模态智能创新交互、多场景/多设备智能生态融合、全场景视觉影像技术、计算光学图像算法、全数字化驾乘等智能化技术，实现无感无接触式的掌静脉识别认证、语音-视觉-手势多模态融合人机交互、车内环境/人状态的智能感知监测（IMS）、手机-车机任务/内容无缝迁移及多屏互动显示、智能网联应用、电子后视镜（CMS）、辅助驾驶等功能应用，旨在打造以人为中心的驾乘体验。

独特优势：

瞰瞰智能座舱系统主要创新技术点包括：全国产技术、多模融合交互技术、车内智能感知监测（IMS）、人机融合应用、多屏互动座舱显示、智能网联应用等。打造以人为中心的驾乘体验，促进汽车从“单一的交通工具”向集休闲、娱乐、办公等多功能于一体“第三空间”转变。 1.产业创新 为了突破产业发展关键环节“卡脖子”难题以及对国外核心技术和产品的依赖，瞰瞰智能依托国内产业链资源，顺应国产替代趋势，实现全国产化智能座舱系统，包括国产计算平台、国产显示部件、国产Camera产品、国产双光融合、自主知识产权算法和应用等关键技术。构建全国产安全可控智能座舱解决方案，实现国产部件端到端产品的落地和规模化发展。 2.应用创新： 应用创新方面，瞰瞰智能座舱系统主要创新技术点包括：全国产技术、多模融合交互技术、车内智能感知监测（IMS）、人机融合应用、多屏互动座舱显示、智能网联应用、电子后视镜等。打造以人为中心的驾乘体验，促进汽车从“单一的交通工具”向集休闲、娱乐、办公等多功能于一体“第三空间”转变。 3.架构创新： 在汽车智能化、电动化、网联化以及“软件定义汽车”的趋势下，原本分布式的计算单元将会往集中式发展，车身、座舱、驾驶、底盘域控制器等功能往中央计算平台迁移，相应线束缩短，大大节省成本。目前已知具有从芯片到整车完整自主设计能力的主机厂、新能源车厂（特斯拉等）、Tier1已着手这方面的布局。 瞰瞰智能基于在核心光学影像技术与产业链整合的优势，从智能座舱整体趋势以及实际产品需求出发进行整体智能座舱系统架构设计，在产品架构上具有创新优势： 1）集中系统架构设计。结合国产计算平台、国产显示部件、国产Camera产品、国产双光融合、国产全景声系统等技术，从设计之初瞄准平台级整体解决方案，实现系统集中化设计，提升集成度，有效降低系统复杂度和系统成本。采用国产化智能座舱域控制器平台，集成多路camera产品、麦克风阵列，原有MCU等高度集成到域控制器，结合算法，进行融合创新，有效降低整体系统成本； 2） 边缘计算/端侧计算提升系统效率、降低算力需求。基于域控制器和端侧设备计算的有效协同，提升系统效率降低算力需求。基于瞰瞰智能在光学设计、camera模组、基础影像算法等方面的深入积累，相关计算在端侧进行了有效计算从而降低对域控制器的算力要求，包括3A等算法在模组端完成优化调试，确保高质量的影像品质和稳定性。布局端侧AI SoC完成AI算法在端侧完成等； 2）影像算法高度集成，实现软件定义硬件。基于影像算法、融合算法等多种算法结合，充分利用域控制器内置功能，比如ISP，实现资源最高效率利用，降低对硬件的需求，改变原有车载camera产品多采用外置ISP的系统架构，降低成本同时提升影像品质； 3）多域控制器融合创新架构。实现座舱域、驾驶域、控制域多域架构融合，实现多设备的融合，实现功能创新。比如座舱域采用了芯驰计算平台、辅助驾驶域采用地平线平台，充分发挥各自优势，并实现融合。

应用场景：

项目应用场景如下：

1.自然交互--车载多模融合交互（手势识别、语音交互、AI环境智能识别）： 瞰瞰技术基于普通RGB摄像头传感器、麦克风阵列实现。结合手势识别、语音、表情等多种交互技术实现创新自然的交互体验。通过手势识别和语音等多种技术结合，实现应用控制（比如手势控制导航、控制音乐切换、接听电话等）、空调、车门等控制。在识别准确度、识别速度以及成本方面具有明显优势，在交互体验上真正实现自然和高效率；

2.多模融合技术结合车载场景的交互创新应用： 通过多模技术融合, 包括全双工语音交互、AI视觉智能识别环境、人脸表情&情绪、手势，模拟人与人之间自然交流的方式, 让机器可以像人类一样理解座舱内人所想表达的信息，快速辨别出用户意图。

3.车内智能感知监测（IMS）： 结合驾驶员监控系统（DMS）、乘员监控系统（OMS）、后排娱乐系统（RSE）、流媒体后视镜实现座舱智能感知和监测，实现安全监测、娱乐办公、交互等应用。结合安装中控/A柱/后视镜，B柱/后排的摄像头，结合图像算法（畸变校正、HDR、降噪）、智能算法（智能识别），实现身份认证（个性化），智能识别人状态（驾驶员疲劳、分神、打电话等）、物品（下车后遗留物、宠物、儿童检测），智能拍照、视频通话等安全、消费功能，完成智能座舱内智能监控的闭环。

4.智能座舱多屏互动与生态融合：

1）呈现多屏、AR-HUD、手机投影等显示联动和生态融合的车内多屏智能化联动的车载显示应用。在车载大屏、多屏趋势下，有效利用车内空间，根据不同用户、不同应用场景提供相应的显示解决方案。AR-HUD以光学投影的形式，将导航、时速等重要信息显示于驾驶员前方挡风玻璃；车

2)上多个屏幕在保持各自特性的同时彼此之间可联动、沟通，例如副驾屏和中控屏之间拖动切换，适用于副驾拖动中控屏帮助查找导航信息、点歌等再脱拖回中控位置，再例如前后排乘员同步共享影视等。

3）结合车联网，实现手机生态内容、车机生态内容等的平滑融合和切换。针对大部分用户的使用习惯和文件大多在手机完成的情况，运行手机内容投屏到车载屏继续同步编辑文件，继续播放未观看完的影片，用户喜好的歌曲、有声读物等；实现远程互联、控制等应用。

4）人机融合应用： 智能识别驾乘人员状态（情绪、疲劳程度等）实现个性化智能化调节，比如识别到用户疲劳犯困时智能建议调整座椅角度往下，播放放松/符合个人习惯喜好的音乐，根据当时环境天气和用户习惯将空调智能调节到合适的温度等。

5）无接触式掌脉识别的身份识别认证： 全新掌脉识别体验，通过第二代生物识别——掌脉识别实现开门、启动、支付等应用。掌静脉识别系统运用红外线CCD摄像头获取掌静脉图像，同预存的掌静脉特征值对比、认证匹配，从而对个人进行身份鉴定。该技术适用于车门解锁，身份识别提取个人私密文件、自定义快捷键等。具有免接触，卫生，在大部分场景下代替车钥匙的优势。

6）电子后视镜（CMS） 车载电子后视镜（CMS）及辅助驾驶系统。传统后视镜电子化的产物，能提供更灵活的视野，进一步消除盲区，另外在克服恶劣天气（如雨雪、黑夜等）场景方面，结合夜视、智能算法，可提供更清晰的画面，为驾驶员还原重要行车信息。

7）计算光学： 采用计算成像相位恢复算法——助力计算成像衍生新技术的产业化：通过新型衍射光学设计和AI图像处理相结合的方式，在传统成像系统的光瞳处加入特殊设计的衍射光学元件对被摄物体进行相位编码（先验信息），再用智能图像算法对所得中间像进行解码计算恢复出原图像。该技术在解决景深、图像模糊问题，提升全画幅清晰度，实时超海量信息获取，关键信息识别等方面有明显的技术优势。

未来前景：

汽车市场规模足够大，个性化需求及大量创新涌现，使得很多整车企业拥有生存空间，传统自主车企及造车新势力均有机会。同时随着人工智能技术的进步，智能座舱将会进一步的升级，带来更好的服务。由此，消费者需求将会出现更大的增长。 据悉IHS数据，2021年全球智能座舱市场规模约为479亿美元；2022年全球智能座舱行业市场规模有望达到461亿美元，年均复合增长率达8%。 随着人们乘车体验要求的提高，智能座舱将加速普及，全球智能座舱行业市场规模将保持快速增长，中国作为最具发展潜力的汽车市场，预计2025年市场规模将达到1030亿元，发展潜力巨大，市场空间广阔；目前中国市场智能座舱配置水平的新车渗透率约为48.8%，预计2025年可超过75%，高于全球市场装配率水平。 在汽车智能化趋势下，智能座舱在技术上相比智能驾驶更易实现，并且落地所受到的监管压力远低于自动驾驶，且智能座舱中往往包含多个屏幕显示,加入了直观的科技感，更易被用户感知到。尤其在竞争愈来愈激烈的新能源汽车、智能汽车市场，主机厂商也积极打造差异化、具有竞争力的智能座舱产品和应用，在市场中抢占有利地位。 目前，智能座舱行业尚处于功能导向阶段，类比智能手机，相当于处在iPhone革命性创新时期前的大屏伪智能阶段，各智能功能、系统未打通，也尚未真正实现智能化。瞰瞰智能以光学影像核心技术赋能智能座舱，适应集中化架构趋势，从系统级层面打造智能座舱影像产品&系统解决方案，逐渐降低成本，助力智能座舱发展和快速落地，同时与行业客户、产业链伙伴携手共研、探讨未来智能座舱中终极形态。

金辑奖介绍：

由盖世发起，旨在“发现好公司·推广好技术·成就汽车人”， 并围绕着“中国汽车新供应链百强”这个主题进行展开，表彰在新“人机时代”下，汽车产业深度变革过程中，拥有头部影响力的企业以及正处于高速成长阶段的具有新技术、新理念、新模式的前瞻型公司，进行优秀企业及先进技术解决方案的评选，向行业内外展示这些优秀的企业和行业领军人物，共同推动行业的发展和进步。