圆桌干货 | 行车周视摄像头和泊车环视摄像头，未来两者会一直共存下去么？

出品 |焉知汽车专题论坛

焉知专题论坛之汽车视觉

2023年9月22日，在焉知汽车举办的汽车视觉创新发展论坛2023上，开展了主题为《行车周视摄像头和泊车环视摄像头，未来两者会一直共存下去么？》的圆桌对话。

我们有幸邀请到了福瑞泰克首席架构师李帅君、纵目科技感知算法总监吴子章、安霸半导体研发副总裁孙鲁毅以及鉴智机器人副总裁兼感知产品线负责人梁柱锦和焉知产研负责人陈康成（主持人）一起参与了圆桌讨论。

在该环节，各位嘉宾畅所欲言，分别发表了自己看法与见解。以下内容是焉知汽车在不改变嘉宾原意的基础上，对核心内容进行提炼，以供业内人士参考。

一.主持人：车企或Tier1在进行周视摄像头选型时，一般会重点关注哪些指标？如果要支持城市NOA功能，是否配置角雷达，对周视摄像头的选型是否会产生影响？若有，存在什么样的影响？

李帅君：我们是Tier1的角色，关于周视摄像头选型，我认为主要参考三个方面：硬件光学、稳定性以及算法。

从硬件光学来讲，它是指整个摄像头的解析力，光学的成像分辨率以及一系列光学颜色的测试，这些都是基础性能。

然后，在此之上会要求硬件的稳定性，摄像头是否已经通过在不同的温度、震动、机械性能、电子兼容性等条件下的测试项目。

最后，在算法上，摄像头模组通常还是要接到后端的域控制器去做感知算法的处理。我们福瑞泰克也做域控，相当于是由我们自己来处理。但我们在考核摄像头供应商时候，还是会看它是否具备ISP的处理能力。如果具备，那么我们在后端碰到一些ISP相关问题，去跟供应商做相应沟通的时候会更加顺畅。

吴子章：刚才李总说的非常全面，我在李总的基础上稍做一点补充。对于摄像机的选型，大家在产品需求的差异还是蛮大的。不同的场景（高速/城区/泊车）需求下的理解不同：不同的刷新率和分辨率。另外，我们还需要照顾到远场和近场的感知，到底希望能感知到什么样的清晰度，大家会有一些区别。摄像头选型的时候都会针对这些具体需求进行考量。

孙鲁毅：作为芯片厂商，因为我们不直接进行摄像头选型，我们是支持我们客户/Tier1来做选型。

我们主要考虑两方面：首先，会考虑支持摄像头需要的性能。如果同时运行多颗摄像头，需要搭配什么样的芯片？比如6V5R的行泊一体方案，它所搭配的摄像头就不能特别多，否则，不仅成本过高，芯片的性能也支撑不了。

对于大算力的芯片而言，如果市场上需要，把周视/环视/前视/后视的摄像头全部接入进去，问题也不是很大。需要支持摄像头总的处理能力，包括摄像头的接入能力，处理的时候不会丢帧（运行比较复杂AI算法的时候，要保证它不会丢帧）等。

其次，要考虑图像的质量，因为现在比较明显的趋势是车上搭载的摄像头越来越多，一般会用大算力或者是中等算力 SoC芯片上的ISP进行图像处理。相对来讲，大算力平台会有更多的资源去做ISP处理。我们也做过一些对比：同样的CMOS Sensor，如果是用模组端的ISP（还是业界比较有名的ISP）处理，它跟用安霸的SoC芯片上的 ISP做处理得出的结果对比 —— 白天的效果没有太大的差别，但是在夜晚或者是雨天，差别还是挺大的。利用安霸方案的ISP处理，效果会更好。对于Tier1的意义在于可以用相对便宜的CMOS图像传感器达到更贵的CMOS图像传感器类似的效果，这主要是从成本的角度考量。

梁柱锦：前面三位讲得很完善，我补充两点，我们做选型可能会从两个角度：

第一个是从硬件适配的层面。当我们要去做摄像头选型，更具体点就是面向量产的方案选型上 ——选择哪款摄像头，需要看它能不能适配当前选择的域控制器，以及我们适配这款摄像头需要花的时间和代价是多大，这是前提。如果在这个层面上代价比较大，那我们可能会选择其它更合适的。总体来说它能不能满足我们去做量产的时间点，以及去适配它需要花的时间以及代价是多少，这是非常重要的衡量指标。

第二就是从功能层面，刚才吴总也讲到了。我们到底要去做泊车功能，还是做城区，亦或者是去做高速。我们对于所要识别的物体，以及想要去做的一些任务，其实对摄像头是有要求的。比如，在城区场景，它需要对更小的目标做监测和识别，这个时候可能对FOV有要求 —— FOV越大，看进去的目标会越多，同时像素越高，就越能识别出更小的物体。当然了，这和域控的选择也是有很强的相关性。

总之，关注的核心就两个点：从硬件角度能不能满足，以及从功能角度能不能满足。

二.主持人：对于侧前和侧后方向的环境感知，通常有以下三类比较主流且经济使用的智驾传感器配置方案：1）配置有环视摄像头，但无周视摄像头和角雷达，会用环视摄像头去实现一些行车辅助功能；2）配置有周视摄像头，但无环视摄像头和角雷达，会使用周视摄像头去实现一些泊车辅助功能；3）配置角雷达，但无环视和周视摄像头。如何看待这三种不同类型的方案？（不同方案的优劣势和重点针对的应用场景是什么？）

梁柱锦：我谈两个层面，对于这三类不同类型的传感器。我们首先要知道他们的优劣势在哪里。其次，就是刚才讲到的场景问题，是要做行车，还是做泊车。

我们分析一下三类不同类型的异构传感器：1）角雷达的优点在于它的测距测速很稳很准，不受天气环境影响，可全天候工作，但对于对横向目标敏感度低，如对横穿车辆检测效果不佳；还有一些鬼影、静距离盲区等问题。2）环视摄像头的优点在于FOV特别大，看到的范围很广；3）周视的FOV偏小，但是看得比较远。

针对这些特性，我觉得在泊车场景，不需要看太远，但要尽可能看得进所有的目标，还要识别到空间车位及线车位。在这种情况下，如果只用角雷达，是没办法识别车位，因为它没有语义感知的功能。但用周视摄像头，处于安装位置及视角的原因，又看不到近距离的目标及车位。

对于行车场景，又要分高速和城区。高速场景需要看得远。环视摄像头的缺点就是看不远 —— 探测距离只有30~50m。周视可以覆盖更大的范围，比方说，做高速领航，需要做变道，不同的变道速度对于侧后方的感知距离也不一样。举个例子，侧后方需要看到大于80米左右的距离，才能安全的变道，这也是为什么最早的驾驶员触发变道功能要求自车车速在60kph以上的原因之一，自车变道速度越低，对于侧后方的识别距离要求越高。如果用环视摄像头，就达不到这个需求。用角雷达的问题在于它的噪声会很多，对于侧后方的车辆的横向位置识别性能不佳，所以就导致了变道的成功率很低。

所以我总结一下：需要根据传感器不同特性，以及在不同的应用场景下，系统到底想要具备的功能是什么，然后根据需求去选择不一样的传感器搭配。

孙鲁毅：刚才梁总讲的很全面，我稍微补充一点。随着不同传感器的技术发展，我觉得一个很明显的趋势 —— 视觉的优势以及发展的潜力比雷达要大。雷达也不是说就不行，只是说视觉的进展会更快。在我看来，随着视觉传感器技术的提升，角雷达被拿掉是有可能的。甚至没有周视摄像头的情况下，如果前视和后视摄像头FOV足够大，便可以覆盖很大的角度，支持变道等功能。

做得比较好的环视鱼眼摄像头，其实可以看到30米。30米对于横向车道的判断也没有什么太大问题。在未来，这三种传感器最有可能被拿掉的是角雷达，但前后雷达的意义比较大则仍会保留，尤其是前雷达。

如果把周视跟环视比，我不是特别看好周视。周视当然有用，但环视摄像头天生的大FOV是周视摄像头无法取代的，特别在泊车场景下完全无法被取代。很多时候看得不够远，不是问题；而看不看得清楚才是问题。比如，光线比较差，或者夜晚开车，我们人眼也看不到100米。所以，看不远不是问题，首要解决是在大视角下可辨识度的问题。

如果一定要选的话，我觉得这三个传感器首先被淘汰的是角雷达。随着技术的发展，周视的地位可能就要受到影响，尤其现在大家做行泊一体，总是在讨论能不能干掉周视。

吴子章：我觉得孙总说得非常好，说出了很多我们从业者的一些经验和痛点。其实很多同行一直希望用一种传感器去取代另一种传感器，并且有很多同行已经做过了试验和验证。有一段时间，有些厂商就已经拿4路的周视专门去做泊车的功能，但做了一段时间就不了了之了。

当然也有一些厂商用环视去做行车场景上的尝试。环视也有刚才梁总说的一些问题，它的近场感知还可以，但是远场感知肯定是很难提上来，至少目前还存在成像质量或其它局限性问题，所以两者在一段时间内可能还是会共存的。两者在冗余性上面，在当前阶段，算法上的冗余会比异构传感器上的冗余更有意义一些。

在角雷达的发展过程中，近一两年的发展确实没有那么快了，可能它的价格或者说市场竞争已经趋于稳定。在我们看来，激光雷达的降价对角雷达的存在具有一定的挑战性。随着补盲激光雷达的引入，它可能会扮演一条“鲶鱼”的角色 —— 如果它的作用发挥越来越大，其它传感器可能就会受到一定的影响。

李帅君：我补充一点，分别谈一下这三类传感器目前的现状以及发展中存在的一些不足，最后再讲一下我个人对整个趋势的判断。

先说周视摄像头（特斯拉是最典型的例子），能够看得比较远，但是看不到足够近的目标。原因很简单，就是FOV不够大。对于大部分的智驾应用来讲，我们其实更需要用周视摄像头看更近一些的东西，这是它现在的缺陷，需要去弥补的地方。

其次，对于鱼眼摄像头，基本快成了标准配置，这是一个很好的基础。有一个容易被大家忽视的地方 —— 环视和周视设计目标不一样。大部分的鱼眼摄像头是为了泊车而设计，它现在是完全正的向下去安装，视场角是为看车道线服务的，然而现在有一大半看到的是车的本体，这是没有意义的。从我们环境感知的目标来看，它应该抬起来一点去看侧面更远的地方。怎样才能把FOV用得更好一点，可能需要上限能做到静态环境探测15米左右，运动目标物体探测能做到20~30米。

最后，角雷达的问题，它的处理比较简单，非常有用的地方在于对于移动物体感知比较敏感。不足之处在于，如果近处有很多交通参与者，不太容易把他们互相分辨，因为会存在很多噪音。车载毫米波雷达最开始应用于欧洲，原本的设计就是为了应对高速场景。它会对远距离监测范围内、有移动速度的物体，容易用相对很小的代价就可以把它区别出来，这是它的优势。

对于整体的发展趋势，雷达和视觉技术都会往前发展，去增强它的感知能力。我非常认同下午豫兴电子付总演讲中的一个观点 —— 能用基础的简单的方法去解决的，就不要去拼高大上的算法。

那么，环视和周视摄像头的FOV或者探测距离不够，要去发展，其实我觉得要更多的要在镜头的设计上去做文章，让它更充分的去利用视场角去Cover，确保进来的像素都是有效的，是真正感兴趣（工作）的范围，我觉得这是重点。

角雷达用简单方法能够对高速的目标产生作用，它就一定有它在感知层面上的意义。当然，我在一定程度上同意在终局的时候，周视以及环视摄像头可以不用激光雷达和毫米波雷达就可以把所有的场景都覆盖。但这是一个终局的形态，可能需要5~10年的时间。

在我们谈BEV算法的时候往往忽略掉 —— 它还需要3D真值来训练。怎么获得3D真值？车上如果没有激光雷达，但是有角雷达的时候，它也能给采回来的数据提供很重要的Reference。所以它对提供量产影子模式的真值有一个非常重要的作用，在我们到达终局之前，我认为角雷达一定会存在的。

三.主持人：以往的一些高端品牌车型中，周视摄像头大多都采用与前视摄像头同分辨率的8MP，但是现在很多车型中，周视摄像头大多开始降为使用2MP。您如何看待这种现象？（是因为这些车型本身的算力、带宽不足以支持过多的高分辨率摄像头，还是说对于实现高速/城区NOA等高阶智能驾驶功能，2MP的周视摄像头完全够用，亦或者是出于成本和性能方面的综合考量？）

李帅君：首先我觉得域控中的SoC芯片肯定不是瓶颈，有很大的算力。我觉得更多的还是在应用场景上。周视可能先上，大家最后发现真正极端的case，或者说最应该去解决的是路口斜前方的场景——不超过100米的Case。那么，剩下的便是设计多大FOV和多大分辨率的事情。从这个角度出发，再去考虑降低分辨率的事情。但理论上讲，还有一种情况是把 FOV设计得很大，并且用很高分辨率，但成本上不划算。

吴子章：从我们的经验来看，这里存在性价比的问题。系统资源是有限的，4个周视全上8MP摄像头，势必要吃掉更多的CPU、显存以及AI算力。虽然现在有比较强的芯片供应商能提供大算力芯片，但大算力芯片还有很多的工作要做 。一个系统如果承担了过多的前端任务，后面能够留下来给其它功能所使用的资源必然是有限的。所以，从系统资源平衡的角度来看，4个8MP周视摄像头接进来，比之前的2MP或3MP摄像头能够带来多大的增益或者提升，是我们从量产角度需要去考量的一点。

如果8MP周视摄像头能够在远距离或者说在某些情况下，的确带来了一定的指标提升，但它的提升也给整个成本带来了很大的增加，可能就要重新考量这件事情了。

我们看到的很多同行对8MP摄像头使用策略有所不同，比如，有的在算力有限的情况下，会从中间选一个ROI区域，然后扣出来。其实就是典型的8MP摄像头的解决办法，只解决了一个看远的问题，因为抠了一块，远处的 ROI可能就是有限的，同时也平衡了算力资源有限的问题。

另外一点，8MP摄像头本身 ROI也存在一定的距离范围，FOV和距离相互制肘，所以这个过程当中，它能够带来的提升也有限。所以在近一两年，8MP摄像头的装载率也会存在着一定的挑战。同样，这跟整个车企都要降本的环境背景也有一定关联。

但8MP周视摄像头的确也是会比之前低分辨率周视摄像头起到更强的效果。比如，在过路口或者说车的侧方有一些Corner case需要去帮助解决的情况下。

过一两年，随着整个市场环境有所缓解，再加上整个摄像头在成像质量上，或者说在安装角度上面得到一定程度地提升或改进，并且给我们的整个系统带来比较好的增益的情况下，8MP周视摄像头也可能会被重新考量用起来。

孙鲁毅：前面两位讲得都很好。我主要想从以下两个方面来谈一谈。首先是数字图像的领域，另外一个是从算法和算力的领域。

从数字图像的领域来讲，我觉得大家有时候经常过分的关注于多少像素，而不太关注于多少个好像素（高质量成像）。

看同时代的传感器 —— 我们单独去测SNR（信噪比），是2MP摄像头好，还是8MP摄像头好？测下来结果基本是2MP摄像头好。为啥？因为同时代的技术，简单来讲就是Pixel越大越好。基本的要素决定了8MP摄像头在白天光线很好的时候，它的SNR比较好。但在夜晚或者光线比较差（下雨或雾天）的时候，它的表现常常不如2MP摄像头。去测好像素个数，如果挑那种特别low light（低光照）场景，8MP摄像头的好像素个数甚至都没有2MP摄像头的多。

车载摄像头的应用解决的是可见度的问题，不仅仅要应对白天光线好的场景，还要应对夜晚以及恶劣天气下场景。即使是有一个很好的ISP也不能改变CMOS 图像传感器产生的数据本来就不行的问题。

好像素与坏像素，还有一个区别就是动态范围。同时代的技术里面，动态范围跟 Pixel大小有很大的关系。现在随便一个手机好几千万像素，一个稍微老一点的单反，可能就1000多万像素。拿10年前的单反跟现在最新的手机比，白天光线良好的时候近距离拍照，手机完胜10年前的单反，再挑一个恶劣的环境（光线较暗），会完败于10多年前的单反。

数字图像系统要考虑到多少像素是有用的，技术又是怎么样发展的。这些主要受光学相关因素的影响，比如镜头的加工工艺、镀膜以及安装精度等。

另外，从算法和算力的领域看。周视为什么之前用8MP摄像头，我觉得最主要的原因还是为了广告宣传效应。技术层面也有意义，但意义不是特别大。高像素摄像头在技术上最大的意义是场景重建，如果采集这些数据去做场景重现，自己去建地图非常有意义。如果前视、周视都是8MP摄像头，可以跑8MP摄像头的BEV算法，但是BEV+Transformer的网络不会跑得很快。在现在的技术现状下，很难跑到实时。

我可以这样讲，周视全部用8MP摄像头，如果是跑真正实时的自动驾驶的网络，4个Orin-X都不一定能搞定。基本会采用缩小、裁剪以及其它一大堆的技巧处理后的轻量版的网络才能够运行。如果是开发一个性价比比较合适的方案，个人认为：前视有效距离要比较远，要做到200米左右的感知，8MP前视非常有必要。但对周视来讲，通常不是那么必要上8MP，2MP的分辨率已经完全够用。

梁柱锦：我从另外一个视角谈一下。为什么周视要用8MP摄像头？因为贵，贵代表什么，性能好。我觉得从卖方的角度来看，像以前卖手机的厂商，总会说用了某某最新的芯片。

实际上，我们的手机性能可能不一定需要那么好的芯片。我觉得对于8MP摄像头也是一样。周视用8MP摄像头，企业就可以对外宣称说他的自动驾驶系统的感知性和安全性比用2MP摄像头要更好，这样的车可以卖的更贵。

这是从非技术角度，从技术角度讲的话，前面几位已经讲的非常全面了。

我这里稍微补充一下，现在就算是我们用2MP摄像头，其实大部分的算法也并没有把所有的这些数据全部利用好。大家实际做算法的时候，一般都会接入2MP周视摄像头进来，如果用BEV，在目前主流的一些宣称在100 TOPS左右的芯片上去跑，也很难跑实时。更别说要去带4个8MP周视摄像头了。

总之，所以我觉得，对于高端车型，一方面是为了宣传，也就是是所谓的广告效应。另一方面是为了未来的可扩展性。我觉得未来整个算法的模型肯定要迭代。如果前期预留更好的一些传感器的配置，后面其实大概率是能用起来的。当然，如果我们只是想简单的去做高速或城区NOA，其实周视用2MP也是完全够用的。

四.主持人：未来，用4~5颗超级鱼眼摄像头替代传统的4颗周视摄像头+4颗环视摄像头是否会成为主流？如果能够实现很好的替代，需要超级鱼眼摄像头具备什么样的性能？另外，要实现这样的方案，在算法和软件层面上又会带来怎样的挑战？

梁柱锦：最开始我也分析过了，主要看两点：FOV和像素。FOV取决于摄像头能看多大范围，像素取决于它能监控到多少物体。鱼眼摄像头的问题在于看不远，因为鱼眼环视摄像头都是往下看，如果把它抬起来，肯定就会看得更远。同时，因为它的FOV足够大， 意味着同等像素情况下，鱼眼摄像头肯定比周视摄像头看得要更近。鱼眼摄像头虽然说看不远， 但如果把像素提高了，它就能看得更远了。

超级高像素鱼眼摄像头的意义就在于去弥补传统鱼眼摄像头看不远的问题。把像素变高，鱼眼摄像头最大的问题就是畸变问题。解决不好畸变，相当于四周的东西都看不了，想要去覆盖全车360°的是覆盖不好的。

特别是对于一些在周边/图像边缘的一些场景，对算法的要求相对比较高。怎么能够把去畸变做得更好，甚至压根不用做去畸变，只是通过网络模型去处理（去畸变这种模型）。这会对算法提出更高的要求，我们鉴智就提出了双球形去畸变的方案。

所以我非常认同，当鱼眼摄像头的像素提升了，它一定是能去替换掉现在的周视，当然这个是在我们限制的ODD范围内，比方说我们要去满足C-NCAP，过十字路口场景，普通的鱼眼摄像头可能就看30米的距离，但C-NCAP现在可能要求看80米的距离，怎么办？像素就需要提升4倍或8倍。所以，我认为超级鱼眼摄像头一定是有价值的，一定可以逐步地把周视替换掉，用更低/更少的传感器，去达到我们现在想要的这种城区/高速领航的需求。

孙鲁毅：梁总讲的算法应用，我还是比较赞同的。现在，我讲一下鱼眼镜头本身。其实鱼眼镜头的模组它不是说你换一个CMOS 图像传感器，像素多了，感知效果就会好。因为镜头的光学部分也非常重要。

我看好未来普通鱼眼镜头在行泊一体的应用，但对于较高成本的超级鱼眼持保留态度。

鱼眼镜头是所有镜头中难度最大的，虽然我们不做镜头，但是我们接触过很多镜头厂商，鱼眼镜头市场上最常见的是接近于Equidistant形变的镜头， 这种镜头的边缘压缩比较明显，边缘压缩会导致边缘的角分辨率比较低，如果环视鱼眼摄像头兼顾用于周视，真正所感兴趣的信息会在边缘高度压缩的地方，这是Equidistant镜头常见的一些问题。

从光学角度的设计，鱼眼摄像头对于单点高亮度的光源，在HDR的场景下很容易有紫边，这是天生的光学设计，想解决这个问题是非常复杂的。解决鱼眼摄像头带来的鬼影问题，光学成本会比较高。如果要解决上述问题，还要解决夜晚亮度过高的问题，要增加它的光圈，鱼眼镜头+光圈会加重紫边，情况会越来越坏。如果加了光圈以后，成像质量又好，那么镜头体积就得加大，体积加大以后安装又变得很困难，最后又导致成本迅速增加。

也有人会想能不能另辟蹊径，我不做Equidistant镜头，去做那种边缘扩展比较开这种，比如 stereographic镜头。首先这种镜头的专利有没有到期，会不会收专利费暂且不谈，单加工成本就比较高，并且尺寸也比较大。

鱼眼摄像头还有一个难点。前面已经讲到部分是算法的应用，比如侧面一辆车开过去的时候，环视鱼眼摄像头的成像 —— 有一个差不多45度角的转向，它的这种特征跟常规的前/后视摄像头所看到的都非常不一样，所以要进行一些形变矫正，并且形变矫正本身也很复杂，不是简单的形变矫正。比如，当某辆车距本车距离比较近以后，它就会凸出来，产生复杂的形变。

总之，鱼眼摄像头存在两大问题：1）光学设计怎样跟CMOS 图像传感器进行紧密绑定，降低成本，现在整个行业还没有很好的解决方案。2）如何很好地应用鱼眼摄像头去做算法。目前，这个问题在整个行业也没有特别好的答案。

吴子章：关于鱼眼摄像头的使用及使用过程中遇到的一些问题，确实是我们很多同行都在讨论的点，这些也是我们之前一直在考虑的。纵目起初便在鱼眼泊车上做了很多工作，也一直在思考是否能用鱼眼摄像头去发挥更大的效能，实现更多的功能。在此过程中，的确也遇到了很多类似于刚才孙总谈到的一些问题。因为我们公司有专门的传感器部门，相关同事也很专业，所以经常也会跟我们谈到相关的问题。这些问题其实是当前技术发展的瓶颈或者说局限性。

其实，从鱼眼摄像头使用者的角度来看，的确遇到了很多前面几位提到的问题，比如鱼眼摄像头的安装角度或安装策略问题，鱼眼摄像头在左右两侧实际上是要向下看，它要比前后两侧鱼眼的安装位置更低，如果用800万像素的摄像头，安装的角度同样会向下去倾斜一些，那么，它是否能够看得足够远呢？这可能也是个问题。另外，越边缘的地方，形变和畸变会越大一些，尤其在侧方的远处，可能会正好赶上形变比较剧烈的一些区域。

如果说出现的这些问题，都通过算法去解决。但算法在量产的过程中也会应用在不同的车型，比如，在小轿车量产的算法，如果换到大型的商务车上面，可能就需要进行比较大的算法调整或者说算法的适配，无疑会给算法部门带来比较大的压力，所以，整个过程是需要解决系统优化的问题，但系统优化可能就需要我们行业内的一些外部的驱动力引入进来。总之，传感器的变革是一个艰辛又漫长的过程，所以我们还是拭目以待吧。

李帅君：从技术上看，我觉得环视和周视存在一定功能上的重叠。从技术和成本的角度出发，现在大家的确都是在想办法去看能不能把它归一化，或者说减少成本。

另外，周视有周视的问题，环视有环视的问题，两个对比来看，我认为环视要往上走的难度可能更大一点。

另外，瓶颈并不在Pixel（像素）上面，而在镜头上。最终的需求是需要一个侧面的视觉系统来具备足够大的FOV以及更远的探测距离。相对来讲，我觉得如果采用同样的原理，同样性质的镜头，把周视摄像头的FOV做得大一些，安装角度再外下探一些，周视摄像头来兼顾环视应用可能更容易实现一些。

五.主持人：现在大家都在做高速/城区NOA，都在推轻高精地图甚至是无高精地图方案来实现高阶智能驾驶方案。主流的厂商倾向于选择异构感知传感器的冗余方案。对于侧前和侧后范围的感知监控，可选择的传感器有：3D（4D）角毫米波雷达、高清周视摄像头（环视摄像头）以及补盲激光雷达。通常情况下，会至少选择其中的两种传感器；但是要实现规模化量产，出于成本上的考量，必须有所取舍，那么冗余传感器配置究竟该如何选择？

李帅君：先回答冗余这个词。我个人看法，冗余偏向于是一个伪命题，大家既然在做融合，可能在算法里面，都要把视觉的特征和雷达的特征放在一起，然后才形成这样一个系统，这里面其实不存在冗余，每一种都是must，除非是做后融合，卡尔曼滤波这一套其实还是可以用冗余的理论去解释。但是，所有的BEV算法和重感知轻地图算法，大家走的都是重度的前融合。所以我觉得谈冗余本来就没有基础，冗余的这种说法可能也不太准确。

接下来讲怎么去配置这三类传感器，我的基本观点是要有深度信息以及不同源的至少两类传感器，因为视觉是最丰富的一个信号源，应该具备。接下来是训练网络，不管什么样的感知算法，都需要一个真值，但纯视觉的系统往往比较难获得真值信息。那么，就需要有一类传感器来辅助认知。

目前大家有不同的实现路径：1）激光雷达 —— 大部分人从学术界继承过来的一种方式。2）双目立体视觉 —— 鉴智以及其它少数企业在推行的一种方式。3）3D/4D角毫米波雷达 —— 包括福瑞泰克等企业在内在坚持的一种方式。我觉得这些方式都可以去选择，它的核心作用就是给视觉数据提供距离上的估计。它是用更简单的一种方式，但一定是不同源的传感器，这样才能够跟视觉传感器组合起来去生成真值来训练。

吴子章：我觉得李总说的很有道理，其实我们想要确保传感器层面的冗余，肯定至少需要两类异构传感器。如果在成本没有压力的情况下，甚至我们可以选更多类型的传感器配置方案。但其实会存在一些问题 —— 我们如何使用这些传感器。

因为我们需要通过芯片上面有限的算力，把不同源的传感器进行强力的融合。尤其是前融合，对传感器的输入信号源有一定的要求，并且对网络模型的要求也更高，并且需要经过强化训练。目前，业界的技术水平在普遍应用上还存在局限性。

选一款传感器，最开始肯定是要看需求，是要覆盖高速，是城区，还是要覆盖泊车。如果三个场景都要覆盖，要考虑的东西会很多，所有场景的需求都要考虑进来。此时，我们不单单是用一般的冗余度去看问题，可能还需要从功能设计的角度去看。有些功能可能一定要这种传感器，另外一些功能可能对另外一类传感器是必不可少。那么，从功能需求端来看，这些传感器就必须得搭配进来。

很多时候我们都面临的同样现实的问题。如果想要在下一代的功能当中去克服所遇到的困难，其实还是需要有一些同行勇敢的站出来 —— 传感器的配置或者所使用策略就自己设计，不管其他人怎么做，保证自己的效果好就行，并且成为行业标杆。

成为这样的标杆当然很难，因为不仅需要自身有计算芯片的生产研发的能力，还要有相应传感器的研发能力。这是一般供应商很难去复刻的一个模式。但对于我们或类似于我们量级的供应商而言，可能还是要从我们自身的基本的功能层面，或者说冗余度层面、应用场景层面去组合，并最终达到我们现最好的功能性和安全性。

孙鲁毅：关于传感器的异构冗余，我个人看法是：首先，以现在的计算机视觉和芯片算力的发展水平，异构在绝大部分情况下是无法绕开的。采用恰当的异构传感器配合，总的来说肯定是有作用的。我想说的并不是随便挑两种不同的传感器去组合效果就一定好，比如视觉+毫米波雷达的组合。因为雷达并不是只有一家供应商，雷达也不是只有一种技术，视觉传感器同样如此。具体的情况要根据这辆车所定义的功能，以及打算应用的场合，并且要有一些实际的数据做支撑。有些东西大家觉得是那样，实际上测起来可能也不见得就是那样，因为各种传感器有它自己的短板，视觉一样有短板，但是并不是说视觉有短板，搭配上毫米波雷达或激光雷达就一定能补上。

这三类传感器，我认为视觉传感器肯定是拿不掉的。那我们先把视觉传感器装配上去，再看看还有什么问题，然后再有针对性去解决问题，比如说没真值系统，是不是要加激光雷达？现在很多企业是怎么做的呢？他们是先把摄像头装上车，再装激光雷达，先采集真值，采完了以后量产车上却没有激光雷达。

今天论坛演讲还谈到了热成像摄像头，在特定的情况下，比如说是在夜间或者大雾天气，它也可以起到补足可见光摄像头看不清目标物体的问题。所以说，要解决什么问题，就采用对应的传感器。我们将来可能还会看到一些更有创意的传感器的设计。

总体而言，我认为所谓的异构冗余传感器是为了解决具体的问题而叠加上去的。异构是不是能解决问题，要靠实际的测量和实际的测试，然后根据测量和测试结果再去挑选所对应的传感器。

基于这个想法来讲，可能要去搭一套东西，具体是前融合还是后融合，也要看现有的算力平台是否有足够的算力资源支撑。另外，我们还要考虑开发整套系统的可移植性和可扩展性。另外，除了传感器异构，我认为还应该考虑基于同样视觉传感器，采用不同方法的算法异构。

梁柱锦：刚才孙总讲得非常对，我们去选择异构传感器的出发点是为了补全功能，或者是为了安全，一般就是这两个目的。

补全功能就是根据我们对各种传感器的分析 —— 视觉一定要有的，因为视觉富含语义信息，可以做非常多的事情，基于视觉我们要往下拆解，比方说，我们选择了周视摄像头，要去做泊车，就要选择鱼眼摄像头作为另外一种异构传感器补充进来。假设我们要去做高速NOA，测距测速需要更准，可能会将毫米波雷达或者激光雷达补充进来。

我们在做这个事情上的思路，比方说为什么我们鉴智要选择双目方案？就是因为立体双目可以弥补单目测距测速不准的问题。其实，单目也不是说不准，特斯拉就是用单目，但是特斯拉用单目的前提是它有非常大量的数据，需要模型去训出来。但现实情况是大部分的车厂和供应商没有大量的数据，所以他们就很难通过单目摄像头把测速和测距这个事情做得很准。那么，有些企业可能会选择依赖激光雷达去做这件事情，但依赖激光雷达成本又会增加很多。