为旌科技单芯片全景拼接方案，让视野更开阔

在智慧视觉领域，面对横向路段或特别广阔的场景，单摄像头视场角十分有限，故需要多个摄像头才能"看到"整个画面，同时，或需要多个屏幕，或需要不断切换画面，给使用者带来极大不便；如果使用鱼眼镜头，画面变形又太过夸张，因此，基于实际应用中的大场景需求，为旌科技海山系列旗舰产品VS839，可提供单芯片“全景拼接”方案，全领域"观看"，感知无盲区。

01 全景视野，大场景感知

为旌科技于6月7日正式发布的为旌海山旗舰产品VS839，内置全景拼接算法(Any View Stitching，简称AVS)，可支持2路或4路sensor拼接，其中，2路拼接支持每路3840*2160@30fps输入，拼接后4320x3840@30fps输出；4路拼接支持每路2688*1520@30fps输入，拼接后6080x2688@30fps输出。（下图示例有图像压缩损失）

4路输入画面

拼接后图像

为旌全景拼接方案可实现多路视频数据采集、曝光均衡和多帧同步，有效克服视频拼接重影和错位现象，将多角度采集的视频数据一体化呈现，视场角超过180°，有效解决信息盲区问题，同时保证了目标对象数据采集的连续性。

采用支持全景拼接方案的为旌海山VS839，客户可以完全摈弃“一杆多设备”的做法，水平方向视角最大可以支持360°，实现大场景全景感知无盲区。

为旌全景拼接方案包含图像标定和图像拼接两部分，下文将分别阐述。

02 图像标定

AVS可对多路输入图像按照指定模式进行拼接输出。但要保证拼接效果达到最优，拼接前对镜头内参、外参进行标定是最为重要的一步。方案主要针对以下几个方面进行图像标定：

LSC(Lens Shade Correction)：由于Lens的光学特性，Sensor影像区边缘区域接收光强比中心小，会造成中心亮、四角偏暗的现象，这就是镜头暗角。在拼接场景下，图像的重叠区一般位于图像边缘，而暗角变化相反，导致相邻两路图像在重叠区的亮度有一定差异。因而完成LSC后，拼接处会获取更加自然的图像效果。

AWB(Automatic White Balance)：在不同色温光源下，会对采集图像中物体的真实颜色产生影响，例如：在高色温光源下，白色物体偏蓝，在低色温光源下，白色物体偏红。为了使采集物体的颜色更加接近理想光源下物体的颜色，也更加符合人眼的视觉感知，会对图像进行AWB(自动白平衡)处理。

一般相机中的白平衡模式

CCM(Color Correction Matrix)：采集物体的颜色除受光源影响外，还会受到镜头、滤光片、传感器光谱响应等的影响，所以，为了使采集物体颜色信息更接近人眼的期望值，还需要对图像进行CCM(色彩校正)。

拼接标定：完成LSC、AWB、CCM 等处理后，进入拼接标定环节。以下图4路拼接标定为例，1号标定板位于sensor1与sensor2的重叠区，2号标定板位于sensor2与sensor3的重叠区，3号标定板位于sensor3与sensor4的重叠区(一般重叠区占图像比例在10%左右)。上述环境搭建好后，将4路sensor所拍图像与待拼接机器参数一同输入拼接工具，即可得到此拼接机器的标定查找表。查找表会在重叠区域融合时用到，以保证拼缝处无重影，过渡自然。

4路拼接标定示意图

03 图像拼接

AVS方案的第二步是图像拼接，内部处理流程由几何变换(Transform)、相邻重叠区融合(Blend)、亮度矫正(Gain correction)三个部分组成。

几何变换：AVS 按照展开时的投影模式来分可以分成三种投影模式，分别为等距柱面投影、柱面投影、直线投影。为旌科技全景拼接方案支持上述三种投影方式，满足不同应用场景需求。另外在几何变换中完成姿态角(Yaw、Pitch、Roll)与投影中心点调节，可以对图像进行畸变校正，使得拼接图像无错位歪斜。

示例：柱面投影

重叠区融合：经过上述变换并且畸变校正之后，根据标定时的查找表，由硬件对重叠区域进行融合，在目标拼接距离附近，重叠区域融合之后无重影、无错位，图像清晰流畅。

亮度调节：亮度增益控制分为两部分，首先会在为旌瑶光ISP中调节AE(自动曝光)，完成各路图像亮度调节，保证各路图像亮度一致。之后，拼接后的图像亮度会由ISP再进一步调节，以满足不同场景及客户对图像亮度的需求。