ISP(Image Signal Processing) 图像信号处理。主要用来对前端图像传感器输出信号处理的单元,以匹配不同厂商的图象传感器。相机用图像处理器ISP(Image Signal Processor)。被管道化的图像处理专用引擎可以高速处理图像信号。也搭载了为了实现Auto Exposure / Auto Focus / Auto White Balance评测的专用电路。另外,THine开发的减噪等图像处理模块,能令各个CMOS传感器实现最高画质。
像素对某些波长组之间的光很敏感,本质上它们是颜色不可知的。获取彩色图像的方法是在顶部放置一个滤镜(通常是拜耳图案滤色镜),然后对相邻像素的颜色进行插值。8 MP CMOS不会为每个像素感应红色,绿色和蓝色,而是为每个像素感应一种颜色,然后ISP根据其旁边的颜色猜测颜色。这就是所谓的去马赛克,它可能是ISP的主要工作,并且有许多秘密的调味方法来计算此插值图像。此外,ISP还负责其他所有内部管理工作,它可以控制相机系统的自动对焦,曝光和白平衡。最近添加了对不完善的镜头系统(例如,在instagram中添加的不完美镜头系统所赋予的渐晕或色差)等镜头缺陷的校正,以及HDR重组,降噪,其他滤镜,脸部校正或脸部校正等功能。对象检测以及色彩空间之间的转换。ISP的功能之间存在差异,但这实际上是将拜耳数据获取到可行的图像阵列中的控制器。
如下所示是一个典型的数字相机 Pipeline处理流程:
ISP处理算法大致包括: Bayer、黑电平补偿 (black level compensation)、镜头矫正(lens shading correction)、坏像素矫正(bad pixel correction)、颜色插值 (demosaic)、Bayer 噪声去除、 白平衡(AWB) 矫正、 色彩矫正(color correction)、gamma 矫正、色彩空间转换(RGB 转换为 YUV)、在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强,中间还要进行自动曝光控制,图像压缩等。
如下图所示,ISP内部包含 CPU、SUP IP、IF 等设备,事实上,可以认为 ISP 是一个 SOC(system of chip),可以运行各种算法程序,实时处理图像信号。
CPU:CPU 即中央处理器,可以运行 AF、LSC 等各种图像处理算法,控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的,例如 Cortex-A5、Cortex-A7。 SUB IP:SUB IP 是各种功能模块的通称,对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。 图像传输接口:图像传输接口主要分两种,并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的简称,鉴于 MIPI CSI 的诸多优点,在手机相机领域,已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。 通用外围设备:通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器,用于读取 OTP 信息,控制 VCM 等。对于外置 ISP,ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式,获取其工作状态等。
专辑推荐