数字成像系统概述

雪月清

发布于 2020-09-01 09:55:05

1.5K0

发布于 2020-09-01 09:55:05

文章被收录于专栏：雪月清的随笔

本文向你介绍三方面内容：成像系统组成、3A系统概述、ISP概述

成像系统的组成

从成像过程来看，成像系统由如下部分组成：

当你打开手机准备拍照，镜头（Lens）会首先把被摄景物投影在图像传感器（Sensor）上，与此同时，影像处理器（ISP）会通过测光、测距算出合适的参数并指示镜头对焦，随着你按下拍照键，图像传感器（Sensor）会完成一次曝光，并通过影像处理器（ISP）变成图片，再经手机应用的后期处理，最终呈现在屏幕上。

而这其中的每一步，都关系到这张图片的画质，尤其在光线昏暗的夜晚。

拍照质量相关：视角、曝光、后期处理

视角

拍照最基本的是视角，这是凸透镜的成像原理，一个物体由无数个点光源组成，单个点光源从各个方向发出光线经透镜折射后都将汇聚在一点上，最终所有点光源都投射在一个平面上，也就是图像传感器的位置，形成清晰的倒像

而这个角度就是视角。

其中平行光经透镜折射后将汇聚在焦点上，焦点到透镜的距离成为焦距。

而物体到镜头的距离成为物距，传感器到镜头的距离成为像距。

焦距、物距、像距三者满足高斯成像公式

1/u + 1/v = 1/f

可以看出，焦距越长或传感器越小，视角就越窄

受手机尺寸限制，手机中的相机，像距很短，所以焦距也非常短，通常在4mm左右

远小于单反相机标准镜头在35mm – 50mm

不过手机的图像传感器也很小，配合短焦镜头，视角正好与标准镜头类似。

曝光

选好视角，好看的照片还要靠曝光，由光圈值、快门速度、感光度决定。

光圈是镜头上用于控制通光量的结构，相当于人眼的瞳孔

镜头焦距越长，视角越窄，入射的光线也就越少。

需要更大的光圈直径以获得更多的光。

所以光圈值被设定为焦距f的分数，称为光圈f值。例如f/2.8表达的意思如下图所以，即光圈直径是焦距的1/2.8。

所以f值越大，光圈反而越小。f值越小就能给图像传感器投射更多的光，提高成像质量，对夜景拍摄特别重要。

感光度 ISO

影响成像质量最核心的还是图像传感器（Sensor）， Image Sensor是一种将光学信号（影像）转换成电子信号的设备，广泛应用在数码相机和其他电子光学设备中。主要分为感光耦合元件（Charge-coupled device CCD）和互补式金属氧化物半导体有源像素传感器（CMOS Complementary Metal-Oxide-Semiconductor）两种。

CMOS Sensor上面排列着上千万的像素，

每个像素里面的光电二极管在遇到光时就会因为光电效应积累一定数量的电荷，将光信号转换为电信号。

由于光电二极管无法识别颜色，所以不同像素上还要覆盖红绿蓝三种滤光片。

通常红（R）绿（G）蓝（B）是按照1:2:1的比例设置，以模仿对绿光敏感的人眼，这种成为Bayer Filter。

此外，每个像素周围都有专门的放大电路，能把转化出来的电信号（模拟电信号）以不同倍率进行放大，这样就是相机的感光度。

感光度越高就对光线越敏感，照片也越亮。

但是通过拉高ISO，每个像素都会因为电路干扰产生固定的噪音信号，在高ISO下，噪音信号也会更大，出现噪点。

噪点问题可以通过增大像素面积来缓解，在有噪音信号的情况下，大像素可以收集更多有用的光信号，增加信噪比，从而减少噪点。

手机使用的主流传感器一般在1/2.9 到 1/2.3英寸之间

图像传感器的信息输出后是Bayer式排列的RGB点阵，必须要经过ISP图像信号处理器处理转化为我们常见的点阵图片。

3A 系统概述

3A在系统中的作用是什么？

感知现实环境，正确地配置相机，为其他的处理提供参考信息。

3A是现在手机相机差异化的基础

ISP简介

典型的ISP Pipeline如下图所示

RAW域：是指从DPC一直到demosaic阶段（此流程图）；
DPC：坏点矫正(bed pixel corr)，坏点由于芯片制造工艺等问题产生的，坏点是指亮度或者色彩与周围其他像素的点有非常大的区别，常用检测方法是在全黑环境下看亮点和彩点和在盖白板的情况下看黑点和彩点，ISP端一般通过在亮度域上取其他周围像素点均值来消除坏点；
BLC：黑电平矫正(Black level corr)，黑电平是指图像数据为0时对应的信号电平，进行黑电平矫正的目的；一是由于sensor本身会存在暗电流，导致在没有光照进来的条件下pixel也有电压输出，不过这部分一般在sensor端就已经处理掉了，还有一个原因是因为sensor进行模数转换时精度不够，以8bit为例，每个pixel有效范围是0-255，sensor可能无法将接近于0的信息转化出来，由于人眼特性（对暗处细节比较敏感），所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5（非固定值）—255之间，然后传输在ISP端再做一个减法，将5（非固定值）变为0；
Denosice：降噪，噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般在暗态下噪声表现尤为明显。影响人的主观视觉感受及对目标的观测，所以进行降噪，但是降噪一般伴随着细节的损失；
LSC： 镜头亮度矫正（lens shading corr）由于镜头光学系统原因（CRA），sensor中心光轴附件的pixle感光量比四周多，所以导致呈现出来的画面会中心亮四周暗（同时由于边缘入射角大，会造成相邻像素间串扰，严重时会导致角落偏色）。所以进行lsc的主要目的是为了让画面四周亮度与中心亮度一直，简单理解就是用过增加四周像素的gain值，来达到亮度一致；
AWB：自动白平衡（auto white balance），白平衡顾名思义就是让白色在任何色温下camera都能把它还原成白，由于色温的影响，一张白纸在低色温下会偏黄，高色温下会偏蓝，白平衡的目的就是白色物体在任何色温下都是R=G=B呈现出白色，比较常用的AWB算法有灰度世界，完美反射法等；
Demosica：颜色插值，sensor每个pixel只感知一种颜色分量，由于人眼对绿色比较敏感所以G的分量是R与B的两倍，所形成的图像称之为Bayer图，所以要通过颜色插值使每个pixel上同时包含RGB三个分量；
CCM ：色彩校正（color corr matrix），AWB已经将白色校准了，CCM就是用来校准白色除白色以外其他颜色的准确度的，用一个3X3的CCM矩阵来校准, 其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考；
Ygamma ；由于最早期的显示器端，亮度与电流之间响应不线性的，而是以曲线形式（曲线称之为gamma曲线），camera为了配合显示器显示出正确的亮度所以有了摄像头的gamma曲线与显示器gamma曲线成反比（不是绝对的），后来随着显示器的工艺发展，显示器亮度与电流之间已经可以做成显性关系了，但是人们发现由于gamma曲线的存在，摄像头暗部才能信息更好保留显示，更符合人眼视觉感受，我们可以通过调整gamma曲线来调整摄像头的亮度，对比度，动态范围等等的效果；
EE：锐化，当物体锐化值过低时会出现边缘模糊，图像给人感觉不清晰，锐化过高就会导致图像出现锯齿白边等现象；
CSM：色彩空间转化（color space matrix），RGB图像通过一个转换矩阵向SRGB等色彩空间转化的过程；