展锐谈图像三 ISP 浅析
发布时间:2020-03-03 20:44:16

概述

ISP(Image Signal Processor,即图像信号处理器,是处理图像传感器输出信号的单元,传感器输出信号经过一系列ISP图像处理功能模块处理,转换为显示设备支持的格式。

 

Camera成像系统主要硬件和软件两部分组成,硬件包括Lens、Sensor、Flash、ISP HW等信号接受和处理单元,软件包括Driver、Hal、Firmware等控制单元,如下图1-1所示。光线穿过lens后,经过color filter达到sensor感光元件变成单色光,再通过内部的AD转换为数字信号输出,ISP HW接受到的信号为raw data(bayer pattern)等数据格式,如下图所示1-2所示,经过ISP HW处理得到BPM/JPEG图像:


image.png

1-1 camera成像系统


image.png

1-2 raw data


1. ISP主要功能模块介绍

ISP作为camera成像系统中核心单元,包含诸多重要的功能模块,各模块功能的好坏直接影响成像质量,ISP处理图像数据的基本功能模块和流程如下图所示:


image.png

ISP flow chart


1.1  BLC(Black Level Correction)------黑电平校正

黑电平又称OB(optical black),黑色数据的最低电平值,指感光图像数据为0时对应的sensor信号电平值。cmos传感器在做A/D转换时,由于精度问题无法将电压值很小的一部分转换过来,且sensor电路本身存在暗电流,导致在没有光线照射的时候,像素单位也有一定的输出电压,所以sensor厂会在A/D转换前加一个固定的偏移量。

 

黑电平校正主要有两种方案:(1)在sensor输出的图像上减去一个固定数值,不同的channel可以减去相同的值,也可以减去不同的值;(2)利用黑电平随温度和gain的偏移曲线,结合一次函数的方式进行校正,不同的sensor,偏移曲线不一样。黑电平校正效果如下图所示,正确BLC为64,如左图所示;中间结果为少扣BLC(54),图像偏紫;右图为多扣BLC(74),图像偏青:


image.png

   BLC = 64              BLC = 54                 BLC = 74


1.2  LSC(Lens Shading Correction)------镜头阴影校正

随着视场角的增大,透过相机镜头的斜光束将逐渐减少,获得的图像在中心区域较亮,四周区域较暗,形成光晕现象。而光晕现象带来的图像亮度不均会影响后续图像处理的效果,故需要对输入ISP的信号先经过镜头校正模块来消除光晕现象给图像带来的影响。此外,由于lens的光学特性,对不同波长的光线具有不同的折射率,加上折射角度的差异,使图像四周同时存在chroma aberration,即R、G、B存在偏差,故在进行光晕校正的同时需要考虑各颜色通道之间的差异性。

 

常见的lens校正方法是,从原始图像中提取出4个不同channel的图像,根据每个channel图像中心均匀区域的亮度,分别计算出各点由于衰减带来的图像变暗速率,进而计算出相应R、G、B通道的补偿增益。下图所示为Lens补偿前后的效果图。



image.png

 LSC off                                LSC on

1.3  AWB(Auto White Balance)------自动白平衡

白平衡与色温相关,用于衡量图像色彩真实性与准确性。ISP需要根据统计信息,计算出R、B channel的增益,以实现AWB功能,力求在各种复杂场景下均能准确还原物体本来的颜色。人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有该特点,故在不同光线下拍摄图像,会呈现不同的颜色。如在晴朗的天空下拍摄的图像可能偏蓝,在烛光下拍摄的物体可能偏红等。自动白平衡功能就是模拟了人类视觉系统的颜色恒常性特点来消除光源对图像成像的影响。



image.png

 

AWB off                           AWB on



1.4  BPC(Bad Pixel Correction)------坏点校正

所谓坏点,即像素阵列中与周围像素存在明显差异的像素点,往往由于工艺缺陷或光电转换出错导致,根据产生的原因不同,可将坏点分为静态坏点和动态坏点。针对不同形态的坏点,选择校正的方法也各有不同,静态坏点可以通过标定的方式进行检测和补偿,动态坏点则必须通过图像处理的方式进行检测和补偿,而图像处理的方式不可避免的会存在一些误检,造成一定程度的图像细节损失。去噪、Demosaic、IE等模块算法会在一定程度上将坏点扩散或增强,故在ISP pipeline前端位置就需将坏点进行校正,坏点校正算法的好坏将直接影响图像成像质量。

 

1.5  GI(Green Imbalance)------绿平衡

由于感光器件制造工艺和电路设计问题,导致光源串扰、光子穿透扩散等现象,使Gr、Gb数据存在差异,将出现格子迷宫现象,可使用中值、均值滤波方式进行校正,减小Gr、Gb通道之间的差异,同时保留高频信息。



image.png

GI off                             GI on



1.6  Demosaic ------颜色插值

Demosaic是ISP的主要功能之一,通过插值算法将bayer域raw data(如下左图所示,每个pixel含有一种颜色信息)转换成rgb三原色,即每个pixel含有r、g、b三种颜色信息。Sensor的像素点上覆盖着CFA(Color Filter Array,彩色滤色矩阵),光线通过CFA后照射到像素上。CFA由R、G、B三种颜色的遮光罩组成,每种遮光罩只允许一种颜色通过,因此每个像素输出的信号只包含R、G、B三者种的一种颜色信息。Sensor输出的就是bayer数据,即raw 数据。



image.png


image.png

Raw data                          Demosaic on


1.7  CCM(Color Correction Matrix)------颜色校正

颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到一个校正矩阵。可利用该校正矩阵对所拍摄的所有图像进行验收校正,以获得最接近于物体真实颜色的图像。

 

一般情况下,在颜色校正的过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。RGB三原色的饱和度越高,则可显示的色彩范围就越广泛。



image.png

CCM off                               CCM on


1.8  RGB Gamma ------伽马校正

传感器对光线的响应和人眼对光线的响应是不同的,伽马校正就是使得图像看起来符合人眼的特性。常用的伽马校正是利用查表法来实现的,即根据一个伽马值,将不同亮度范围的理想输出值在查找表中设定好,在图像处理过程中,只需根据输入的亮度值,即可找到理想的输出值。伽马校正可以在一定程度上抑制暗处噪声,同时提高图像对比度;还可以实现图像显示精度的调整,比如从10bit精度至8bit精度的调整。下图所示紫色curve表示gamma = 1.8,黄绿curve表示gamma=2.2,蓝色curve为手动调试curve。



image.png


image.png

Gamma off                           Gamma on


1.9  NR(Noise Reduction)------去噪

图像噪声的产生受多种因素的影响,光照强度、传感器问题、A/D转换等因素都会不同程度的引入噪声,而噪声又会影响图像清晰度,故一个好的去噪算法将直接决定了图像成像质量。

 

传统的去噪方法有均值滤波、中值滤波、高斯滤波等等,这些滤波器均只考虑了图像的空域信息,经过处理的图像往往噪声较小,图像偏糊。为了获得较好的图像质量和去噪效果,ISP中设计去噪算法一般采用策略为:(1)采用非线性去噪方法,如双边、NLM(non-local means)等滤波器,不仅考虑了像素之间的空域信息,还考虑了像素之间的相似程度。双边滤波器保留图像细节较好,去脉冲噪声能力较弱;NLM去脉冲噪声能力较强,细节保留能力较弱,开发者可以根据算法设计思路进行合理选择和优化。(2)不同颜色域添加不同功能去噪算法,如raw域3DNR、bayer NR、yuv域3DNR、YNR等等。



image.png

NR off                               NR on


1.10  IE(Image Enhancement)------图像增强

图像经过去噪模块处理后,噪声得到抑制的同时,细节也会随之受损,清晰度下降,故需在ISP pipeline后端做一些增强处理,如edge enhancement、contrast、LTM等,增强结果如下图所示:


 

image.png

        IE off                                 IE on


2. ISP发展趋势

随着科学技术的发展,camera的应用越来越广,在移动终端、安防、车载等领域都起着至关重要的作用,ISP作为camera成像系统种必不可少的一环,也越来越受到大众的关注。

 

伴随着AI技术的不断发展,ISP将走向AI结合ISP HW及软件后处理的发展道路。根据AI人脸检测与场景分类,可以做到更好的3A控制,如在逆光场景下更好的控制AE(Auto Exposure),使图像不过曝,同时启用DRE(Dynamic Range Enhance)等功能,在高亮区域保留更多细节;在天空场景,通过AWB(Auto White BalanceCCM(Color Correction Matrix)及2D LUT等模块调整,可以使天空更蓝;另外,基于AI的super resolution对混合变焦的图像效果提升也非常明显,保留更多图像细节,提升清晰度;AI在camera领域中还存在更多应用,如NR(Noise Reduction)、Face ID、Portrait Segmentation等等。