展锐谈图像四 图像色彩还原
发布时间:2020-03-03 20:51:35

颜色简介

对颜色的感知能力是人类漫长进化过程中产生的一项重要的能力,它使得我们的世界五彩斑斓,重要性不言而喻。

 

颜色线通过眼睛成像到视网膜上,由视网膜上的视细胞感知信号强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还心理因素影响。

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(即可见光,波长范围380~780nm见图1),是由波长范围很窄的电磁波产生的,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后所引起的视觉神经感觉。



image.png

1 可见波长及其对应的颜色


人眼中对光敏感的细胞分为两类细胞和视锥细胞其中视杆细胞对光线敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到响应的峰值但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉暗视觉仅视细胞工作所以黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。高的光照水平下,主要工作是视锥细胞,有色,这样的视觉叫明视觉。视锥细胞分为三类感红细胞(L) 绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见2),因此视锥细胞具有颜色的辨别能力。


 image.png

2 三种视锥细胞对光的响应能力

 


光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,通过视锥细胞光线的探测,整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如一张白纸不管在红色还是绿色灯光下,人眼看起来都觉得这是一张白纸,这来源于大脑经验处理,这种现象叫做颜色恒常性。

 

1.  色彩还原技术概述

色彩还原技术的目的是使相机拍摄的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。我们ISP系统上,主要有AWB/CCM模块来处理色彩。

 

1.1  AWB(Auto White Balance)自动白平衡

ISP需要根据图像的统计信息,计算出图像R、B channel的增益,以实现AWB功能,力求在各种复杂场景下均能准确还原物体本来的颜色。人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有该特点,故在不同光线下拍摄图像,会呈现不同的颜色。如在晴朗的天空下拍摄的图像可能偏蓝,在烛光下拍摄的物体可能偏红等。自动白平衡功能就是模拟了人类视觉系统的颜色恒常性特点来消除光源对图像成像的影响。


 

image.png

3 AWB模块的作用左边是AWB不生效,右边是AWB生效


我司自动平衡算法具有以下特点

1. 效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变


2. 准确度高:我司算法在处理绝大部分场景时都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景 和 混合光源、纯色夜景 等难点场景。


3. 适用范围广灵活性好:我司算法既可以运行在低端相机设备(如30万像素的手表项目)上也可以运行在中高端相机设备(如3200万像素的手机项目)上,还可以应用到 监控安防车载记录 等产品领域不同的产品上,我司的自动白平衡算法可以实现灵活配置,满足如 算法效果、算法复杂度、内存消耗 等多样化分级需求。

 

1.2  CCM(Color Correction Matrix)颜色校正

相机实际上是在模拟人眼的彩色成像拍图,由于相机传感器RGB三通道的光谱响应与人眼细胞光谱响应(见2)不同,导致拍摄的图片与人眼看到的有差别因此需要进行颜色校正。

 

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵。利用CCM矩阵对图像的像素点进行验收校正,以获得最接近于物体真实颜色的图像。

 

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。



image.png

 4 CCM模块的作用左边是CCM不生效,右边是CCM生效


image.png

5 我司CCM模块的色彩还原效果评测

(图18个小圆点和小方点越接近则表示色彩还原性越好


2. 色彩还原技术展望

随着机器学习等高新技术的发展以及用户对手机拍照功能需求日益苛刻,色彩还原技术也会面临一些新的机遇挑战,例如如何利用AI技术提升色彩还原效果,如何多摄像头手机实现更加一致色彩还原。这些附加技术给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。