数码单反相机焦平面光电转换函数的测量及分析

2023-07-14 00:24吕玮阁冯珂郑晓东
光学仪器 2023年2期

吕玮阁 冯珂 郑晓东

关键词:光电转换函数;数码单反相机;相机原始数据

中图分类号:O 432;TB 852.1;O 439 文献标志码:A

引言

当前,数字成像技术快速普及,广泛应用于各个领域,促进了实验手段的改进[1-6]。由于产量巨大,相较于工业相机,同等性能的单反数码相机不仅价格便宜,而且同时具有显示、存储、图像文件发送的功能,可以实现一机多用。如果能够用商用单反数码相机替代价格昂贵的科研用相机,无疑可以为广大科研人员提供更多的研究手段。为此,需要了解和确定数码相机的物理输入量与数字输出量之间的对应关系。灵活性的数字编码系统,使数码相机的物理输入量与数字输出量之间函数关系的确定和表达变得复杂[7-8]。参照国际标准ISO 14524:2009[7],对商用数码单镜头反光相机(简称单反相机)焦平面光电转换函数进行了实验测量,并对测量结果的精度和影响测量结果的因素进行了分析。通过对数码相机原始数据(RAW 数据)的提取和处理,获得相机RAW 数据与曝光量之间具有良好的线性关系,证明商用数码单反相机可用于记录和测量光信号强弱相关的信息,具有成为优良光电实验设备的潜力。

1 实验原理

数码相机的成像可以分为相机镜头成像和焦平面(成像面)图像记录与输出两个独立的过程,前者依赖于镜头特性,后者取决于图像传感器、放大电路、A/D 转换以及后续图像数据处理程序。本研究仅考虑焦平面从图像记录到数字文件输出的过程,对数码相机焦平面光电转换函数(opto-electronic conversion functions, OECF)进行测量。该函数定义为焦平面曝光量对数或场景亮度对数与光电数字图像捕获系统的数字输出量之间的关系。

数码相机通过控制3 个参数即快门、光圈、感光度(ISO)来控制曝光量,决定最终所得图像的灰度。其曝光原理如图1 所示,当光信号经过相机镜头、快门照射到CMOS 感光面上,CMOS将接收到的光信号转换为电信号,再经放大、A/D 转换,输出数字信号。改变相机的ISO 设定,即改变CMOS 感光元件的感光灵敏度,相当于改变了信号增益,并不改变CMOS感光面上获得的曝光量的物理值大小。感光度越低,要达到相同的图像灰度,需要吸收更多的光能量。在测量OECF 时,保持ISO 不变。为了使用较强曝光减少环境光影响并降低传感器噪声,将ISO 设定在较低的数值。相机未经压缩和处理的原始数据,称为RAW 数据,例如佳能相机的RAW 文件为CR2 格式。经过去马赛克、白平衡校正、伽马校正等一系列处理,输出为通用的数字图像格式,例如JPEG 格式。后续的处理,往往加入了各个公司所独有的图像处理算法,密不传人。

ISO 14524:2009 推荐了两种相机焦平面OECF测量方法,分别适用于相机镜头可移除与不可移除的情况。对于单反相机,在移除镜头的情况下,CMOS 感光面上的曝光量 Hm 表示为照度 Es与快门时间t 的乘积

将曝光量 Hm作为输入物理量,它所引起的数字输出响应V 可以有各种不同的记录形式,例如,数码相机拍摄输出的具有一定图像格式的数字图像的R/G/B 通道值,或者是未经后续算法处理的相机原始感光数据。

在移除相机镜头的情况下,将图像传感器直接暴露在特定数量的均匀照明下,可以采用恒定曝光时间和可变的焦平面照度产生一系列曝光值,也可以在恒定照度下采用不同的曝光时间获得一系列曝光值,本实验中采用的方法是后者。

如果一些特定的相机不允许移除相机镜头,则可使用均匀发光的近似朗伯体目标(反射面或照明器),然后经由相机镜头和图像传感器成像。此时,CMOS 感光面上获得的像面照度由镜头光圈数、拍摄目标的亮度所决定[9-10]

式中: Lt是拍摄目标的算术平均亮度,单位为cd/m2;fe是镜头的有效F数。该方法引入了更多的影响因素,因此,条件允许时,一般采用移除镜头的方法进行焦平面OECF 的测量。

2 实验设计

本实验在移除镜头的情况下,对Canon EOS500D 相机进行焦平面OECF 的测量。实验仪器还包括由直流恒流电源供电的亮度可调的溴钨灯光源和照度计。实验条件设置符合ISO 14524:2009要求[6]:实验在暗室进行,采用溴钨灯照明,除被测光源外没有其他光源。溴钨灯光源和传感器的最大尺寸不大于光源到传感器距离的1/20,即测量距离要大于光源和传感器尺寸的20 倍以上。将相机设置为手动拍照模式,白平衡选择钨丝灯模式,ISO 值取最低值100。

實验前,先进行试拍,将相机的镜头取下,使CMOS 图像传感器的感光面正对光源,调整光源强度、光源与相机的距离及曝光参数,避免过曝。本实验选定的拍摄距离为1 000 mm。固定光源位置及强度,在距离光源1 000 mm 处,照度计测得的照度为9.0 lx。再在照度计探测器位置放置待测相机,使其感光面距离光源距离为1 000 mm(该相机的法兰距,即相机卡口到感光面的距离为44 mm)。同时,在相机旁放置一照度计,监测照度变化。拍摄时,改变快门时间T,在10 级不同曝光量下进行拍照(实验中T 取近等比数列,值分别为1/4 000,1/2 000,1/1 000,1/500, 1/250, 1/125, 1/60, 1/30, 1/16, 1/8,根据标准,其比例因子应≤2),并保存为JPEG和RAW 格式。根据标准,每个曝光水平要进行9 次以上的测量并求取平均值。

3 实验结果与分析

3.1 OECF 测量结果

首先对获得的JPEG 图像进行处理,对每个曝光水平的9 次测量图片,取图像中心点附近( 64×64) 的相同像素区域进行计算, 获得其R/G/B 通道的平均值,即得到输出值V。根据ISO 14524:2009 标准,对输入曝光量取对数lg(Hm=H0),即,其中Hm按式(1)计算,Es= 9.0 lx,H0= 1 lx?s。参照ISO 14524:2009 标准给出的数据图表示例,测量数据列在表1 中,并绘制于图2。其中,所用数码相机的图像传感器为单片CMOS,采用RGB 彩色滤光片陈列实现彩色捕获,并有红外截止滤光片。拍摄时使用钨丝灯照明及钨丝灯白平衡设置,焦平面照度9.0 lx,通过快门设置采用时间尺度曝光序列,对曝光量取对数形式:lg(Hm=H0),其中,H0=1 lx?s。

从图2 可知,R、G、B 三通道的OECF 曲线具有相似的变化趋势,随着输入曝光量的增加,R、G、B 三通道的输出值随之上升,上升曲线呈斜“S”形,在数字输出量的低值段随曝光量的变化率较小;在中间段变化率较大,并接近线性;然后在高值段變化率再次减小,趋于饱和,通常R通道先达到饱和。该测量结果与ISO 14524:2009标准中的测量示例具有相似的变化趋势。

3.2 误差及影响因素分析

根据误差理论[11],误差是测量值与真值之差,对于等精度的多次测量,一般以其算术平均值作为测量结果。对相机获得的JPEG 图片在不同曝光水平(即不同快门时间)下的G 通道数字输出量的测量均值、测量偏差、标准偏差及相对偏差等(测量次数n = 9)进行计算,列于表2,并绘制于图3。

如图3(a)中,G 通道数字输出量中段的测量偏差较大,而两端偏差较小,这与伽马校正后输出图像对原始数据在暗端和亮端的非线性压缩有关;如图3(b)所示,相对偏差随数字输出量平均值的提高逐渐下降,说明低曝光量时测量的相对精度较低,提示有较低的信噪比。

3.3 不同尺寸像素区域的测量结果比较

为了比较不同尺寸像素区域对测量结果的影响,分别取图片中心点附近(8×8)像素区域、全部像素区域进行计算,与前述(64×64)的像素区域的计算结果进行比较,所得OECF 测量结果及其测量偏差如图4 所示。

由图4 可知,选取不同尺寸像素区域进行计算,其数字输出量的测量平均值无显著差异,但是测量偏差表现不同,由较小的(8×8)像素区域计算所得的标准偏差大于(64×64)像素区域,而(64×64)像素区域计算所得的标准偏差大于全部像素区域的计算结果,相对标准偏差在数字输出量的低值端也显示出同样的趋势。因此,图像计算区域取得越大,数据离散性越小,但是计算效率会下降,另一方面,感光面积变大也将导致照度均匀性变差。因此,适中的像素区域优于全部像素区域的计算。

3.4 不同图片格式的测量结果比较

相比从JPEG 等文件获得的数据,RAW 数据未经压缩和处理,具有更大的处理自由度[12-13]。RAW 数据只记录了光的明暗程度,为了获得颜色信息,通常在CMOS 感光面上覆盖一层彩色滤光片,不同颜色通道的滤光片对应的RAW 数据代表了通过该滤光片的颜色通道的信息。不同相机产生的RAW 文件的扩展名一般不同,可通过dcraw 等工具进行读取处理[14]。本实验所用Canon 相机的RAW 文件扩展名为CR2,其彩色滤光片可通过实验方法确定为按RGGB 的(2×2)阵列排列[14-15],从而可提取对应于某个颜色通道的原始RAW 数据,并按前述实验方法对同一照度水平下的9 次拍摄取中心像素区域(64×64)进行平均值计算。两种图片格式下,对应于G 通道的数字输出值与焦平面曝光量的关系如图5所示。

可见相比于单通道8 bit(28= 256)的JPEG数据,RAW 的动态范围更大,可达到14 bit(214=16 384)。JPEG 格式下,G 通道输出值与焦平面曝光量的对数在中间段接近线性,如图2 所示,则显然G 通道输出值与焦平面曝光量之间为非线性关系,如图5(a)所示;而RAW 文件对应于G 通道的原始数据输出值与焦平面曝光量成良好的线性关系,如图5(b)所示,其线性拟合函数

其中a = 10 250, 暗场响应值 b0= 1 023,决定系数R2=0.999 5,均方根误差RMSE = 85.79。

作为研究用实验器材使用数码相机时,建议选用RAW 数据记录格式。RAW 数据不仅与曝光量之间具有良好的线性关系,而且具有超大动态范围,单个通道的图像深度达214,是8 位JPEG 图像动态范围的64 倍。另一方面,RAW格式的图像数据与传感器输出之间只经过了ISO 增益,可以更为直接地表示传感器接收的辐照度信息,不受去马赛克、白平衡、伽马校正等后续处理的影响,对物理量的测量来说减少了可能引入转换误差的中间步骤,即使在不同的白平衡及伽马校正设置下进行拍摄,也可获得一致的物理测量结果,扩大了其适用范围。需要注意的是,光电传感阵列由于加工工艺等原因导致像元响应特性的不一致性;在本实验规定的实验条件下,可认为CMOS 感光面上微小面积内的照度是均匀的,又取一定尺寸的像素窗口计算平均值,在一定程度上消除了像元响应不一致的影响;若要通过每个像元记录像面上非均匀分布的光照情况,还需要对像元进行非均匀性校正等必要校正[16-17],以获得更精密的测量结果。

4 结论

本文基于国际标准ISO 14524:2009,设计了数码相机焦平面OECF 的测量实验。在符合国际标准的测试条件下,获得相机焦平面OECF的测量数据及拟合曲线。比较图片中不同尺寸像素区域的测量结果,发现小尺寸像素区域的测量偏差及其在低曝光量下的相对测量偏差较大。通过对RAW 和JPEG 两种文件格式的数字输出值进行计算和比较,发现其与焦平面曝光量的关系分别为线性和非线性,其原因分别在于CMOS传感器对曝光量的线性响应和JPEG 图像产生过程中的伽马校正等非线性处理过程。当单反相机用作光分布记录测量的仪器时,采用直接反应传感器接收的辐照度信息的RAW 格式,可以获得较大的动态范围,理论上可以避免相机非线性变换等后续处理带来的影响,更精确地表示场景信息。