基于机器学习和移动终端彩色图像的光谱重构研究

徐顺标 刘洋 陈建宇 赵微 徐鹏

摘要：文章以移动终端设备为媒介获取彩色图像，利用基于机器学习的光谱重构算法将彩色图像重构为光谱图像。利用色卡的RGB值和光谱反射比作为训练样本并建立光谱重构模型，进而将彩色图像逐像素转换为光谱图像。测试了基于机器学习的PI算法和Kernel算法对彩色图像的光谱重构精度，并检验了跨设备的光谱重构精度。同时，建立了两台移动终端设备的相机响应值转换关系，在一台设备下建立光谱重构模型，将另一设备下的相机响应值转换到第一台设备下，从而利用第一台设备下建立的光谱重构模型重构光谱。实验结果表明，不同移动终端的光谱重构性能不同，且Kernel算法的精度优于PI算法，同时，利用跨设备相机响应值转换，可提高跨移动终端的光谱重构精度。

关键词： 光谱重构；光谱反射比；样本训练；光谱估计；移动终端

中图分类号：O432.3       文献标识码：A

文章编号：1009-3044（2023）35-0121-03

开放科学（资源服务）标识码（OSID）

0 引言

光谱作为物体的指纹，可以实现对物体更精确的表征和分析，雖然光谱在各行各业中起着重要的作用，而光谱测量设备却存在各种不可避免的缺点，例如体积大，价格昂贵，测量时间长等，使其应用范围仅局限在某些特殊的领域，难以推广到更多的行业领域。光谱重构技术可以通过利用有限的图像数据预测每个波长处的光谱值[1-2]，这项技术已被广泛应用于图像处理、色彩管理、高光谱成像、计算机视觉、荧光成像，文化遗产保护、艺术品鉴定、环境监测等方面，光谱重构技术的发展前景非常广阔，有望为各行各业带来更多的机遇和挑战，因此，寻找到一种合适的设备来实现常规光谱测量设备的功能显得尤为重要。如今，移动终端设备的普及以及其愈发出色的图像采集性能，为此提供了一个可能的方向，例如，智能手机和平板电脑等移动设备已经成为人们日常生活中和工作中不可或缺的一部分，并且这些设备内置的高分辨率摄像头可以拍摄出高空间分辨率及高画质的图像。因此，将光谱重构技术用于移动终端，从移动终端彩色图像重构光谱图像，将有利于快速和方便地获取高空间分辨率的光谱数据，推动光谱数据在更多行业中的实时应用。

本文使用第三代iPad Air与第十代小米手机进行光谱重构研究，两种不同品牌的移动终端设备采集同一颜色样品的彩色图像，随后将图像中的色度值转换为其相对应的光谱值，从而实现光谱重构。本文选择两种典型的基于机器学习的光谱重构算法，即PI算法和Kernel算法，并将其应用到移动终端设备中，建立基于移动终端的光谱重构系统。此外将两种终端设备采集的RGB信息进行拟合，将一种设备的RGB值拟合到另一种设备下，然后进行光谱重构，从而提高跨移动终端设备的光谱重构精度。

1 光谱重构算法

光谱重构即从物体的相机响应值重构物体的光谱反射比，目前已涌现出各种各样的光谱重构方法，如多项式回归法、R矩阵法、R矩阵法与多项式回归相结合法、PI（Pseudo Inverse） 算法[3]、基函数法、匹配法、自适应光谱重构法[4]、Kernel算法[5]、主元分析法[6]、同色异谱法[7]等。本研究选择了两种基于机器学习的算法，即PI算法和Kernel算法。其中，PI算法实现简单，运算速度快。而对于Kernel算法，通过恰当地调整核函数中的参数，可以获取高精度的光谱重构性能。因此，本文选择这两种光谱重构算法进行移动终端光谱重构的研究，不同的算法将建立对应的光谱重构模型。

1） PI算法

假设原始颜色样品的相机响应值为P，进行重构训练的样本光谱反射比为R，相机响应值到光谱反射比的转换矩阵为T，PI算法的原理即利用最小二乘法满足下式，

min（‖R-TP‖2） （1）

其中转换矩阵T可通过矩阵形式求解，即

[T=（PTP）-1PTR] （2）

上式中，上标T和-1分别表示矩阵的转置和逆。PI算法计算简单而迅速，且训练样本非最优的情况下，仍能取得较好的光谱重构效果，但该方法无法避免来自系统噪声的影响。

2） Kernel算法

Kernel算法[5]利用核函数将相机响应值转换到一个特征空间，在特征空间中利用岭回归技术获取光谱反射比。从另一角度，Kernel算法将目标对象的多通道响应值映射到光谱空间，计算与训练样本的相关性并得到一组权重系数，按这组权重系数对训练样本的光谱反射比加权组合就得到目标对象的光谱反射比，其计算公式如下，

[r=R（K+γI）k] （3）

式中，γ是正则化参数，I是单位矩阵，K是利用矩阵P得到的m×m维的格拉姆矩阵，m是训练样本的数量，Kij=K（pi，pj）。K（·）是核函数，以经典的高斯核为例，即

[K（pi，pj）=exp（-||pi-pj||22δ2）] （4）

其中，pi、pj分别是第i个和第j个训练样本的多通道响应值。k是m维的向量，表示m个训练样本与目标对象的核估计值，第i个样本与目标对象的核估计值可表为ki=K（pi，p）。该算法中常见的核函数还有多项式核、对数核、Duchon spline核等。

2 实验

2.1 实验样本和设备

所采用的颜色样本来自爱色丽公司的色卡ColorChecker Digital SG Chart（简称SG，140色），如图1所示。SG色卡是数码摄影与印艺等行业常用的标准参考色卡，其包括了ColorChecker Classic的所有24个颜色。SG色卡边缘一圈的白色和黑色色块各14个，灰色色块16个，剩余部分为96个包含彩色和中性色的颜色样本。

用于图像采集的移动终端设备为Apple公司的第三代iPad Air（简称，iPad Air3） 与小米公司的第十代小米手机（简称，小米10） ，如图2和图3所示。设备iPad Air3的分辨率为2224×1668，屏幕像素密度为264像素每英寸，设备位深度为8位；设备小米10的分辨率为2340×1080，屏幕像素密度为386像素每英寸，设备位深度为8位。

2.2 实验步骤

将iPad Air3与小米10手机的摄像功能保持在最佳的状态，然后将SG色卡放置在室内光源强度合适且较为均匀的地方。为了保证采集到的图像质量最佳，两种设备都采用分辨率最高的后置摄像头对SG色卡进行拍摄。

1） 使用分光光度计测量SG色卡400nm到700nm，间隔10nm的光谱反射比，测量得所有色块的光谱反射比，为了减少中性色块对光谱重构的影响，需要排除最外围一圈的黑色、白色、灰色的色块，最终所需采集数据的色块为96个，如图4中白色方框内容所示。

2） 找到图像采集设备摄像最佳的位置，依次用iPad Air3与小米10后置摄像头对SG色卡重复拍摄数次，得到需要进行光谱重构所需的彩色图像。

3） 对采集到的图像进行筛选，丢弃带有反光、亮斑，色彩不均匀，成像模糊的拍摄图片，从中选取一定数量的图像作为最终的数据。

4） iPad Air3与小米10手机拍摄所得图像输入Matlab自编程序进行处理，提取颜色样本图像中的RGB值，将SG色卡中一半色块作为训练样本，另一半作为测试样本。利用光谱重构算法从RGB值重构光谱反射比，进一步计算重构的光谱反射比与真实光谱反射比之间的误差，从而衡量光谱重构的精度。

5） 用iPad Air3拍摄SG色卡，所得图像的RGB值作为训练样本，再用小米10拍摄SG色卡，所得圖像的RGB值多为测试样本，进行光谱重构。然后且将两设备的RGB值进行拟合，通过建立两者之间的转换关系，将小米10的相机响应值转换到iPad Air3下，再进行光谱重构。

3 实验结果

3.1 光谱重构精度

本文采用色差和光谱差衡量重构的光谱反射比的精度，色差采用CIEDE2000色差 [8]，用来评价重构的光谱反射比的色度精度。光谱差采用RMSE [9]，用来衡量重构的光谱反射比的光谱精度。对于两个指标，其值越小，光谱重构误差越小，因此光谱重构精度越高。小米10和iPad Air3的光谱重构精度如表1所示。

从表1可见，Kernel算法的色度误差和光谱误差都低于PI算法，因此Kernel算法能够更准确地从移动终端的RGB值重构光谱反射比。同时，iPad Air3的色度和光谱精度都优于小米10，表明iPad Air3所生成的RGB值线性度较好。但两台设备的色差和光谱差仍然较大，一方面是因为所采用的RGB值并非raw图像数据，RGB值存在非线性，另一方面，移动终端摄像头的拍摄性能与专业相机（如单反相机）存在差距。为了能够在视觉上更直观地体现两种算法光谱重构效果，给出小米10两种算法的复现图像，即将重构的光谱图像转换为sRGB图像，如图5和6所示。

对比两幅复现图像，可以看出PI算法复现的图像有些模糊和泛白，而Kernel算法复现的图像则较清晰，因此也印证了Kernel算法的光谱重构精度更高。

3.2 跨设备光谱重构

本文测试了跨移动终端设备的光谱重构效果，即利用一台设备拍摄的SG图像建立光谱重构模型，将该模型用于另一台设备拍摄的图像，进行光谱重构。同时，建立不同设备之间相机响应值之间的映射关系，将一台设备的相机响应值映射到另一台设备，然后测试映射后的光谱重构精度。本实验将小米10手机拍摄的图像的RGB值映射为iPad Air3拍摄的图像的RGB值。对于RGB每个通道，利用SG色卡的所有色块建立了两个设备的相机响应值转换关系，具体利用二次多项式建立了每个通道的响应值转换关系，如式（5） 所示，其中x表示小米10的R值或G值或B值，F（x）表示iPad Air3的R值或G值或B值，a， b和c表示公式中要进行拟合的参数。

[F（x）=ax2+bx+c] （5）

基于上述转换模型，给出了两台设备每个通道的响应值转换曲线，见图7。其中R-X， G-X， B-X分别为小米10的RGB三通道相机响应值，而R-I， G-I， B-I分别为iPad Air3的三通道相机响应值。

利用iPad Air3拍摄的SG图像及其光谱反射比建立光谱重构模型，利用该模型将小米10拍摄的SG色卡的RGB值重构为光谱反射比，并计算重构误差。然后，利用上述建立的两台设备之间的相机响应值转换关系，将小米10的RGB值转换到iPad Air3下，然后利用基于iPad Air3建立的光谱重构模型，重构SG色卡的光谱反射比，并计算光谱重构误差。相机响应值转换前后的光谱重构误差如表2所示。

从表2可见，小米10响应值转换前的光谱重构精度较表1有所下降，表明不同设备之间的RGB值存在差异。对于两种光谱重构算法，响应值转换后，色差和光谱差都有所下降，表明建立的转换模型可以实现两台设备响应值的映射。

4 结束语

移动终端的迅猛发展使其成为越来越普遍的图像采集设备，本文研究了利用移动终端的相机响应值重构光谱反射比，从而可以方便地从移动终端的彩色图像获取光谱图像，并研究了跨设备的光谱重构效果。采用两种移动终端设备作为图像采集工具，并采用了两种基于机器学习的光谱重构算法建立光谱重构模型，测试移动终端的光谱重构效果。实验结果表明，Kernel算法的光谱重构精度显著优于PI算法，表明Kernel算法能精确地拟合RGB值与光谱反射比之间的非线性关系。对于跨设备光谱重构，利用二次多项式建立了两台设备之间的相机响应值模型，对于两种光谱重构算法，相机响应值转换后，光谱精度和色度精度都有所提升，表明所建立的响应值转换模型的有效性。

参考文献：

[1] 梁金星，万晓霞.彩色数码相机单幅RGB图像光谱重建研究[J].光学学报，2017，37（9）：370-377.

[2] 赵子琦.多光谱图像的获取及重构算法的研究[D].曲阜：曲阜师范大学，2014.

[3] 李博.基于三色相机的多光谱图像获取方法研究[D].曲阜：曲阜师范大学，2012.

[4] 梁金星.基于数码相机的光谱测量方法研究[D].武汉：武汉大学，2019.

[5] 徐鹏.基于多光谱成像技术的光谱图像重构与显示研究[D].杭州：浙江大学，2017.

[6] 陈奕艺，徐海松，张显斗，等.基于数码相机的光谱重构研究[J].光学学报，2009，29（5）：1416-1419.

[7] 陈奕艺.基于数码相机的物体表面色光谱重构[D].杭州：浙江大学，2008.

[8] LUO M R，CUI G，RIGG B.The development of the CIE 2000 colour-difference formula：CIEDE2000[J].Color Research & Application，2001，26（5）：340-350.

[9] VILASECA M，PUJOL J，ARJONA M，et al.Multispectral system for reflectance reconstruction in the near-infrared region[J].Applied Optics，2006，45（18）：4241-4253.

【通联编辑：光文玲】