单幅图像估计光照方向算法研究及其应用

张 闯，吕东辉

（上海大学 通信与信息工程学院，上海 200072）

0 引言

数字图像的光照方向估计是计算机视觉研究领域的重要课题之一，一方面，光照方向是SFS（Shape from Shading）的各种算法中最重要的参数之一[1]，另一方面，光照方向问题也是人脸识别中具有挑战性的一个课题[2]。同时，光照方向在图像篡改认证方面也有着极其重要的意义[3]。

当前，数字图像作为很多信息的载体，已经成为了一种被广泛应用的交流手段，它可以全面、方便地展示这个世界，但通过Photoshop等图像编辑软件修改数字图像不再是一件难事。一些不法分子人为篡改图像以达到混淆视听、以假乱真的目的，这些篡改图像若被大量地用在媒体、法庭证物、保险和科学发现等领域，将会对政治及社会稳定产生严重影响。因此，高效准确地鉴别出图像的真伪并对造假者进行相应的惩罚，将会对道德风气的树立及社会稳定发展起到重要作用。如今各种检测数字图像真实性的方法就是在这样的背景下产生的，其中通过光照方向的矛盾方法来判别图像的真伪[4]。在具有良好光照的真实图像中，各处物体表面的光照方向通常具有一致性，而篡改图像很难做到。通过鉴别图像中怀疑区域的光照方向是否一致，可以得到图像是否造假的初步结论，其简洁、直观、高效的性能是一种优良的检测方法。

吕颖达等描述了点光源距离不同情形下的图像光照方向估计，但这种算法仅限于二维情形[5]，陈波等探讨了仅针对人像合成篡改的鉴别方法[6]。本文将主要针对不同于上述两种算法的图像光照方向估计的几种典型方法进行研究，分别对模拟图像、实拍图像和合成图像进行验证，综合考察算法的各项性能指标，给出客观的算法评价。拓展应用于通过数码合成图像中不同区域的光线矛盾来鉴别图像真伪。最后综合近年来国内外学者在数字图像光照方向方面的主要研究成果，探讨了估计数字图像光照方向存在的问题及未来研究方向。

1 估计光照方向算法研究

给定一幅图像，可以根据图像中的亮度、边缘[7]及纹理[8]等判断图像的光照方向。由于本文探讨的估计光照方向各种算法都是基于图像的亮度信息，并且都有各自的前提条件，为便于对各种典型算法进行性能比较，同时也考虑到实际拍摄的图像中各处物体表面点亮度受到诸多因素的影响，统一设定前提条件：1）光源模式为无限远处点光源；2）反射模型为朗伯表面反射模型；3）图像成像几何关系为正交投影。对于不符合这些假设的图像，探讨的算法对其失效。

常用以描述光照方向的两个物理量是光源偏角τ和光源倾角γ，如图1所示。

朗伯表面亦称为漫反射表面[9]，即在固定光照情况下，从任何视角上观测都具有相同亮度的表面，如图2所示。朗伯表面不吸收任何入射光，与朗伯表面相对的是镜面反射，事实上，绝大多数物体的反射效应是两者兼有的。

估计光照方向的典型算法有：

1）Pentland算法[10]。在假设图像物体表面法向量各向同性的前提下，利用多个方向的图像亮度差分的统计平均值来估计光照方向。

2）Lee算法[11]。将物体表面近似为一个局部球面，并在局部球面坐标系中从水平方向及垂直方向求图像所有像素点的亮度差分的数学期望来估计光照方向。

3）Zheng算法[12]。该方法是基于像素点的方法，估计出每个像素点的光照方向后求其统计平均值。

4）Yang算法[13]。该法是利用赋予每个像素点以不同的权重值来估计图像光照方向。这是因为图像中各点对估计光照方向的贡献是不同的，最亮点的作用显然要比其他点更大。

5）Farid算法[14]。提出对图像提取遮挡轮廓，沿着对象遮挡轮廓分成若干局部块，估计局部块的光源偏角，并首次应用在图像篡改认证方面，但无法实现对光源倾角的估计。

以上几种估计光照方向的算法都是通过理论建模来估计光源偏角和光源倾角，多从微元的角度进行理论分析，最终得出一种适用于整个物体表面的光照估计算法。当然，它们都假定用以讨论算法的图像区域是合适的，但是面对一幅待估计的图像，并不是图像上所有的像素点都有进行计算的价值。从平面区域和阴影区域中难以估计出光照方向，所以这类区域不适合作为估计的对象。此外，不同的物体表面由于其材质和纹理的差异，对光线的吸收与反射也各不同。对于假设物体表面为朗伯表面的算法而言，将不同纹理或材质的物体表面混同进行估计显然是不合理的。如何区分、鉴别一幅图像中的各个区域，并寻找出合适的待估计区域是也比较关键。

这就要求人为选取待估计区域时要尽量符合以下两个条件：1）选取的区域要尽量具有良好的光照性。2）该区域最好纹理、材质统一，尽量为同一物体表面。但是，区域中真正具有良好光照并且纹理、材质统一的物体表面不会是一个规则的图形，而且区域中可能存在多种类型的表面，这就需要用一定的技术手段将多种表面进行区分，并且对需要的表面以种子点为中心自动生成，而此生成区域中的像素点才是真正有估计意义的像素集合。对于朗伯表面可以认为每个可见凹面或凸面都存在一个最亮点，它满足

通过设定最亮点为种子点，可以进行区域生长。区域生长的方法可以概括为[13]：

1）依据式（1）寻找图像上的最亮点，并设为种子点。

2）在种子点周围进行区域生长，对其每一邻域元素I（x，y），计算邻域元素与种子点的亮度差dI（x，y）。若dI（x，y）同时满足|dI（x，y）|≤ε（ε为一固定域值）；该点没有被分配过，则将该点并入种子点区域。

3）当区域生长无法继续时，停止运算。否则，继续重复步骤3）。

4）对于没有划分的点，视作背景区域并置0。

采用以上规则对待估计图像中感兴趣区域进行生长和分割，从原图像中得到了不同类型的区域。算法仅需针对具有同一纹理或材质的凸凹区域进行估计即可。

2 光照方向检测实验结果与分析

本文采用上述几种典型算法对数字图像进行光照估计后得出的数据误差、适用范围等客观结果来评判算法的准确性与适用性，并就其实用性能和应用性能的验证做出尝试。具体来说，首先，通过这些算法对控制变量的模拟生成图像进行批处理，可以得出不同算法在估计光源偏角与光源倾角时的准确程度以及各自合理的适用范围，由此可对这些算法的优缺点进行直观比较。其次，通过估计实际拍摄图像的光照角度，将估计出的结果与用其他方法（如太阳影长法、公式法等）[15]得到的光照角度进行比较，从而得出算法对实际图像的适用情况。最后，将尝试运用这些算法对合成图像的光线矛盾进行检测。通过对不同合成区域的光照角度估计，对比估计结果是否存在明显差异，继而验证算法能否初步应用于某些篡改图像的有效鉴别上。

2.1 估计光源偏角

2.1.1 光源倾角不变的模拟生成图像

用Matlab生成一组光源倾角γ=45°不变，光源偏角τ从0°～90°，每隔5°变化的模拟小球图像，共计20幅。图像大小为200×200，黑色背景亮度为0，最亮点亮度为200。部分模拟小球图像如图3所示。

将计算机生成的模拟小球图像作为实验对象，分别采用Pentland，Lee，Zheng，Yang及Farid 5种算法估计该组模拟图像的光源偏角τ，实验结果相对误差比较如图4所示。

由图4不难看出，5种算法中，Yang算法对于τ的估计误差最小，Zheng算法其次，Pentland算法和Lee算法对于τ的估计误差趋于一致，而Farid算法对τ的估计误差最大。总的来说，5种算法对小球图像偏角τ的估计误差都很小，均达到令人满意的程度。

2.1.2 实际拍摄图像

这里所用的实际图像为室外自然光照条件下通过Sony DSC-T10在不同时间拍摄的小球和鸡蛋的图像。通过严格的理论推导将计算得到的太阳方位角和太阳高度角换算成xyz直角坐标系中的光源偏角与倾角。通过该类图像，可以验证区域生长的完备性以及算法的实用性能，实验结果如表1所示。其中图5a光照方向为τ=15.4°，γ=36°，图5b光照方向为τ=-6°，γ=76°。实际图像如图5所示。

表1 已知光照方向的实际拍摄图像及各算法的估计值

从表1实验数据可以看出，5种不同算法对实际图像的光源偏角τ的估计值趋于一致，与图像偏角的真实值较为接近，最大差值为9°，小于人眼视觉所能察觉的最小值12°[16]。

2.1.3 篡改合成图像

这里所用的两幅篡改图像是将不同图像中的人物拼接到一起，如图6所示，图6a是从网上下载的关于小布什和韩国议员的篡改合成照片，图6b是将另外一幅光照方向不同的图像中的人物拼接合成的篡改图像。这两幅篡改图像的光照方向均未知。针对每一幅图像，分别选取两个感兴趣的区域，采用不同的算法估计的光照方向结果如表2所示。

表2 光照方向未知的篡改图像及各算法的估计值

由图6和表2可知，对于光照方向未知的图像，通过这5种算法分别估计出对应的感兴趣区域的光源偏角τ，同一幅图像的同一感兴趣区域，各算法估计的值趋于一致，而同一幅图像的不同感兴趣区域各算法估计的值则明显不同。数据表明，图6a中小布什所对应的区域1（实线方框区域）的光线来自画面左上角，而韩议员对应的区域2（虚线方框区域）的光线则来自画面左下角。图6b中红衣女子对应的感兴趣区域1的光线则来自右上角，白衣小女孩所对应的区域2的光线则来自左上角，这与眼睛看到的光照方向基本一致。因此对比各感兴趣区域的光照方向，这种不一致性可以揭示出图像中不同对象是篡改合成的。

2.2 估计光源倾角

2.2.1 光源偏角不变的模拟生成图像

用Matlab生成一组光源偏角τ=45°不变，倾角γ从0°～90°，每隔5°变化的模拟小球图像，共计20幅。图像大小为200×200，黑色背景亮度为0，最亮点亮度为200。部分模拟小球图像如图7所示。

将计算机生成的此类模拟小球图像作为实验对象，分别采用Pentland，Lee，Zheng算法估计该组模拟生成图像的光源倾角γ，3种算法对应的实验结果相对误差比较如图8所示。

估计光源倾角γ之所以只采用这3种方法是因为Yang算法所采用的计算方法与Zheng的相同，而Farid算法则不适用于估计光源倾角γ。由图8实验数据可知，3种算法中，Pentland算法对于光源倾角较小的情况比较适用，当倾角趋近于90°时算法失效，而Lee算法则对光源倾角较大的情况比较适用，对小于30°的情况失效，Zheng算法估计倾角的实验误差要略大于另外2种算法，在接近0°或90°时基本失效。

2.2.2 数字图像

对于实际拍摄图像及篡改合成图像，Zheng和Lee这两种算法估计倾角γ时受制于所约束的条件，并不能有效估计出相应的值，只有Pentland算法的表现尚可，相应的实验结果如表3所示，数字图像如图9所示。

由表3和图9可以看出，无论是实际拍摄图像还是篡改图像，Pentland算法均可以估计出比较理想的倾角γ值。当然对于未知倾角γ的篡改图像，感兴趣区域1和感兴趣区域2的倾角γ也有一致的可能性，这种情况下，可以结合之前估计出的偏角τ值来共同判断感兴趣区域的光照方向是否一致。

表3 实际拍摄图像及篡改图像的估计值

3 小结

本文用Matlab语言仿真的5种估计光照方向的算法在各种图像上都有不错的表现。对于模拟图像的τ来说，5种算法表现都十分良好。估计实际图像的τ，也基本上接近真实值，并可以由此判断出明显光线矛盾的合成图像。但是就γ来说，Pentland，Zheng和Lee 3种算法都不尽如人意，Lee算法在估计模拟图像的γ时有稳定的表现，而Pentland算法和Zheng算法的有效范围较小，并且误差的大小随真实角度变化明显。对于实际图像，只有Pentland算法的表现尚可，另2种算法受制于条件，并不能有效估计出γ的值。总而言之，结合对τ和γ估计的判断比较，这些算法均能够通过数码合成图像中不同部位的光线矛盾来判别图像的真伪，体现了这些算法具有一定的应用性，可以发挥鉴别图像真伪的作用。

由于算法大多假定物体表面是具有朗伯表面特性，而实际估计过程中不可能完全满足，所以算法本身也存在着局限。目前算法所对应的区域仍属于半自动的状态，如果算法能够自行选取感兴趣区域，减少人为参与，将大大提高算法的工作效率和智能性。此外，从实验结果中也可以看出，对γ的估计不如τ来得理想，如何能够估计出更合理、更接近实际的倾角应该是光照方向研究领域的一项重点研究内容。还有一点值得注意的是，对多光源数码图像的光照方向估计[17]也是将来的研究方向之一。

[1]SHEA J，BANKS M，AGRAWALA M.The preferred angle of illumination in shape from shading[EB/OL].[2010-11-22].http：//vis.berkeley.edu/courses/cs294-10-fa07/wiki/images/a/ae/JamesOsheaFinalPaper.pdf.

[2]张智斌，赖剑煌，邓东皋.未知光源参数的人脸光照恢复方法[J].计算机研究与发展，2005，42（4）：629-634.

[3]吴琼，李国辉，涂丹，等.基于真实性鉴别的数字图像盲取证技术综述[J].自动化学报，2008，34（12）：1458-1465.

[4]FARID H.A survey of image forgery detection[J].IEEE Trans.Signal Processing Magazine，2009，26（2）：16-25.

[5]吕颖达，申铉京，陈海鹏，等.基于光照方向不一致性的图像盲鉴别方法[J].吉林大学学报：信息科学版，2009，27（3）：293-298.

[6]陈波，朱秋煜.基于光照方向的人像合成图像检测[J].计算机仿真，2009，26（3）：202-204.

[7]NILLIUS P，EKLUNDH J O.Automatic estimation of the projected light source direction[EB/OL].[2010-11-22].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.13.6561&rep=rep1&type=pdf.

[8]CHANTLER M J，PETROU M，PENIRSCHE A，et al.Classifying surface texture while simultaneously estimating[J].International Journal of Computer Vision ，2005，62（1）：83-96.

[9]BASRI R，JACOBS D W.Lambertian reflectance and linear subspaces[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25（2）：218-233.

[10]PENTLAND A.Local shading analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1984，16（2）：170-187.

[11]LEE C H，ROSENFELD A.Alhedo estimation for scene segmentation[J].Pattern Recognition Letters，1983，1（3）：155-160.

[12]ZHENG Q，CHELLAPPA R.Estimation of illuminant direction，albedo，and shape from shading[J].Pattern Recognition Letters，1991，13（7）：680-702.

[13]杨杰，邓志鹏，郭英凯，等.两种新的光照方向估计方法[J].上海交通大学学报，2002，36（2）：894-896.

[14]JOHNSON K，FARID H.Exposing digital forgeries by detecting inconsistencies in lighting[EB/OL].[2010-11-22].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.7368&rep=rep1&type=pdf.

[15]张闯，吕东辉，顼超静.太阳实时位置计算及在图像光照方向中的应用[J].电子测量技术，2010，33（11）：87-89.

[16]PENTLAND A.Finding the illumination direction[J].Journal of Optical Society of America，1982，72（4）：448-455.

[17]WANG Y，SAMARAS D.Estimation of multiple directional illuminants from a single image[EB/OL].[2010-11-22].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.5021&rep=rep1&type=pdf.