面向人眼探测识别的视频优化方法研究

吴 锦，范晓鹏，朱 枫

（1.中国科学院 研究生院，北京 100049；2.中国科学院 沈阳自动化研究所，辽宁 沈阳 110016）

1 引言

在探测识别的过程中，成像设备获取图像用于人眼探测识别。观察者总是希望能够从图像中获取尽量多的信息以提高探测识别的成功率。因此，国内外学者提出了各种各样增强图像的方法，如直方图均衡，Retinex 算法[1]等。近些年来，也有学者通过基于人眼视觉系统的研究提出了一些方法图像增强的方法[2－3]。在先前的研究中也提出了一种基于人眼视觉系统的图像优化方法[4]，以使图像中信息最大限度的为人眼感知，并进行了一定的改进。

这些方法在用于单幅图像的增强和优化中能够获得较好的结果，但是在用于视频或连续的序列图像处理时就会出现图像闪烁的现象。尤其是在实时性要求比较高的情况下，这种闪烁对人眼探测识别会造成很大的影响。究其原因，是因为这些方法在处理视频或序列图像时，只是对当前帧进行处理，并没有考虑之前各帧灰度级情况对当前帧的影响，造成图像中的景物可能在前后帧的处理过程中出现很大的灰度级跳变，从而产生图像闪烁现象。

首先简要介绍作者在之前研究中提出的面向人眼探测识别的图像优化方法，然后分析其在用于视频优化时出现图像闪烁的具体原因，然后提出一种能够抑制这种闪烁而又使人眼能够获得尽量多图像信息的方法。

2 面向人眼探测识别的图像优化方法简介

图像优化后用于目标探测识别时，人们总是希望在优化图像的过程中不改变原始图像的信息，这样可以避免因优化后的图像因破坏原始图像信息而对探测识别的成功率造成影响。之前提出的方法就是在尽量不丢失图像原始信息的前提下，按照人眼视觉特性，对图像进行优化以期望使人眼获得的信息最大化。

在没有先验知识的情况下，可以将图像按照相邻像素的灰度值是否相同的标准进行区域分割，把图像分成各个相互邻接的区域，而图像中的信息就蕴含在这些区域之中。然而根据人眼视觉系统的临界可见偏差特性（Just Noticeable Difference：JND）[5]可知，相邻区域之间的差值只有达到一定的阈值之后才能被人眼很好的区分，如果这个差值很小，那么观察者在观察的过程中很可能将其视为同一区域。如果图像中存在着大量的这样的区域，那么图像中的信息就不能被人眼很好的感知。人眼的JND 特性曲线，如图1 所示。

图1 人眼JND 特性曲线Fig.1 Human Eye JND Characteristic Curve

基于这样的分析，我们将图像按照上述原则进行图像分割后，按照区域相邻、灰度级从低到高及灰度级差值最小的原则建立图像中灰度级之间最小相邻关系表。然后对在图像中不相邻而最小相邻关系表中相邻的各灰度进行合并，从而得到在不改变图像原始信息的前提下，表示图像所需的最少灰度级个数。

为了使相邻的区域能够被人眼很好的分辨，我们根据文献[6]中提到的视觉心理学函数结合人眼临界可见偏差特性，建立灰度级映射表。人眼视觉心理学函数的表达式如式（1）所示：

式中：p—信号s的探测概率；β的值可以通过式（2）求得：

式中：k—经验值，通常取3。α的值可以通过式（3）求得：

式中：S0—临界可见偏差的阈值。

人眼视觉心理学函数曲线，如图2 所示。

图2 人眼视觉心理学函数曲线Fig.2 Human Visual Psychology Function Curve

得到灰度级映射关系表后，我们就可以将原始图像的各像素通过灰度映射得到符合人眼观察要求的图像。这一部分内容文献[4]中有详细描述。

但是，人眼分辨灰度级的个数总是有限的，这一点可以从人眼的临界可见偏差特性得到。当表示一幅图像所需的最小灰度级个数高于人眼可分辨的灰度级个数时，根据上述方法进行灰度映射势必会造成一些信息仍然很难被人眼所感知。这样，我们为了保证那些之前更容易被人眼感知的信息能更好的发挥作用，将原来不易被人眼感知的信息压缩，以获得更大的映射空间用于原来易于人眼观察的信息。

当表示图像所需的灰度级个数高于人眼能够分辨的个数时，根据最小相邻关系表，我们提出了两种不同的压缩方式，一种是以最小相邻的灰度级中区域邻接的次数，另一种是以最小相邻区域中邻接区域的邻接长度。通过这些方法，将表示图像所需的灰度级数压缩到人眼能够分辨的个数，然后在根据上述方法进行灰度级映射，得到输出图像。算法实施的过程，如图3 所示。

图3 算法实施过程Fig.3 Algorithm Implementation Process

3 视频闪烁原因分析

上述方法在用于单幅图像时可以获得很好的视觉效果，但是用于视频优化时，视频图像经常出现闪烁现象。原始视频中由于场景的明暗变化可能造成闪烁固然是一部分原因，但是根本上还是由于图像优化方法在用于视频处理时，其只是处理当前帧的信息，并没有考虑到前面数帧的明暗对当前帧的影响。

一个视频中连续的两帧图像（图略）。经过前面所述的算法处理之后的结果（图略）。

可以明显看出，近处草地在处理后的前后两帧中的亮度出现了较大的变化。

对另外一个含有400 帧图像视频进行处理，发现其同样出现严重的闪烁现象，记录各帧的灰度映射曲线，其结果，如图4 所示。

图4 处理视频的灰度映射曲线Fig.4 Gray Mapping Curve to Process Video

图4 中可以看出，（0～120）范围内的灰度级在所有帧中映射后的结果变化并不是太大，而高于120 以后的灰度级的变化要比（0～120）的灰度级变化大的多。

我们可以从上述分析中得到这样的结论：在处理视频时，由于算法只是针对单帧图像进行优化，并没有考虑各帧之间的联系，这是造成视频处理后闪烁的主要原因，而这种闪烁在不同的视频场景中，会反映在灰度映射曲线某个范围内在前后几帧中变化很大。

4 视频闪烁抑制方法

为了保证处理时不向图像引入原本不存在的信息，在尽可能保留原图像信息的前提下，让人眼感知更多的图像信息，之前的图像优化方法采用了灰度级全局保序、局部不倒序的原则。在解决处理视频闪烁问题时，我们同样采用这一原则。

从上述原因分析中我们可以得到，运用算法处理视频时，当两帧图像的灰度映射曲线存在较大差异时，会出现较为严重的闪烁现象，而两帧图像的灰度映射曲线接近时，这种闪烁相对较轻。所以，在处理闪烁时，我们总是希望能够使得当前处理的视频帧的灰度映射关系和它的前一帧差别不大。

运用第二节所述的方法，我们处理视频时，可以得到当前帧的灰度映射关系，记为curr_map，存储前一帧的灰度映射关系并记为prev_map，两者的差值记为diff，diff的计算表达式为：

我们希望diff的绝对值尽可能的小，因此我们对当前帧的curr_map 进行调节，如式（5）所示：

式中：k—调节灰度映射关系差异大小的系数，当k=0 时，当前帧的灰度映射关系与前一帧完全相同，当k=1 时，当前帧的映射关系就是通过第二节所述方法计算得到的映射关系。为了在视频闪烁和人眼的信息感知之间做一个折中，将的值选为0.5。

5 实验结果

根据前面介绍的抑制图像闪烁的方法，对上节提到的含有400 帧图像的视频重新进行了优化处理，得到处理后的每帧图像的灰度均值，如图5 所示。

图5 视频做抑制闪烁处理后每帧灰度均值Fig.5 The Gray Level of Every Frame after the Video is Treated with Inhibition Scintillation

而根据第二节提到的方法进行优化处理的视频每帧的均值，如图6 所示。

图6 视频未做抑制闪烁处理的每帧灰度均值Fig.6 The Gray Level of Every Frame without the Video being Treated with Inhibition Scintillation

图像的灰度均值可以反映一幅图像的总体亮度情况。图8中视频各帧的均值变化显然比图9 中的视频各帧均值变化的平缓，也就是说经过闪烁抑制处理后的视频的总体亮度变化的更平缓，这样视频就不会出现剧烈闪烁的现象。

图4 中的连续两帧图像经过原始算法经过第二节所述算法处理后出现了闪烁现象。在经过闪烁抑制处理后，其结果如图7所示。从两幅图像中可以看出，近处的草地上的灰度值已经十分接近，在视频中该帧附近也看不到明显的闪烁现象。

图7 连续两帧图像闪烁抑制的效果Fig.7 Effect of Consecutive Frame Image Scintillation Inhibition

［1］Kobus Barnard，Brian Funt.Investigations into Multi－scale Retinex［J］.Vision and Technology，1999：9－17.

［2］黄凯奇，王桥.基于人眼视觉特性的多尺度彩色图象增强算法［J］.中国图像图形学报，2003，8（11）：1242－1246.（Huang Kai－qi，Wang Qiao.Multiscale color image enhancement algorithm based on human visual properties［J］.China Journal Of Graphics，2003，8（11）：1242－1246.）

［3］吴颖谦，方涛，李聪亮.一种基于小波分析和人眼视觉特性的图像增强方法［J］.数据采集与处理，2003，18（1）：17－21.（Wu Ying－qian，Fang Tao，Li Cong－liang.An image enhancement method based on wavelet analysis and human visual characteristic［J］.Data Acquisition and Processing，2003，18（1）：17－21.）

［4］刘勋，吴锦，郝颖明，等.面向人眼视觉的图像增强方法［J］.计算机工程，2012，38（2）：234－236.（Liu Xun，Wu Jin，Hao Ying－ming，etc.Image enhancement method facing the human eye visual［J］.Computer Engineering，2012，38（2）：234－236.）

［5］Ji.T.L，Sundareshan M.K，Roehrig H.Adaptive image contrast enhancement based on human visual properties ［J］.IEEE Transaction on Medical Imaging，1994，13（4）：573－586.

［6］Peter G.J.Barten.Contrast sensitivity of human eye and its effects on image quality［M］.Knegsel：HV press，1999.