基于混合颜色空间与码本背景减除的虚拟触控优化技术

林孜铠，戴思璋，梁浩文，林岱昆，朱洁霞，苏剑邦，陈海域，王嘉辉，周建英

基于混合颜色空间与码本背景减除的虚拟触控优化技术

林孜铠，戴思璋，梁浩文，林岱昆，朱洁霞，苏剑邦，陈海域，王嘉辉*，周建英

(中山大学物理科学与工程技术学院，广东广州510275)

为了更好实现3D虚拟键盘对人手型的分割，建立了一套基于颜色空间和背景减除的手型分割方法。对原有的单颜色空间处理方法进行了改良与创新，提高运算速度和鲁棒性。介绍了原有颜色空间算法的原理和步骤，并给出该方法的效果图和运算速度。根据颜色空间处理方法的原理分析程序中可以提高速度的部分，提出一些颜色空间算法无法解决的问题。在原有HSV颜色空间的处理中加入新颜色空间YCrCb，结合两者进行速度方面的提升，最后，在颜色空间处理之外，加入码本法背景减除，解决干扰色、手饰品干扰等颜色空间无法处理的问题。实验结果表明:使用新颜色空间算法，运算速度提升，节省28．27%的时间;加入码本背景减除后的指尖定位良好，平均误差小于2%。达到了提高3D虚拟键盘实时性和鲁棒性的要求。

3D虚拟键盘;混合颜色空间;码本背景减除

1 引言

近年来，3D显示技术的发展十分迅速。使用3D显示技术可以再现场景的层次感和深度感，使画面变得立体逼真，图像不再局限于屏幕平面，可达到身临其境的效果［1］。将3D显示与体感技术结合能为用户提供具有深度感的操作方式，可有效拓展操控的自由度。其中3D虚拟键盘就是一项新颖的3D交互体感技术。现时的3D虚拟键盘技术主要使用颜色空间(肤色)分割出人体(尤其是手)的部分，再进行后续的处理［2］。而颜色空间的运用需要解决以下问题:现时3D虚拟键盘技术［3］使用的颜色空间是HSV颜色空间。使用HSV颜色空间可以在相对准确地识别出手型，但是在处理过程中，颜色转换计算速度较慢导致处理帧率低，从而无法保证信息交互的实时性。进行手型分割时，需要制造一个相对严苛的背景，以保证能获得良好的分割结果。但仅使用HSV颜色空间，没有办法排除复杂背景的干扰，例如:用户的手上带有戒指，或者用户不经意在背景处放置会造成干扰颜色的物体等。这些问题影响了3D虚拟键盘的实时性和鲁棒性。本文针对上述的问题，提出新的HCrCb颜色空间，结合码本背景减除法，对手型的分割进行优化。实验结果证明，上述的结合优化方法不仅可以有效提高处理速度，也能克服干扰色和断指等影响，具有较高的鲁棒性与实时性。

2 利用HSV颜色空间进行手型分割的缺陷来源与分析

传统的手型分割方法使用的是HSV颜色空间，在OpenCV函数辅助下，对已完成畸变校正等预处理的手型对象进行如下处理:①对图片进行中值滤波;②将得到的RGB图片转换为HSV格式并分离H和S通道;③对相应单通道进行肤色范围阈值处理，符合肤色范围的标记为1;④将对应单通道的图片重组，得到初步处理手型;⑤对组合手型图片进行开运算处理等一系列形态学处理，并得到所需的手型［4］。处理结果如图1所示。

图1 手型分割处理步骤Fig．1Steps of finding hand contour

表1是上述5个过程所需的处理时间:(计算机配置为:CPU:Intel(R)Core(TM)i5 M 460@2．53 GHz，RAM:4．00 GB(2．49 GB可用)，摄像机型号:DH-HV1351UC，镜头焦:6 mm，图片规格是320×256)

表1 优化前单张图片处理时间Tab．1Time of operating one RGB image without using improved method

不难发现，过程①、②和⑤占用了大部分的运算时间。考虑到⑤占的比例较大，从⑤入手可有效减少处理时间。

其中形态学处理包括两部分，一是开运算，消除图片噪点，耗时8．78 ms;二是轮廓选择，选择面积最大的(或者是符合特征的)轮廓作为手型，耗时0．48 ms。因此提高形态学处理速度应优化开运算处理。

开运算的过程是先腐蚀后膨胀，可用于:消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。腐蚀是一种消除边界点，使边界向内部收缩的过程。在处理手型图片的时候可以消除一些孤立的噪点。其定义为:

图2 形态学腐蚀Fig．2Erosion in morphology

膨胀是腐蚀的反操作，指将一些图像(或图像中的一部分区域)与核进行卷积。在处理手型时的意义是将腐蚀后变小的手型尽量恢复到与原来一致，保证指尖位置。其定义为:

在OpenCV函数里，膨胀通过下面的算法生成一个新的图像:当核B和图像卷积时，计算核B覆盖的区域的最大像素值，并把这个最大值赋给参考点。膨胀的效果图如图3。

图3 形态学膨胀Fig．3Dilation in morphology

通过开运算，可以有效消除无关噪点，将有助于后续处理获得手型轮廓［5］。

通过开运算原理得知，对于每一个独立的噪点，要分别进行一次腐蚀和一次膨胀。假如噪点过大(或者相对于处理的核来说过大)，腐蚀不能完全消除该噪点，则需要对其进行膨胀，这将增加处理时间;假如噪点非常多，则每一个噪点都需要进行一次开运算，这也使得处理时间增加。因此，如果可以将图片的噪点数目尽量减少、将尺寸尽量变小，就使得腐蚀过后不需要膨胀，可节省开运算的处理时间。再者，开运算中核的大小对处理时间也有影响(如表2)，越大的核处理时间越长，而同样大小的核，使用矩形核处理最快。鉴于使用新处理方法可以控制噪点大小不要过大，本文使用的是3×3的正方形核，能明显提高3D虚拟键盘的实时性。

表2 不同大小，类别核处理时间对比Tab．2Consuming time comparison between different kinds and sizes of kernel

对于手型的处理，干扰色的影响是另外一个重要问题，如图4。

图4 干扰色对手型识别的影响Fig．4Negative effect on hand contour by interference colors

可以看到，由于图中干扰物的颜色肤色相似，因此干扰物将会改变识别手型的形状，干扰手型分割结果。对于3D虚拟键盘来说，最为关键的是确定指尖坐标位置，所以干扰物与手指重叠，将造成识别的误差。

同样的，假如用户没能使用裸手，而是带了手套或者配有饰物(例如戒指)，也会给手型的分割带来很大的干扰。

为了提高3D虚拟键盘的鲁棒性，将其更好地运用到实际中，排除上述干扰有着重要意义。

这些天，我和阿花又跑来了四五笔订单。每跑来一笔订单，我们都很兴奋，把那事发挥得淋漓尽致。完事了，阿花说，我还要。吓得我的腿都软了。我说有个笑话你没听说过吗，男人喜欢女人说我要，最怕女人说我还要。阿花一逗就乐，笑得弯下了腰，笑够了用拳头来捶我，说什么呀，人家还要的是订单，才不要你呢。于是我提起裤子，穿好西装领带，又跟着阿花四处奔波，跑淡水，跑横岗、观澜、公明，还有东莞的长安、凤岗等地。太阳热气腾腾像要把人的汗水烤干似的，那些树草花木早就烤得服服帖帖了，动都不动一下。我说阿花你把空调打到最低，大汗淋漓去见客户，人家肯定说咱俩没干好事。

3 方法实现与技术要点

3．1使用混合颜色空间提升速度

HCrCb颜色空间是由HSV颜色空间和YCrCb颜色空间联立构成。

HSV颜色空间，采用了色调H、亮度V和饱和度S，三个近似人眼视觉认知的维度来表征颜色。RGB颜色空间转换到HSV颜色空间的公式如下［6］:

而YCrCb颜色空间是由亮度Y、红色信号与亮度信号差值Cr和蓝色信号与亮度信号差值Cb来表征，YCrCb和RGB变换矩阵如下［7］:

HSV和RGB的关系是非线性的，而YCrCb和RGB的关系是线性的。将这两个颜色空间所对应的肤色区域反过来在RGB颜色空间里面标示出来，是会有一定的差别，这就暗示着不同颜色空间产生的噪点有区别。其实际差异情况可见图5。

参考上述分析，对HSV颜色空间中H通道的肤色二值图和YCrCb颜色空间中Cr、Cb通道的肤色二值图进行并操作(即按位与处理)，将对应3个单通道的图片重组为一幅二值图交集。通过这个操作，将HSV颜色空间和YCrCb颜色空间结合，可以抑制噪点以及切裂大块噪点;变小的噪点也允许使用最小的核(3×3)进行开运算，达到提高速度的目的。同时，通过HCrCb颜色空间处理的手型如图6，和原始效果几乎一致，具有良好分割效果。

图5 HSV和YCrCb颜色空间处理对比图Fig．5Comparison of skin binary image betweenHSV＆YCrCb color space

图6 HCrCb手型效果图Fig．6Hand contours by HCrCb mixed color space

而我们关心的处理速度的对比见表3(计算机配置同表1):

表3 HCrCb空间单张图片处理时间Tab．3Time of operating one RGB image by using of HCrCb color space

结果表明，在使用了HCrCb颜色空间以后，由于该颜色空间能够有效抑制噪点的大小和数量，在形态学处理时可以使用最小，即最省时的核来处理，同时处理的噪点数量也减少。以上两方面使过程⑤的时间减少了7．71 ms，明显加速83.35%。相对的，因为HCrCb颜色空间由两个颜色空间组成，在处理过程②③时，除了原本的RGB转换到HSV颜色空间和H通道阈值处理，还加入了RGB转换到YCrCb颜色空间和CrCb通道阈值处理，颜色转换及通道分离的时间有所增加。但是综合而言，运算时间共减少4．5 ms，加快了28．27%。

3．2码本背景减除

由于颜色空间处理手型易受干扰色和非裸手的影响，可以考虑使用可抗干扰方法来辅助处理。其中，背景减除就是符合上面要求的基于复杂背景的前景分离方法。背景减除的方法很多，例如平均背景减除法，混合高斯背景减除法，码本模型背景减除法等［8-12］。由于3D虚拟键盘的背景是相对固定的，码本是最优化背景减除的方法。

在基于码本的背景减除里，三颜色轴上都会建立对应的盒子，这些盒子由两个阈值(最大和最小)来定义。当前景不在这些盒子里，程序将可以把前景分离出来。而基于码本的背景优势在于即使背景有变化(即出现新的背景)，盒子会根据如下规律更新:当新背景模型落于盒子附近的时候，盒子会稍微变大以覆盖周围的值;当新的背景远离原有盒子，它就会单独形成新的盒子;假如某一个盒子在很长时间内没有被涉及，就将这个盒子视为陈旧的盒子并删除。因此码本背景减除具有不错的前景分离度，而且能够克服复杂背景的干扰［13］。

结合HCrCb颜色空间和码本背景减除，可以在一定程度上减除背景干扰色和非裸手的影响。码本背景减除对伸出的手指保持有良好的识别度。图7中十字标示出指尖位置，与原图基本一致。

鉴于HSV空间处理得到的指尖位置比较准确，这里使用其分割结果作为评价标准。在一分钟的视频内等间距取出一部分帧对上述指尖位置作处理，分别测量指尖位置的图像坐标和手指长度。分别考察HSV和码本背景减除的指尖位置误差和相对手指的误差，结果如表4。

图7 码本法背景减除处理结果Fig．7Resultbycodebook background difference

背景减除和HSV空间的平均误差约为1个像素，指尖方向(Y轴)的误差也是只有1．55%，基本满足使用的要求，证明码本背景减除有较高的指尖分辨度。在结合HCrCb空间和背景减除时，可以采取下面方式:①当两者处理得出的指尖相差在忍受范围内(如5像素)，视为不存在颜色空间的干扰，程序使用颜色空间的指尖结果进行后续操作;②当两者的指尖误差超过忍受范围时，视为存在干扰色或者断指现象。此时，程序提示用户检查干扰，并暂时使用背景减除的指尖坐标代替颜色空间的指尖坐标直到误差不再超常。

表4 背景减除和颜色空间的指尖位置对比Tab．4Comparison of finger coordinates between color space and background difference

但是码本背景减除的精确性需要程序在此后的运行过程中保持背景不变，假如用户不慎操作导致背景有所变化，背景减除将会出现较大误差，导致3D虚拟键盘无法正常使用。出现这种情况时，程序应当出现提示，让用户遵从程序引导，重新制作背景。

码本背景减除法的处理时间如表5(图片分辨率为320×256):

表5 码本背景减除法单张图片处理时间Tab．5Time of operating one RGB image by codebook background difference

由数据可知，前30帧中(程序启动初段)，需要建立基础码本，因此处理时间较长;而一旦基础码本的背景制作完毕，往后码本处理所需的时间将大幅减少至3．44 ms，不会导致手型处理帧数有明显下降。考虑到这种方法能有效排除干扰色和断指导致的误差，所以能达至鲁棒性和实时性的平衡。

4 结论

针对基于肤色的手型分割技术存在实时性和鲁棒性不足的问题进行研究，提出了采用新的HCrCb颜色空间代替原有颜色空间，以及加入码本背景减除进行辅助提高手型的识别准确度。通过HCrCb颜色空间的采用，可以更细致分离出肤色区域并有效抑制噪点，有利于后期处理的优化，实验结果使用HCrCb后总处理时间节省了28．27%，有效提高实时性。而码本背景减除的加入，克服了干扰色和非裸手的负面影响，而引入的平均误差小于2%，并在鲁棒性和实时性上取得良好平衡。

［1］王永，孙可，孙士祥．3D显示技术的现状及发展［J］．现代显示，2012，133(2):26-29．

Wang Y，Sun K，Sun S X．The status and development of 3D display technology［J］．Advanced Display，2012，133(2):26-29．(in Chinese)

［2］王婧．裸视3D技术及其应用［D］．南昌:南昌大学，2012．

Wang J．The naked-eye stereoscopic display technology and applications［D］．Nanchang:Nanchang University，2012．(in Chinese)

［3］张金，李洋，刘晓威，等．基于数字图像处理的虚拟输入方法［J］．计算机工程与设计，2011，32(11):3759-3763．

Zhang J，Li Y，Liu X W，et al．Virtual input method based on digital image processing［J］．Computer Engineering and Design，2011，32(11):3759-3763．(in Chinese)

［4］吕梦云．虚拟触控系统的研究［D］．广州:中山大学，2013．

Lv M Y．The study of 3D human-computer interactive system［D］．Guangzhou:Sun Yat-sen University，2013．(in Chinese)

［5］赵红雨，吴乐华，史燕军，等．基于HSV颜色空间的运动目标检测方法［J］．现代电子技术，2013，36(12):45-48．

Zhao H Y，Wu L H，Shi Y J，et al．Moving target detection method based on HSV color space［J］．Modern Electronics Technique，2013，36(12):45-48．(in Chinese)

［6］赵红雨，吴乐华，史燕军，等．基于HSV颜色空间的运动目标检测方法［J］．现代电子技术，2013，36(12):45-48．

Zhao H Y，Wu L H，Shi Y J，et al．Moving target detection method based on HSV color space［J］．Modern Electronics Technique，2013，36(12):45-48．(in Chinese)

［7］王鼎，沈辉，娄海涛，等．一种基于H-CbCr颜色空间的肤色检测算法研究［J］．计算机科学，2012，39(10):223-226．

Wang D，Shen H，Lou H T．Study of a skin detection algorithm based on the H-CrCb color space［J］．Computer Science，2012，39(10):223-226．(in Chinese)

［8］张军，代科学，李国辉．基于HSV颜色空间和码本模型的运动目标检测［J］．系统工程与电子技术，2008，30(3): 423-427．

Zhang J，Dai K X，Li G H．HSV color-space and codebook model based moving objects detection［J］．Systems Engineering and Electronics，2008，30(3):423-427．(in Chinese)

［9］丁莹，钱锋，范静涛，等．基于不同颜色空间的运动目标检测算法分析［J］．长春理工大学学报(自然科学版)，2012，35(4):1-4．

Ding Y，Qian F，Fan J T，et al．Study on moving object detection algorithm based on different color space［J］．Journal of Changchun University of Science and Technology(Natural Science Edition)，2012，35(4):1-4．(in Chinese)

［10］方贤勇，贺彪，罗斌．一种基于HSV颜色空间的新码书模型［J］．计算机应用，2011，31(9):2497-2501．

Fang X Y，He B，Luo B．New codebook model based on HSV color space［J］．Journal of Computer Applications，2011，31 (9):2497-2501．(in Chinese)

［11］刘翔，周桢．基于分块背景建模的运动目标检测技术［J］．液晶与显示，2011，26(6):831-835．

Liu X，Zhou Z．Moving objects detecting technology based on block processing of background model establishment［J］．Chinese Journal of Liquid Crystal and Displays，2011，26(6):831-835．(in Chinese)

［12］吴君钦，刘昊，罗勇．静态背景下的运动目标检测算法［J］．液晶与显示，2012，27(5):682-686．

Wu J Q，Liu H，Luo Y．Algorithm of moving object detection in static background［J］．Chinese Journal of Liquid Crystal and Displays，2012，27(5):50-53．(in Chinese)

［13］于仕琪，刘瑞祯(译)．学习OpenCV(中文版)［M］．北京:清华大学出版社，2009．

Yu S Q，Liu R Z(translator)．Learning OpenCV［M］．Beijing:Tsinghua University Press，2009．(in Chinese)

Touch technology based on mixed color space and codebook background difference

LIN Zi-kai，DAI Si-zhang，LIANG Hao-wen，LIN Dai-kun，ZHU Jie-xia，SU Jian-bang，CHEN Hai-yu，WANG Jia-hui*，ZHOU Jian-ying
(School of Physics and Engineering，Sun Yat-sen University，Guangzhou 510275，China)

In order to improve the skin detection in 3D virtual keyboard，this paper establishes a new skin detection method based on the color space and the background difference．Both the robustness and the speed of the skin detection are promoted after the replacement of the origin method by the new method．Firstly，this paper presents the theory and the detailed steps，and gives the results of the previous method．Then，some problems are presented and the paper gives much advice about improving the speed by analyzing the theory．Combining the HSV color space with the YCrCb color space helps to improve the operating speed．Also，the paper makes the background difference as an adjunction to the color space，and solve the problems，such as the negative effects of the interference colors and the jewelries，that cannot be overcome just by the color space．The experience shows that，after applying the new method，the operation time is shortened by 28．27%and the average error of finger recognition is lower than 2%．All of these indicates that the new method meets the require-ment of promoting the robustness and the speed of the skin detection．

3D virtual keyboard;mixed color space;codebook background difference

TN141

A

10．3788/YJYXS20153004．0722

林孜铠(1993－)，男，广东潮州人，本科生，主要从事人机交互视觉处理方面的研究。E-mail:342792796@ qq．com

王嘉辉(1979－)，男，广东广州人，博士，实验师，主要从事3D显示技术、光电测量方面科研。

1007-2780(2015)04-0722-07

2014-07-23;

2014-10-30．

国家重点基础研究发展计划(No．2012CB921904);2014年广州市科技计划项目科学研究专项(No．2014J4100115);中山大学实验教学研究(改革)基金项目(No．YJ201221)

*通信联系人，E-mail:wangjh@mail．sysu．edu．cn