基于DCT系数和颜色直方图的图像检索

谢　莉，余　胜，成　运

(湖南人文科技学院 信息科学与工程系,湖南 娄底 417000)



基于DCT系数和颜色直方图的图像检索

谢莉，余胜，成运

(湖南人文科技学院 信息科学与工程系,湖南 娄底 417000)

摘要：为有效描述图像的形状、纹理和颜色特征，提出一种基于DCT系数统计特征和颜色直方图的图像检索．首先，将图像中像素点颜色值在RGB颜色空间中量化到64色颜色空间，构建彩色图像的颜色直方图用于描述图像的颜色特征．然后，将图像划分为8×8子块，分别对各子块进行DCT变换．最后，根据各子块的DCT系数获得其两个统计特征，其一是计算各子块DCT系数的均值和方差，构建均值-方差直方图用于描述图像的纹理特征，另一个是根据各子块的前9个AC系数构建AC系数差值直方图用于描述图像的局部形状特征．结合颜色直方图、均值-方差直方图和AC系数差值直方图构成图像检索的特征向量．实验结果表明，算法有效描述了图像的形状、纹理和颜色特征，查全率和查准率均有提高，检索性能较优．

关键词：图像检索；离散余弦变换；离散余弦变换系数；颜色直方图；均值-方差直方图；AC系数差值直方图

当前，随着Internet的发展，图像信息成为一种重要的信息资源[1]．图像检索成为图像处理技术和计算机视觉的研究热点之一[2-3]，传统的基于文本的图像检索方法在百度、谷歌等搜索引擎中已被广泛引用，主要通过对图像进行关键字标注来实现．但人工标注图像需要耗费大量的人力，且具有很强的主观性．基于内容的图像检索(Content Based Image Retrieval，CBIR)是通过图像的颜色、纹理、形状和空间关系等底层特征来描述图像信息，实现图像检索．

在CBIR中，通常选择颜色、形状和纹理等作为图像特征，图像特征提取和描述的优劣直接影响到图像检索的性能好坏[4-5]．Neamabadi[6]把图像分成2×2基元，再根据基元的平均梯度幅值把图像基元分为视觉非均衡基元和视觉均衡基元两类，在两类基元中分别进行特征提取和图像信息的描述．该方法结合了图像的形状和颜色特征，但仅考虑了梯度幅值而忽略了梯度方向，影响了图像形状特征的描述．赵珊[7]提出在离散余弦变换(discrete cosine transform，DCT)压缩域中实现图像检索，很好的体现了离散余弦变换系数的统计分布情况．Sun[8]将拓扑理论引入图像检测领域，根据神经网络检测图像角点，但计算量过大．文献[9]提出多基元直方图的图像检索方法，多基元直方图结合了直方图和共生矩阵的优点．Lin等[10]用灰度均值直方图、基元共生矩阵和全局颜色直方图共同描述图像特征，对纹理丰富的图像具有较好的检索效果．刘海广[11]提出把图像划分为互不重叠的3×3基元，通过提取各基元的颜色和形状特征来描述图像．文献[12]定义了5种3×3结构基元来描述图像的5种方向信息，分别在5种结构基元中提取图像的颜色信息并用72维向量来描述．最终基元结构元素描述子是一个360维的特征向量，能同时提取和描述图像的颜色和纹理特征，但该算法缺少对形状特征的描述且具有较大时间复杂度．

因此，本文提出一种综合纹理和全局颜色特征的图像检索方法．颜色特征通过在RGB颜色空间中求颜色直方图来描述；把图像划分为互不重叠的8×8子块，对各子块进行DCT，然后构建均值-方差直方图和AC系数差值直方图描述图像的纹理、形状特征．该方法有效融合了图像的颜色、形状和纹理等特征．

1图像特征提取

1.1　颜色直方图

1.1.1　颜色量化

颜色特征是图像中最直观的视觉信息，被广泛用于图像检索系统．颜色特征的有效提取与所选取的颜色空间有直接关联．当前主要的颜色空间有RGB、HSV和Lab等[13]．本文选择在RGB颜色空间中对彩色图像进行量化，获取图像的颜色信息．假设尺寸为M×N彩色图像I，在RGB颜色空间中将其量化为64种颜色的过程为：首先，在R、G和B三个颜色通道中分别把颜色值均匀量化到3个区间，并分别用SR(x,y)，SG(x,y)和SB(x,y)表示；然后把三个颜色通道中量化后的颜色值根据式(1)合成特征颜色矩阵S．

S(x,y)=16×SR(x,y)+4×SG(x,y)+SB(x,y)

(1)

其中SR(x,y),SG(x,y),SB(x,y)∈{0,1,2,3}，x∈{0,1···,M-1}，y∈{0,1…,N-1}，S(x,y)∈{0,1,…,63}．

1.1.2　颜色直方图构造

颜色直方图统计了图像的颜色信息分布情况，具有旋转不变性和尺度不变性．假设颜色量化后颜色矩阵S中元素总个数为n，nk是S中量化颜色值为k的元素个数．则量化颜色值为k出现的概率P(k)可用(2)式计算．

(2)

其中k=0,1,…63．最后，彩色图像的颜色直方图向量定义为Hp={P(0),P(1),…,P(63)}．

1.2　离散余弦变换系数

图像的离散余弦变换系数描述了图像不同的变换方式，系数的模描述了变换的强度[14]，低频AC系数包含了丰富的边缘和纹理信息[15]，高频AC系数包含了图像的细节信息．因此，从DCT系数中获得的统计信息能有效确定相应像素域的图像信息．本文算法使用了2个离散余弦变换系数的统计特征．第1个是DCT块中所有AC系数的均值和方差，第2个是DCT块中按Zigzag方式扫描的前9个低频AC系数．

1.2.1　DCT系数的均值-方差直方图

对于一幅M×N图像，按式(3)进行离散余弦变换．

(3)

其中u=0,1,…M-1；v=0,1,…N-1；

根据式(3)，对比DCT域和像素域间的关系，可以获得像素域的统计特征均值和方差与DCT系数间的关系如式(4)和式(5)所示[12]．

(4)

(5)

其中m1是块的一阶距，表示块的均值，m2是块的二阶距，σ2是方差，N=8表示块的大小．C(u,v)是子块的DCT系数．

(6)

其中，hmin和hmax是Hev中的最小值和最大值．

图1　原始图像Fig.1　The original image

图2　均值-方差直方图Fig.2　Mean-variance histogram

1.2.2　AC系数差值直方图

图3　Zigzag扫描方式Fig.3　Zigzag scanning mode

图4　AC系数差直方图Fig.4　AC coefficient difference histogram

均值-方差直方图反映了DCT系数的统计分布情况，描述了图像的纹理信息，但并没有考虑各系数的空间分布情况，缺少对图像边缘信息的描述．由于低频AC系数包含丰富的边缘信息，而低频AC系数集中在DCT系数矩阵的左上角．因此，如果仅考虑DCT系数的均值-方差直方图，而忽略DCT系数在各图像子块中的分布情况，会造成检索结果的漏检和误检，影响检索性能．在本文算法中，首先，将子块的DCT系数按Zigzag扫描方式重新排列，获得前9个AC系数，用AC1，AC2，…，AC9表示，Zigzag扫描方式如图3所示．然后，用一个8位进制数表示相邻系数间的大小关系，如AC1≥AC2，那么二进制数的第7位置1，否则该位置0，该二进制数称为对应子块的DCT系数分布特征值．最后，把图像的所有DCT系数分布特征值量化到64个区间，构建64维的DCT系数差值直方图Hc，Hc={hc(0),hc(1),…hc(63)}，并按式(6)方法进行归一化，得到归一化DCT系数差直方图Hcn={hcn(0),hcn(1),…hcn(63)}．图4是图1所对应的AC系数差值直方图．AC系数差值直方图描述了子块中DCT系数的空间分布情况，有效的描述了图像的局部形状特征．

2相似性度量准则

本文将颜色直方图、均值-方差直方图和AC系数差值直方图等三个直方图串联形成一个192维的特征向量作为图像的最终特征描述子．设FI={fI(1),fI(2),…,fI(192)}为图像库中某一幅图像的特征向量，FQ={fQ(1),fQ(2),…,fQ(192)}为示例图像的特征向量．那么两幅图像间的相似程度可用特征向量间的距离来衡量，距离越小说明图像间的相似性越大．本文采用式(7)的方法计算向量间的距离．

(7)

3实验及结果分析

3.1　算法适应性分析

为验证本文所提出算法对图像旋转和尺度的适应性，将待检索图像进行旋转和尺度变换处理，并把经过处理后的图像加入到测试图像库，用本文的算法进行检索实验．对图1(a)进行90°、180°、270°旋转、放大2倍后的均值-方差直方图和AC系数差值直方图分别如图5、图6所示，从各直方图可以看出，均值-方差直方图和AC系数差值直方图均具有较好的旋转和尺度不变性．图7是将图1(a)作为待检索图像返回的16幅最相似图像，实验结果验证了本文算法具有图像旋转不变性和尺度不变性．

图5图1(a)经旋转、放大后的均值-方差直方图
Fig.5After rotation and magnification of mean-variance histogram

图6　图1(a)经旋转、放大后的AC系数差直方图Fig.6　After rotation and magnification of AC coefficient difference histogram

图7　旋转、尺度变化后检索结果Fig.7　Retrieval results after rotation and scale change

3.2　算法检索性能分析

采用包含有汽车、花朵、大象等10类图像，每类图像均有100幅相似图像的Corel 1000图像库为测试图像库，库中图像大小有384×256和256×384两种形式．实验中，每类图像随机选取20幅图像作为示例图像，用查准率P和查全率R评价检索性能，查准率和查全率为

(8)

(9)

其中，NR为检索返回的正确图像数目，N为返回的所有图像数目，NS为图像库中和查询图像相似图像的总数目．表1为三种检索算法在返回图像数量N时，查准率和查全率的对比情况．图8为本文算法返回16幅相似图像的检索实例，左上角第一幅图像同时也为示例图像，图8(a)返回的16幅图像中有15幅图像与示例图像相关，图8(b)返回图像均与示例图像相关．

如表1和表2所示，在N=36时，本文算法的查准率要高于文献[13]算法13.62%，高于文献[10]算法11.71%；查全率则分别高于对比算法6.9%和4.21%．由此可见，本文算法的查准率和查全率均明显优于其它两种算法．

表1　查准率

表2　查全率

图8检索实例

Fig.8Retrieval example

4结束语

本文把图像划分为8×8图像子块，用子块的DCT系数有效的描述了图像的纹理特征和局部形状特征，并通过全局颜色直方图描述了图像的颜色信息．算法适应性实验验证了算法具有很好的旋转不变性和尺度不变性；性能对比实验表明，本文算法的检索性能要明显优于对比实验算法．

参考文献：

[1]申海洋，李月娥，张甜.基于边缘方向直方图相关性匹配的图像检索[J].计算机应用，2013,33(7):1980-1983。

[2]VIMINA E R，JACOB K P.A sub- block based image retrieval using modified integrated region matching[J].International Journal of Computer Science Issues，2013，10(1)：686-692。

[3]KARAKASIS E G，AMANATIADIS A，GASTERATOS.Image moment invariants as local features for content based image retrieval using the bag of visual words model [J].Pattern Recognition Letters，2015(55)：22-27。

[4]ALEX P，ADRIAN G.Image retrieval based on query by saliency content[J].Digital Signal Processing，2015，(36)：156-173。

[5]师文,朱学芳.基于轮廓重构和特征点弦长的图像检索[J].软件学报,2014,25(7)：1557-1569。

[6]NEZAMABADI P H，KABIR E.Image retrieval using histograms of uni-color and bi-color blocks and directional changes in intensity gradient[J].Pattern Recognition Letters，2004，25(14)：1547-1557。

[7]赵珊.DCT压缩域的图像检索[J].北京邮电大学学报,2007,30(6)：107-110。

[8]SUN W.Image corner detection using topology learning[J].The Journal of China Universities of Posts and Telecommunications，2010，17(6)：101-105。

[9]LIU G H，ZHANG L，HOUY K.Image retrieval based on multi-texton histogram[J].Pattern Recognition,2010,43(7):2380-2389。

[10]LIN C H，CHEN R T，CHAN Y K.A smart content-based image retrieval system based on color and texture feature [J].Image and Vision Computing，2009，27(6)：658-665。

[11]LIU G H，LI Z Y，ZHANG L，Y.Image retrieval based on micro-structure descriptor[J].Pattern Recognition,2011,44(9)：2123-2133。

[12]WANG X Y，WANG Z Y.A novel method for image retrieval based on structure elements’ descriptor[J].Journal of Visual Communication and Image Represention,2013,24(1)：63-74。

[13]GONZALEZ R C,WOODS R E.Digital image processing[M].New Jersey:Prentice Hall,2007。

[14]李鹏杰，杨树元.DCT域中MPEG7主色描述符的提取[J].电子与信息学报.2004，26(11)：1693-1698。

[15]刘瑞祥，赵珊，鲍泓.基于DCT域压缩的JPEG图像检索算法[J].计算机工程.2010，36(5)：225-227.

Image Retrieval Based on DCT Coefficients and Color Histogram

XIE Li,YU Sheng，CHENG Yun

(DepartmentofInformationScienceandEngineering，HunanUniversityofHumanities，Scienceand

Technology，Loudi，Hunan417000，China)

Abstract：In order to describe shape，texture and color features，this paper presents an image retrieval algorithm based on DCT coefficients statistical characteristics and color histogram.Firstly，quantize the pixel values into 64 colors，and construct color histogram to describe color feature.Secondly，divide the image into 8×8 sub-block，perform DCT on each sub-block.Lastly，according to the DCT coefficients of each block to obtain the two statistical characteristics，one is to calculate the mean and variance of each sub block DCT coefficient，and construct the mean-variance histogram to describe texture feature；the other is to construct AC coefficient difference histogram by using those front 9 AC coefficients so as to describe the local shape feature.A new image retrieval feature vector is formed by combining the color histogram with the mean-variance histogram and the AC coefficient difference histogram.Experimental results indicate that the algorithm can describe the shape，texture and color features and has higher precision and recall rate，in all，it has a better performance than other image retrieval methods。

Key words：image retrieval；discrete cosine transform；discrete cosine transform coefficients；color histogram；mean-variance histogram；AC coefficient difference histogram

通讯作者：成运(1966—),男, 博士,教授， 研究方向：视频及图像处理,E-mail:chy8370002@gmail.com．

作者简介：谢莉(1982—),女,硕士,讲师,研究方向：图像处理，模式识别．

基金项目：国家自然科学基金(61165011)；湖南省科技计划项目(2013GK3109)；湖南省自然科学基金项目(12JJ2040)；湖南省重点学科建设项目；湖南省高校科技创新团队支持计划项目；湖南省教育厅资助项目(15C0726)；湖南人文科技学院教学改革研究项目 (RKJGZ1419)

收稿日期：2015-03-10

中图分类号：TP391

文献标志码：A

文章编号：1672-7010(2015)04-0016-08