基于IA- FAIF 的纹样提取与匹配方法研究

马晓敏 冯子金 杨 烨 尚慧慧 董 免

(西安工程大学电子信息学院,陕西 西安710048)

清代龙袍是皇家织绣技艺和服饰艺术水平的最高体现,受到中国纺织史、服饰史学术界和文物界的高度关注。清代龙袍的形制在入关前就已经固定下来,但是根据等级和场合的差异,纹样却富于变化,而且龙袍纹样类型和风格演变具有鲜明的时代特征。因此,龙袍纹样的识别对探索、研究清代龙袍产生的时代背景、制作方法以及断代分析十分重要。

传世的清代龙袍实物较多,通过人工方式识别龙袍纹样的效率很低。因此,图像处理技术被广泛应用于纹样识别过程中,纹样识别的关键是寻找图像中的有效特征,特征提取与匹配的准确率与快速性直接影响识别的效果。近些年,国内外学者提出了诸多特征提取与匹配的方法,例如:2015 年,丁笑君等采用SIFT(Scale Invariant Feature Transformation)算法获取畲族服装纹样关键点,得到不同类别服装的关键点设计区域与排列顺序[1]；2017 年,曹霞等通过SURF(Speed Up Robust Features)算法对服饰花边纹理进行匹配[2]；2018 年,路凯等将提取的SIFT 关键点特征转换为视觉单词,实现不同类别纤维的鉴别[3]；但是,SIFT 算法和SURF 算法在复杂纹样的特征提取与匹配过程中耗时较大。2019 年,韩敏等采用AKAZE(Accelerated-KAZE)算法提取特征点,通过二进制描述子FREAK(Fast retina keypoint)进行特征描述,实现了图像在光照、尺度及旋转变化下精确匹配,并且特征描述过程的耗时较SIFT 算法和SURF 算法有明显缩短[4]。

清代龙袍纹样构图复杂、元素形态多样并且伴随着大量的重复和叠加；加之拍摄角度和距离不同,导致图像纹样存较大的视角差异。上述特征提取与匹配算法虽然对尺度、旋转和光照变化有一定的鲁棒性,但是难以解决大视角变化下的复杂纹样提取与匹配。针对这一问题,国内外学者们也进行了相关研究,典型成果有:2015 年,Zhao 等采用仿射不变多尺度自卷积变换提取仿射不变特征,并利用主成分分析法对特征描述子进行降维[5]。2020 年,Moyou 等将特征点投影到格拉斯曼流行中以实现特征点不同子空间划分,通过拉普拉斯- 贝尔特拉米算子计算特征点的仿射不变坐标,从而实现大视角变化下的特征提取与匹配[6]。上述方法提取的仿射不变特征对视角变化具有很好的鲁棒性,但算法复杂度较高、实时性较差。因此,在大视角变化下,快速且准确地清代龙袍纹样提取与匹配仍是一个研究热点和难点。本文提出了基于改进AKAZE-FREAK 仿射不变特征(Improved AKAZE-FREAK Affine Invariant Freature, IA-FAIF)的清代龙袍纹样提取与匹配方法,本方法对大视角变化下的纹样提取具有准确率高和快速性好的优点。

1 纹样特征提取与匹配原理框图

本文提出的基于IA-FAIF 的清代龙袍纹样提取与匹配整体分为四个步骤,如图1 所示:

图1 纹样提取与匹配实现过程框架

分别是视角变化的模拟、AKAZE 特征检测、FREAK 特征描述、匹配。图1 中,首先以一组RGB 图像作为输入,经过视角变化模拟得到一系列仿射不变图像；然后经过AKAZE 特征检测、FREAK 特征描述、汉明初始匹配和精确匹配得到对应点的匹配结果(图中直线表示匹配点的连线)。接下来,对本文方法的原理进行详细说明。

2 视角变化的模拟

在拍摄龙袍纹样图像时,不同的角度和距离会引起图像的视角变化,这种视角变化可以通过仿射变换来进行模拟。将图像u 中的某一特征点坐标记为(x,y),视角变化后的坐标记为(ax+by+e,cx+dy+f)。则这一坐标变化过程对应的仿射变换模型可描述为:

式中,(x1,y1)为视角变换后的坐标,仿射变换矩阵A=[a b；c d]是一个正定矩阵,矩阵T=[e；f]是平移矩阵。可将仿射变换矩阵A 进一步分解为:

式中,参数t 为相机光轴相对于被拍摄对象平面的倾斜程度,且能描述实际拍摄位置。θ 为被拍摄对象平面的法线与相机光轴之间的夹角(即纬度角),φ 为被拍摄对象平面与相机光轴映射平面之间的夹角(即经度角,φ∈[0,180°)),λ 为相机的变焦倍数,ψ 为相机绕光轴旋转的角度。可以看出,经度角φ 和纬度角θ 是模拟视角变化的两个关键参数。在此,通过对参数t 的采样得到对应的经度角φ 和纬度角θ,具体策略如下:

2.2 经度角φ 通过一组采样数据0,b/t,… ,kb/t(kb/t＜180°)获得,一个参数t 对应多个经度角φ。为了保证采样精度和复杂度之间的平衡,选取b=72°。

根据该策略可得到一系列的(φ,θ),将该值代入仿射变换模型(2)中可得到对应于输入图像的视角变化模拟图像。

3 AKAZE 特征检测

在模拟后的图像中进行AKAZE 算法下的特征检测,AKAZE 算法采用各向异性的非线性滤波来构造尺度空间,该算法顾及到图像局部纹理结构与细节的清晰度,通过不同程度的平滑来保留更多的边缘和细节特征,提高特征定位精度；利用加速显式扩散求解非线性扩散滤波解,进而提升计算速度,提高算法的实时性。该算法的实现可划分为:(1)构建非线性尺度空间；(2)特征点定位,具体描述如下:

3.1 构建非线性尺度空间

非线性滤波原理可通过如下非线性偏微分方程来描述:

式中,L 为图像亮度矩阵,▽为梯度算子,div 为散度函数,(x,y)为图像坐标,c(x,y,t)是扩散传导函数。当c(x,y,t)的值为1 时,非线性尺度空间就转换为线性尺度空间；当c(x,y,t)为梯度的函数时,表示各向异性扩散。传导函数的表达式如下:

式中,▽Lσ是原图像L 经过高斯平滑滤波(滤波尺度参数为σ)后的梯度图像。g 可以根据不同的处理需求进行定义。假如把图像亮度在不同尺度上的变化过程看作能量在不同时间上的扩散, 那么滤波尺度参数σ 就是流动时间t。流动时间越长,能量消耗越多、剩余越少；类似的, 滤波尺度参数σ 的值越大, 图像的表示形式就越简单。基于这一原理,非线性尺度空间的构建过程如下:

(1)对每一幅模拟后的图像重复降采样,生成O 组图像；

(2)对每组图像根据不同的滤波参数生成S 层尺度图像。假设O 和S 分别由参数o 和s 标识,则o 和s 与滤波尺度参数的映射关系如下:

式中,σ0为尺度初始值、M=O×S 为整个尺度空间的滤波图像数量。由于非线性扩散滤波模型作用在时间序列上,因此需要将像素为单位的滤波尺度参数σi转换至时间为单位的尺度参数ti:

式中,I 为单位矩阵；A(Li)为图像L 在维度i 上的传导矩阵。

由上述一系列非线性尺度空间的滤波图像构成金字塔状的非线性尺度空间。

3.2 特征点定位

在构建的尺度空间中,将每一个像素点和当前层及相邻两层周围共26 个像素点进行比较,计算不同尺度归一化后的Hessian 值,若为极大值则为特征点。Hessian 值的计算如下:

式中,σ 为尺度参数σi的整数值,Lxx、Lyy分别是输入图像进行滤波后的二阶微分,Lxy是二阶交叉微分。在检测到特征点后,采用二阶泰勒展开精确定位特征点的位置,如下:

式中,x 为特征点的位置坐标,特征点的亚像素级精确坐标为x:

4 FREAK 特征描述与匹配

FREAK 算法采用类似视网膜细胞分布的圆形网格采样模式,通过采样点对的强度比较构建二进制描述子。这种圆形网格采样模式具有采样点少和分布固定的优点,因此该描述子构建过程的快速性具有明显优势。FREAK 算法的实现可划分为:(1)采样模式的构建；(2)特征点主方向的确定；(3)FREAK 描述子的构建,具体描述如下:

4.1 采样模式的构建

以检测到的AKAZE 特征点为中心建立圆形网格采样模式,圆形区域类似于视网膜结构中的感受域,不同感受域的重叠部分可以提供更充分的信息,从而使FREAK 描述子具有更强的独特性。采样点均匀分布在以特征点为圆心的同心圆上,由于该采样模式共有七层同心圆,因此共有6×7+1 个采样点,而且越靠近中心位置采样点的密度越高。

4.2 特征点主方向的确定

为了降低噪声的影响,对采样模式中的像素点进行高斯模糊处理,高斯函数的标准差取值为圆圈的半径,然后由对称分布的采样点计算局部梯度累加和,从而获得特征点的主方向。具体实现如下:

假设G 是对称分布的采样点对集合,则局部梯度O 的可由式(1)计算得到:

式中,M为采样点对的数量,Prio(i=1,2)为采样点的位置坐标,I(PriO)为采样点的灰度值,||Rr1O-Rr2O||为采样点之间的距离。那么,特征点的主方向θ 可由式(12)计算得到:

4.3 FREAK 描述子的构建

首先,将采样区域旋转至特征点主方向,以保证FREAK 描述子的旋转不变性；然后,通过采样点对的灰度比较构建描述子F,构建公式如下:

式中,Pa为一对添加了方向信息的采样点,N 为FREAK 描述子的维度,T(Pa)为构建二进制描述子的准则:

式中,I(Pr1a)为Pa中第一个采样点经过高斯平滑后的灰度值。FREAK 采样点虽然只有43 个,但采样点对的数量可能达到几千个；而且,对于图像匹配而言,细节信息对匹配效果的影响较小。因此,只用保留差异性最大的维度。通过贪婪法对冗余信息进行剔除,最终得到512 维的FREAK 描述子。

4.4 匹配

由于FREAK 描述子是由二进制字符串组成,因此在初始匹配阶段采用汉明距离度量描述子之间的相似性。对于等长的字符串,汉明距离定义为将一个字符串变为另一个字符串需要替换的字符个数,因此计算过程简单且能够显著提升算法的匹配效率。为了进一步提高匹配的准确率,在精确匹配阶段采用随机抽样一致性算法,剔除误匹配。

5 实验研究

利用大量清代龙袍图像的实验结果表明,该方法能兼顾特征检测与匹配环节的快速性、同时具有强抗视角变化能力,实现视角变化高达85 度时正确匹配率不低于90%,特征检测平均耗时为0.315ms,特征描述平均耗时为0.207ms,特征匹配平均耗时为0.189ms。图2 是清代龙袍纹样图像存在模糊、光照变化且视角变化高达85 度时,本文基于IA-FAIF 算法的纹样提取与匹配结果。

图2 纹样提取与匹配结果

6 结论

龙袍纹样的识别对探索、研究清代龙袍产生的时代背景、制作方法以及断代分析十分重要。然而,龙袍纹样构图复杂、元素形态多样并且伴随着大量的重复和叠加；加之拍摄角度和距离不同,往往导致图像纹样存较大的视角差异。因此,本文在各种复杂因素综合影响下,通过建立视角变化模拟、仿射不变特征检测与特征描述,对龙袍纹样实现了快速、准确地提取与匹配,对纹样识别具有重要意义,在下一步的研究中将对视角变化的模拟次数进行自适应调节以达到更好的实时性。