基于视觉显著性的信封地址块定位方法

程美玲，张汉超，续晋华

（华东师范大学计算机科学技术系，上海200241）

基于视觉显著性的信封地址块定位方法

程美玲，张汉超，续晋华

（华东师范大学计算机科学技术系，上海200241）

贴条信封具有背景复杂、贴条地址块不固定等特点，传统的基于规则的地址块定位方法难以准确识别信封的背景和目标地址块。针对该问题，提出一种基于视觉显著性的贴条信函地址块定位方法。采用二值化归一梯度方法快速检测出图像中与训练地址块具有相似局部显著性分布的块状区域，作为候选区域，抽取候选区域的位置、灰度、梯度、纹理等基于外观的特征，使用协方差进行非线性融合，生成区域协方差描述子，利用支持向量机实现训练和分类。为了精确定位地址块区域中的文字，用图像签名技术计算稀疏显著性并通过高斯滤波器进行平滑。实验结果表明，该方法能快速准确定位目标地址块，平均准确率达到85.8%，比基于条件随机场的地址块定位方法高33.5%。

视觉显著性；地址块定位；区域协方差；二值化归一梯度；支持向量机

1 概述

随着我国经济的高速发展，信函和包裹的数量呈现爆炸性增长，对邮政自动化分拣系统提出了更大的挑战。邮政自动化分拣通常是采集信件和包裹的图像，通过对图像的分割与处理获取邮政编码区域和目的地址区域，再采用字符识别系统进行字符识别，从而实现自动分拣。由分拣流程可知，信函上目的地址块的定位和识别是邮政分拣机的重要组成部分，是实现信件和包裹自动分拣的关键。

直接邮递广告/邮政商业广告，是区别于传统的电视、广播、报刊、户外广告的第五大广告媒体，由于其市场定位精确、针对性强、效果显著等优势受到越来越多企业青睐。贴条信函作为邮政商业广告信函最通用的信函，使用的用户也越来越多。贴条信函与传统信函显著不同，首先邮政编码以及目的地址的位置较为随机，其次贴条信函通常采用透明塑料材质，因此，信封上的地址和信封内的广告内容相混合，使得背景更加复杂。由于传统的基于规则的地址块定位方法不能适应贴条信函的这2种特性，自动分拣机对贴条信函的分拣效率和准确率大大降低，因此研究专门针对这种具有复杂背景的贴条信函的地址块定位方法具有现实意义和应用价值。

信封的目的地址块定位方法大致可以分为2类：（1）基于候选区域的方法，即先将信封图像进行区域分割，得到若干目的地址块的候选区域，然后从中选取一个或多个最佳的区域作为定位结果；（2）直接从信封图像中提取目的地址块。Jeong等提出了一种经典的从候选集中选择最佳块作为地址块的方法：首先从阈值图像中抽取连接的成分，依次将点合并成线、将线组合成块，最后从所有的块中选择出一个最佳块作为地址块［1］。文献［2］基于分形维数提出了一种更有效的方法，该方法使用k-means方法对所有的像素进行标记，即标记成背景、噪音或者语义对象（如地址块、邮戳等）。文献［3］基于分层图着色以及图像金字塔提出了一种有效的定位方法，该方法对已有的地址块提取方法进行了折衷。文献［4］利用图像分割算法对图像进行二值化并使用形态学方法消除与地址块无关的部分。文献［5］主要使用小波分解将图像转换成基础块，将邮票、地址块等转换成标识的显著性点，该模型也取得了较准确和健壮的结果。文献［6］针对贴条信封提出了通过对像素点求横向投影的方法来确定地址行，该方法直观且易于实现，但只适用于背景简单的信封图像，对地址行的倾斜、邮戳、图片等大块污染的适应性较差。文献［7］先将信封图像转化为二值图像再经过噪声滤波等预处理后提取连通域。用模式分类的方法将非文本特性的连通域（如噪声块、图形块、图像块）去除，并由文本块合并成文本行。这类基于规则的方法难以准确识别广告信封中复杂的背景和目标，因此，本文提出一种基于视觉显著性的信封地址块定位方法（Address Block Localization M ethod Based on V ision Saliency，ABLVS），模拟人类的视觉注意机制进行地址块定位。

2 相关工作

本文方法是专门针对具有复杂背景的贴条信函提出的。首先根据贴条信封中目的地址块、发件人地址块、邮戳、邮票、广告图案等多为块状区域，并存在一定距离的特性，采用两级的检测结构即基于候选的检测框架。先通过简单、有效的特征和运算方法对图像进行快速分析，计算候选地址块。再对所有候选地址块提取精确特征，运用分类算法进行判定，从而获得目的地址块。

同时ABLVS构建了三级显著性检测机制。首先通过构建自上而下的显著性模型，选取与训练地址块具有相似局部显著性分布的区域，作为候选地址块，接着构建自上而下基于外观的显著性检测模型，包含以下步骤：提取候选地址块基于外观的特征、计算区域协方差、采用支持向量机（Support Vetor M achine，SVM）计算候选地址块的显著性；由于候选地址块具有稀疏显著性特性，ABLVS进一步构建稀疏显著性检测机制如提取图像签名、进行高斯滤波；最后进行简单的后处理，确定结果。如图1所示，ABLVS定位方法的测试流程主要包含候选块选取、特征提取、区域协方差矩阵计算、SVM分类、文字定位和后处理6个部分。

图1 基于视觉显著性的地址块定位方法流程

2.1 视觉显著性

认知心理学表明，人们在观察图像和场景时，有些区域能吸引人的注意，而这些区域含有大量的信息［8］。信封图像中的目标地址块就是这样的区域，人们往往一眼看中地址条区域，而自动忽略邮戳、邮票、广告、图案等背景信息。本文方法正是模拟人类的这种视觉注意机制进行自动化地址定位。视觉显著性检测根据是否利用目标信息分为自上而下的机制和自下而上的机制。自下而上的机制是一种非监督模型，直接通过特征分析，检测图像中与其他物体差异最大的区域即最显著的目标。自上而下的机制则和任务有关，是一种监督学习模型，在图像中寻找特定的目标。

2.2 区域协方差

区域协方差是近年来兴起的一种描述图像区域特征的描述子。最早由Tuzel，Porikli等在2006年提出［9］。区域协方差比梯度方向直方图（Histogram of Gradient，HOG）特征、尺度不变特征变换等区域描述子更加通用，可以对目标的多维特征进行非线性融合，并且对目标的形变、旋转、尺度变化都具有很强的不变性，同时对光照的变化也具有不敏感的特性，被广泛应用于目标检测和目标跟踪［10-11］、自然场景分类［12］、人脸识别［13］等领域，并取得了较好的结果。

2.3 支持向量机

支持向量机是在解决小样本、非线性及高维模式识别中表现出许多特有的优势。由于低维空间向量集难以线性划分，解决的最好方式就是使用核函数将它们映射到高维空间，得到高维空间上的分类函数。LibSVM［14］是一个开源的SVM工具包，具有运算速度快、使用灵活、易于扩展等优点，是目前应用较多的支持向量机库。

3 ABLVS方法

3.1 基于自上而下视觉显著性的候选地址块检测

现有的自下而上的视觉显著性大多只适用于简单场景，如只有单一物体。而贴条信封的背景十分复杂，地址块区域往往不是信封图像中最显著的区域，确切地说不能只利用现有自下而上模型求得显著性值较大的区域。本文认为在复杂背景下，区域的局部显著性分布（如中心显著性高，周边显著性低）比显著性的值更有意义，为方便计算，本文采用梯度绝对值度量区域的局部显著性，构建自上而下的显著性检测机制。实际上本文是利用最新的研究成果二值化归一梯度（Binarized Normed Gradient，BING）方法［15］，进行显著性计算，从而选取与训练地址块具有相似局部显著性分布的区域为候选地址块。

BING方法以简单的8×8维的二值化归一梯度为特征，采用支持向量机，计算不同尺度下图像窗口的物体完整性。而每个图像窗口只需要进行2次浮点数的乘法、一次浮点数的加法以及十几个位运算，计算速度快，每秒能处理300幅图像以上。需要注意的是本文运用的BING方法与文献［15］不同。首先文献［15］BING的提出是为了检测完整的物体，而本文用它来检测具有相似局部显著性分布的区域。文献［15］假设完整的物体是中心梯度较小周边梯度较大的区域，而本文假设目标区域是与训练集具有相似显著性分布的区域。其次文献［15］是在多类物体上进行训练以提高检测一般“完整性”的能力，而本文只在目的地址块上进行训练，以检测相似显著性分布。图2为BING方法检测出的与人工标记最接近的候选地址块（每幅图像可检测出300个左右）。由图可知，该方法得了较好的结果。而采用传统的滑动窗口（Sliding W indow，SW）机制，如大小设定为80×160像素、步长为16像素，一幅480× 640像素的测试图像的检测窗口数多达806，而且由于窗口大小、步长等参数需人为设置，自适应能力较差。

图2 基于BING的候选地址块选取

3.2 基于外观的显著性检测

3.2.1 区域协方差描述子

区域协方差具有表征区域的结构信息，可以对不同类型的特征进行非线性融合，对旋转、尺度以及亮度变化都具有有一定的不变性。本文将其作为候选地址块的区域特征描述子。对于一个大小为W× H像素的图像I，其特征图像F（x，y）定义为：

其中，φ（I，x，y）为图像中像素点（x，y）的特征向量；d为特征向量的维数。特征向量可以为像素的空间位置信息、灰度、颜色、梯度、中心-边缘特征，也可以为各种滤波器的响应值。特征向量的选择可以根据具体的任务来确定，本文采用基于外观的特征提取。

对于给定的区域R，R内的点的特征向量为μR为｛zk｝k=1，2，…，n，则该区域的d×d维的协方差矩阵定义为：

其中，n为区域内像素的个数；μR为｛zk｝k=1，2，…，n的均值向量：

本文采用区域协方差矩阵将区域内像素点的d维特征φ（I，x，y）进行非线性的融合，构成d×d维的实对称正定矩阵。区域协方差矩阵的对角线为区域内每个独立特征的方差，非对角线上的元素则表示不同元素之间的相关性。因此，区域协方差矩阵只与特征向量的维数有关，而与区域的大小无关，从而适用于由BING方法获得的大小不一的候选地址块。

3.2.2 基于外观的特征提取

为准确描述贴条信封图像的特征，式（1）中φ（I，x，y）为每个像素的位置、灰度、梯度以及纹理等特征，构成基于外观的特征描述子：

（1）位置特征

区域内每个点的横坐标和纵坐标。位置特征在区域协方差中广泛应用。它能够表征同一个区域内不同像素点之间的相对位置。由于BING方法生成的候选地址块的大小均不相同，因此位置特征是有效的。它的重要性还体现于与协方差矩阵中非对角线元素的关系上［10］。

（2）灰度特征

由于人类的视觉机制对颜色信息非常敏感，因此彩色图像中的颜色以及灰度图像中的灰度值是非常重要的特征。在信函的灰度图中，虽然存在文字、邮戳、邮票、图片等不同物体，但是相同物体的灰度值接近甚至是相同的。而且地址条通常由黑色的文字和空白区域交替构成。因此，灰度特征是非常重要的线索。

（3）梯度特征

本文采用灰度的一阶和二阶梯度，定义为：

其中，采用的模板为［-1 0 1］T，［-1 2-1］T。

（4）纹理特征

在现实世界中，各种不同的物体表面上往往具有不同的纹理，对纹理的研究也产生了很多方法，如灰度直方图、边缘直方图、灰度共生矩阵、滤波器响应等。信函图像的纹理特征也很明显，本文采用滤波器响应作为其纹理特征。所使用的9个滤波器来自于文献［16］中的滤波器库，分别是6个方向滤波器、2个中央-边缘滤波器，以及一个高斯低通滤波器。图3为所采用的滤波器及其响应示意图。从图中可以看出前6维方向特征刻画出图像各个方向的梯度信息，2个中央-边缘滤波器则刻画了中心和周边的关系，最后一个是经过高斯低通滤波后的效果图。

图3 采用滤波器的纹理特征提取

至此本文提取了4种类型的特征，分别是2维、1维、4维、9维，共16维。对每个候选地址块，先提取特征向量，再生成16×16维的区域协方差矩阵。

3.3 SVM分类

本文采用SVM作为分类器。由于区域协方差矩阵是一种实对称正定矩阵，为黎曼流形空间，传统的向量化后采用欧式距离度量的方法将破坏其结构特征，因此径向基等核函数并不适用。文献［17］提出了一种行之有效的方法：对数欧式高斯核。设S，T是正定矩阵，则对数欧式高斯核定义为：

当A为对角矩阵如A=diag｛β｝，且β＞0时，式（5）为：

在训练阶段，通过计算训练样本中人工标记获得的目的地址块的区域协方差矩阵，并采用该核函数进行训练，获得SVM分类器模型。在测试阶段，将候选地址块的区域协方差矩阵送入SVM模型进行分类，求得属于目的地址块的概率。概率越高，显著性越大，其属于目的地址块的可能性越大。

由于BING方法计算的候选地址块相互重叠以及单个候选地址块所含目标不完整等原因，本文选取SVM概率最高的5个候选地址块作为目标地址块的初步结果。

3.4 基于稀疏显著性的文字定位方法

稀疏性是注意力分布的重要特征。可以自然地假设，在地址块上，注意力会集中在文字部分，因此，求出地址块上的显著部分，也就求出了文字部分。而初步结果中的地址条区域一般为白底黑字，文字部分相对于地址块是稀疏的，即占据了一部分的高频率区域，由此，本文采用图像签名技术求出稀疏显著性，快速定位出地址块中的文字部分。

图像签名［18］利用压缩感知原理，从理论上证明了在稀疏背景条件下，利用相位谱可以把目标标注为显著区域，从而有效分离目标和背景。本文采用离散余弦变换（Discrete Cosine Transform，DCT）的符号作为图像签名的值，定义为：

再将图像签名的值求反离散余弦变化，求得重构图像：

由此显著性图Sal定义为：

由于图像签名技术求得的显著性图存在噪声、孤立点、细纹等，因此需要使用高斯滤波器进行平滑。经高斯滤波器平滑后的显著性图为：

3.5 后处理操作

为了使检测结果更加规整，本文进行了简单的后处理操作，首先去掉面积较小的孤立区域，再采用形态学的开关操作去除较小的孔洞。图4显示了一幅测试图像ABLVS定位的整个流程，其中，图4（h）中框内为检测出的目的地址区域。

图4 ABLVS地址块定位过程

4 实验结果与分析

本文采用的数据库是从中国邮政院采集到的288幅贴条信封图像。这些信件均为广告信件，采用透明塑料信封，邮戳、邮票也采用贴条形式，与目标地址块存在较大相似性，因此，加大了检测的难度。

在实验中，首先将信封平均分为两部分，分别用于训练模型和测试。其次人工标记出所有信函的目的地址区域。在训练阶段，对于每个训练图片，以人工标记的目的地址块为正样本，再随机抽取5个160× 80像素的与正样本不重合的区域为负样本。由于邮戳、邮票也多采用贴条的形式，与目的地地址具有较大相关性，为了增强对它们的辨识能力，本文增加了150个人工标记的邮戳、邮票区域为负样本。对所有训练样本，均提取基于位置和外观的特征向量，生成区域协方差矩阵，采用LibSVM［14］训练模型。

在测试阶段，对每个测试图片，采用BING方法计算候选地址块。再对每个候选地址块提取基于外观的特征向量，计算区域协方差矩阵。实验中对数欧式高斯核函数的β为0.02，高斯滤波器中σ为25。

图5展示了ABLVS算法的部分实验效果。由图可知，该算法对信封光照变化、地址条位置变化、旋转、褶皱以及邮戳、邮票等干扰信息均具有较强的适应性。这是因为区域协方差矩阵的计算和特征的顺序以及个数无关，所以对物体的形变和旋转具有较好的不变性。其次，从式（2）可知，在计算区域协方差矩阵时减去了均值分量，因而对光照等变化不敏感。从图中也可以看出，本文方法可以精确定位到地址条中的文字区域，这是由于采用了稀疏显著性的文字定位方法。

图5 本文方法实验结果

为了量化BING方法相对滑动窗口机制的优势，表1显示了ABLVS算法和基于条件随机场算法［19］的比较结果。基于条件随机场算法是采用HOG特征，通过联合训练条件随机场以及字典的方法定位目的地址块的方法。由表可知，ABLVS算法平均准确率和平均召回率分别为85.8%和84.7%，比基于条件随机场算法分别高33.5%和54.5%，具有准确率和召回率高，拒识率低的特点。这是因为一方面，ABLVS算法是专门针对具有复杂背景的贴条信封设计的，考虑了贴条信封的一些特性；另一方面协方差矩阵是将不同类型的特征进行非线性融合，而HOG则是进行线性融合。再者，ABLVS算法采用了两级检测机制，检测准确率高，而漏检率低，后者采用固定大小的滑动窗口机制，自适应能力差，且容易漏检。表1中第2行采用滑动窗口作为候选地址块，其他步骤同本文方法。从表中可以看出采用BING方法定位候选地址块效果优于滑动窗口。一方面是因为采用滑动窗口机制最终需要通过插值算法计算像素点的显著性，而BING方法检测出的候选区域反映了图像的区域显著性，它比像素点显著性更有意义。另一方面，滑动窗口没有利用训练图像的底层特征，而BING方法则考虑了训练图像的底层特征。滑动窗口人为设置窗口的大小和步长，是单一尺度，而BING方法考虑了多尺度检测。图6为2种方法实验效果的比较，ABLVS方法检测效果更好。然而，本文方法也存在着不足，如在光照过暗的情况下目的地址块和邮戳不能有效区分、地址条存在漏检等。图7为部分检测效果不佳的效果图。

表1 3种方法的实验结果比较%

图6 2种方法的实验结果比较

图7 本文方法检测效果不佳的图片

5 结束语

本文提出一种基于视觉显著性的贴条信封目的地址块定位方法。该方法模拟人的视觉注意机制，构建了3级显著性检测模型。实验结果表明，尽管贴条信封的背景信息很复杂，ABLVS方法依然取得了较好的效果，不仅能够有效提取贴条信封的目的地址块，而且能精确定位地址条中的文字区域，对信封图像中邮戳、邮票、图片以及广告文字等具有较强适应性，具有定位准确、召回率高等优点。另外该方法利用了BING方法避免了滑动窗口机制对整幅图像进行遍历搜索所带来的耗时问题。后续工作将一方面考虑对协方差的计算进行优化，进一步缩短方法时间。另一方面BING方法检测出的候选窗口大多相互重叠，因此，将考虑使用多尺度检测方法将重叠的窗口融合，以减少候选区域。

［1］ Jeong S H，Jang S I，Nam Y S.Locating Destination Address Block in Korean Mail Images［C］//Proceedings of the 17th International Conference on Pattern Recognition.Cambridge，UK：［s.n.］，2004：387-390.

［2］ Eiterer L F，Facon J，Menoti D.Postal Envelope Address B lock Location by Fractal Based Approach［C］// Proceedings of Computing Graphics and Im age.Curitiba，Brazil：IEEE Computing Society Press，2004：90-97.

［3］ Gaceb D，Eglin V，Lebourgeois F，et al.A New Pyramidal Approach for the Address Block Location Based on Hierarchical Graphcoloring［C］//Proceedings of International Conference on Image Analysis and Recognition. Montreal，Canada：［s.n.］，2007：1276-1288.

［4］ Dong Xinghui，Dong Junyu，Wang Shengke.Segmentation of Chinese Postal Envelope Images for Address Block Location［C］//Proceedings of International Conference on Advances in Visual Computing.Las Vegas，USA：［s.n.］，2009：558-567.

［5］ Menoti D，Leandro B D，Britto A S.Salient Features and Hypothesis Testing：Evaluating a Novel Approach for Segmentation and Address Block Location［C］// Proceedings of CVPR'03.Madison，USA：［s.n.］，2003：29.

［6］ 吕 岳，邬建中.窗口信函邮政编码分割与识别系统的研究和实现［J］.计算机研究与发展，1999，36（8）：988-991.

［7］ 薛君良，丁晓青，刘长松，等.中文手写信封目的地址块的定位［J］.清华大学学报：自然科学版，2000，40（1）：35-38.

［8］ 楼甜甜.基于自然场景统计特性的视觉显著性模型研究［D］.上海：华东师范大学，2011.

［9］ Tuzel O，Porikli F，Meer P.Region Covariance：A Fast Descriptor for Detection and Classfification［C］//Proceedings of ECCV'06.Berlin，Germany：Springer-Verlag，2006：589-600.

［10］ Erdem E，Aykut E.Visual Saliency Estimation by Nonlinearly Integrating Features Using Region Covariances［J］.Journal of Vision，2013，13（4）：1-20.

［11］ Hu Weiming，Li Xi，Luo Wenhan，et al.Single and Multiple Object Tracking Using Log-euclidean Riemannian Subspace and Block-division Appearance Model［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（12）：2420-2440.

［12］ Wang Liwei，Li Yin，Jia Jiaya，et al.Learning Sparse Covariance Patterns for Natural Scenes［C］//Proceedings of CVPR'12.Providence，USA：［s.n.］，2012：2767-2774.

［13］ Pang Yanw ei，Yuan Yuan，Li Xuelong.Gabor-based Region Covariance Matrices for Face Recognition［J］. IEEE Transactions on Circuits and Systems for Video Technology，2008，18（7）：989-993.

［14］ Chang Chihchung，Lin Chihjen.LIBSVM——A Library for Support Vector Machines［EB/OL］.（2014-11-15）. http：//www.csie.ntu.edu.tw/～cjlin/libsvm/.

［15］ Cheng M ingm ing.BING：Binarized Normed Gradients for Objectness Estimation at300fps［C］//Proceedings of CVPR'14.Washington D.C.，USA：IEEE Press，2014：3286-3293.

［16］ Leung T，M alik J.Representing and Recognizing the Visual Appearance of Materials Using Three-dimensional Textons［J］.International Journal of Computing Vision，2001，43（1）：29-44.

［17］ Li Peihua，W ang Qilong，Zuo Wangmeng，et al.Logeuclidean Kernels for Sparse Representation and Dictionary Learning［C］//Proceedings of ICCV'13. Sydney，Australia：［s.n.］，2013：1601-1608.

［18］ Hou Xiaodi，Harel J，Koch C.Image Signature：Highlighting Sparse Salient Regions［J］.IEEE Transactions on PAM I，2012，34（1）：194-201.

［19］ Cheng Meiling，Xu Jinhua.Address Block Localization for Chinese Postal Envelopes with Clutter Background［C］// Proceedings of the 11th International Conference on ICNCFSKD.Washington D.C.，USA：IEEE Press，2014：638-643.

编辑 刘 冰

Envelope Address Block Localization Method Based on Vision Saliency

CHENG Meiling，ZHANG Hanchao，XU Jinhua
（Department of Computing Science&Technology，East China Normal University，Shanghai200241，China）

Traditional address localization methods based on rules are difficult to accurately identify the background and target address block in envelope with cluster background due to its complicated background，not fixed position，etc.This paper presents an address block localization method based on vision saliency.It uses the Binarized Normed Gradient（BING）method to identify the candidate regions，whose local saliency maps are similar with the training blocks.Region covariance descriptors are adopted to nonlinerly fuse various low-level features，for example，pixel location，intensity，gradient and texture features.Support Vector Machine（SVM）are applied to classify the cadidate regions into address or non-address block.In order to further pinpoint the address block's text region in envelopes，it uses the image signature to compute sparsity saliency and Gaussian filter to smooth the saliency map.Experimental results show that this method can accurately locate the target address block with the accuracy of 85.8%，which is 33.5%higher than methods based on conditional random fields.

vision saliency；address block localization；region covariance；Binarized Normed Gradient（BING）；Support Vector Machine（SVM）

程美玲，张汉超，续晋华.基于视觉显著性的信封地址块定位方法［J］.计算机工程，2015，41（11）：232-238.

英文引用格式：Cheng Meiling，Zhang Hanchao，Xu Jinhua.Envelope Address Block Localization Method Based on Vision Saliency［J］.Computing Engineering，2015，41（11）：232-238.

1000-3428（2015）11-0232-07

A

TP18

10.3969/j.issn.1000-3428.2015.11.040

国家自然科学基金资助项目（61175116）；上海高校知识服务平台可信物联网产学研联合研发中心基金资助项目（ZF1213）。

程美玲（1988-），女，硕士研究生，主研方向：图形图像处理，计算机视觉；张汉超，硕士研究生；续晋华，副教授、博士。

2014-11-25

2014-12-27 E-m ail：jhxu@cs.ecnu.edu.cn