一种多源遥感影像非监督分类方法中的欠分割对象检测与拆分算法

毛婷，唐宏

(1.北京师范大学 遥感科学国家重点实验室，北京 100875；2.北京师范大学 环境遥感与数字城市北京市重点实验室，北京 100875)

0 引言

随着遥感技术的发展，当前对地观测平台可以提供小至几厘米大到几千米的多样化空间分辨率的遥感数据以满足不同空间覆盖范围和几何精度需求的对地观测任务。很多遥感卫星可以同时获取高空间分辨率的全色影像和高光谱分辨率的多光谱影像，如Ikonos、QuickBird、WorldView-2、WorldView-3、Pleiades，以及国产天绘卫星、资源三号、高分一号、高分二号等卫星[1]。但是由于卫星传感器在设计时有固定的信噪比[2]，观测目标必须具备一定的信号级别才能被传感器识别。提高观测信号级别有两种方式，一是增大收集信号的瞬时视场角，二是扩大收集信号时的光谱范围，前者会导致空间分辨率的降低，后者会导致光谱分辨率的降低。换言之，同一遥感卫星获取的全色影像和多光谱影像在地表细节刻画能力以及地物类别识别能力之间存在互补：全色影像具有较高空间分辨率，对地物纹理信息、几何结构等有较强的提取能力，尤其是对几何特征明显的人造地物有较强识别能力，其缺点是光谱分辨率低，因此对光谱相近的地物区分能力差；而多光谱影像具有较高光谱分辨率，对地物类型区分能力较高，但较低的空间分辨率导致其对地物细节提取能力较差。如何综合利用全色和多光谱影像二者优势进行地表覆盖制图是一个广受关注的问题。

当前基于全色和多光谱影像进行分类的方法主要有3种：基于数据融合技术的先锐化后分类的方法[3-4]、基于超分辨率制图技术的先分类后锐化的方法[5]，以及基于面向对象分类技术的先分割后分类的方法。其中大部分方法采取“分而治之”的策略，简单灵活且各有优势，其缺点是分类结果受锐化、解混及分割技术影响较大。Mao等[6]基于层次狄利克雷过程常见构建方式，即中餐馆连锁模型[7]，利用2个随机过程来理解基于全色影像的分割及利用多光谱影像的分类过程，提出广义中餐馆连锁模型(generalized Chinese restaurant franchise，gCRF)用于全色影像和多光谱影像的非监督分类并取得较高分类精度。其缺点在于：由于全色影像光谱分辨率的限制，使得广义中餐馆模型中得到的分割结果易出现欠分割现象，从而降低最终分类精度。本文对gCRF中的欠分割对象进行检测并对检测出的欠分割对象进行拆分，得到更适宜于分类的中间语义分割体来改善最终分类结果。

1 广义中餐馆连锁模型

较传统中餐馆连锁模型只能应用于单一数据而言，gCRF将中餐馆连锁模型中的2个随机过程推广用于解释全色影像和多光谱影像的概率生成过程，分别从全色影像中得到语义分割体并利用多光谱影像对该语义分割体进行聚类，充分利用了全色影像高空间分辨率和多光谱影像高光谱分辨率的优势进行分类。本章先对gCRF用于全色和多光谱影像非监督分类的原理进行介绍，然后分析其存在的欠分割问题。

1.1 融合全色和多光谱影像的非监督分类

gCRF有如下隐喻：假设有多个餐馆共享一个菜单，有两批顾客分别用“白色超顾客”和“彩色超顾客”来表示。对于每个餐馆，首先某个白色超顾客进入餐馆，根据正比于桌子上已有的超顾客人数的概率选择一个桌子，或是以先验概率选择一个新的桌子入座；待所有白色超顾客入座完毕后，所有白色超顾客由其对应的彩色超顾客来替代，每个桌子上的菜由彩色超顾客来决定，选择哪个菜正比于该道菜在所有餐馆中已经被点过的次数，或者也可以依据先验概率选择一个新的菜。gCRF及遥感影像分类词汇之间的对应关系如表1所示。

表1 gCRF和遥感影像分类词汇对照表

gCRF融合全色和多光谱影像进行分类的示意图如图1所示，详见文献[6]。gCRF通过选桌子和选菜[6]2个随机过程，分别实现基于全色影像获取语义分割体及基于多光谱影像为语义分割体分配类别标签：

1)选桌子。选桌子阶段每个白色超顾客根据公式(1)选择桌子，其中符号表示在该集合/统计量中不考虑其后下标表示的个体，如：T表示去除第i个餐馆第j个白色超顾客的统计后桌子的集合。

(1)

(2)

式中：γ为先验参数。

2)选菜。在所有白色超顾客都入座后，用与之对应着同样地理位置的彩色超顾客对之进行替代，换言之，每个桌子上彩色超顾客负责为该桌子点菜。即对于基于全色影像的超像素得到的每个语义分割体，用相同地理位置的多光谱影像的超像素值基于下式确定其聚类类别：

(3)

图1 gCRF融合全色和多光谱影像分类示意图[6]

1.2 存在的问题

全色影像较之于多光谱影像而言具有更高空间分辨率，可以提供更多地物的细节信息，因此在gCRF中用它来得到语义分割体。而全色影像光谱分辨率较低，相对多光谱影像而言“同谱异物”的现象更多，导致其在区分地物类别时能力较弱。在全色影像光谱值相近时gCRF桌子选择阶段得到的语义分割体会出现类别混淆的情况，即一个分割体内部包含大于一种地物类别，也就是“欠分割”现象。由于每个分割体分类时会被赋予一个类别标签，因此在后续分类过程中包含多种地物类别的欠分割对象会导致较低的分类精度，且欠分割对象造成的分类误差是无法被纠正的[8]。本文针对gCRF存在的欠分割问题，对其中间分割结果中的欠分割对象进行检测并将其拆分为包含同一地物的较小的分割体，以提高模型最终分类精度。

2 欠分割对象的检测及拆分

针对gCRF模型在基于全色影像获取语义分割体时候存在的欠分割问题，本文提出了分割体异质性指标以筛选出包含2个及以上地物类别的分割体，即欠分割对象；对于欠分割对象引入基于多光谱影像获取的语义分割体来提供边缘信息对其进行拆分，得到更为准确的分割图以供后续分类。

2.1 基于异质性指标的欠分割检测

全色影像的高空间分辨率一方面使得其可以提供地表覆盖更丰富的空间细节信息，另一方面，其较低的光谱分辨率会导致其对地表类型的识别能力较之多光谱而言较弱，因此更容易出现误将不属于同一个地物的像素划分至一个分割体中的“欠分割”现象。为找出潜在的欠分割对象，基于以下假设，本文提出分割体异质性指标：①合格的分割体内部应只包含一种地物，其内部的超像素两两光谱距离较小；②欠分割对象内部包含2种及2种以上地物，其内部超像素两两光谱距离较大。本文用多光谱影像4个波段像素值的均值msj=(msj，1，msj，2，msj，3，msj，4)作为第j个超像素的特征，其中msj，b为第j个超像素中所有像素第b个多光谱波段的光谱均值。本文定义第t个分割体的异质性指标(heterogeneous index，HI)如下：

(4)

式中：St表示第t个分割体内包含的所有超像素的集合；i，j为超像素编号。

由于不同类别的观测值光谱差异较大，因此对于不同类别的分割体欠分割检测设置不同阈值。基于类别的欠分割对象的检测方式如下：首先，统计当前图像中第k个类别的异质性指标HI的阈值thresholdk，认为该类别下HI大于thresholdk的语义分割体更有可能包含多种地物，将其归于“欠分割对象”。第k个类别的阈值thresholdk定义为：

thresholdk=mean(HIk)+ratio*std(HIk)

(5)

式中：HIk表示当前类别标签为k的所有语义分割体的异质性指标的集合，在本文2个研究区的实验中ratio均根据经验设为1.5。对于每个语义分割体，首先根据上次迭代的分类结果判断其大致类别k(赋予该分割体其内部像素个数最多的类别的标签)，比较该语义分割体的HI是否大于该类别下的阈值thresholdk，若大于该阈值则判断其为欠分割对象。

2.2 欠分割对象拆分

对于检测出的欠分割对象，基于多光谱影像得到的分割体边界作为其拆分依据并对欠分割体进行拆分。

1)获取欠分割对象拆分依据。由于多光谱影像空间分辨率较较低，一方面，直接利用多光谱影像得到语义分割体较之基于全色影像得到的分割体具有较少的空间细节信息，另一方面，其丰富光谱信息有助于区分不同地物。因此在gCRF利用全色影像获取语义分割体的同时，利用相同的方式基于多光谱影像获取分割体，并基于多光谱影像得到的分割体来提供边缘信息对gCRF中全色影像的语义分割体中的欠分割对象进行拆分。多光谱影像的语义分割体获取同公式(1)、公式(2)，将其中的全色影像数据替换为相应多光谱影像数据，即：

(6)

(7)

式中：γ′为先验参数。

2)欠分割对象拆分。根据公式(6)、公式(7)基于多光谱影像获取的语义分割体可作为欠分割对象的拆分依据。对于基于HI所提取出的欠分割对象，根据其内部多光谱影像语义分割体的边界将其分为多个小的分割体，拆分原理如图2所示。由于多光谱影像具有较高的光谱分辨率，可以更好地区分地物类别，根据多光谱影像所获取的分割体可以提供较之全色影像更为准确的分割体边界，因此通过拆分获取的小的分割体欠分割现象可得到有效减少，能够有效降低欠分割引入的后续分类误差。

图2 欠分割对象拆分示意图

2.3 改进后模型算法

改进后模型用于全色和多光谱影像分类算法流程图如图3所示。包括：

1)预处理。利用易康软件基于全色影像得到超像素，并对多光谱影像进行上采样使之与全色影像具有相同的空间分辨率；利用同样的划分方式将全色和多光谱影像划为多个子图像，具体见文献[6]。

2)模型推导。改进模型在gCRF每次模型选择桌子和选择菜的过程中引入欠分割对象的检测和拆分，改进后每次模型迭代过程如下：

①获取语义分割体(选桌子)：根据公式(1)、公式(2)获取全色影像的语义分割体，根据公式(6)、公式(7)获取多光谱影像的语义分割体。

②欠分割对象检测及拆分：首先利用计算每个语义分割体的异质性指标HI及每类的阈值，选择出欠分割对象，继而对欠分割对象进行拆分，得到更适宜于分类的分割体，具体见第2节内容。

③获取语义分割体的类别标签(选菜)：根据公式(3)，利用多光谱影像为拆分后的全色影像的语义分割体分配类别标签。

3)分类。采样收敛后，利用最大后验概率估计得到最终分类结果。

图3 改进后的gCRF模型算法流程图

3 实验结果和讨论

3.1 数据和评价方法

本文选择2个研究区进行实验：研究区1为中国北京密云郊区天绘1号卫星影像，全色影像大小为1 200像素×1 200像素，分辨率为2 m，多光谱影像分辨率为10 m；研究区2为中国徐州城镇区域资源3号卫星影像，全色影像大小为1 000像素×1 000像素，分辨率为2.1 m，多光谱影像分辨率为5.8 m，2个研究区影像及地表真实值见图4。

图4 数据及地表真实值

作为模型中间结果，分割体质量直接影像最终分类精度。分割体评价指标采用“区域重叠标准(overlap criteria，OC)”[8]，计算公式为：

(8)

式中：Ri表示真实标定的区域；Sj表示分割结果中的分割区域；OC越大表征分割结果越好。此外，采用Kappa系数、总体熵分类结果进行评价[9]。其中，Kappa系数可能取值为0～1，Kappa越大表示分类精度越高。总体熵(overall entropy，OE)可用来评价分割体聚类结果与地表真实分类之间的一致性，总体熵越小，分类结果越好。本文基于2个研究区，比较改进后算法相对于改进前性能是否提升。此外，还与gCRF原文献对比方法中分类精度较高的实验结果[6]进行对比，即基于SVM的监督分类方法，包括：对全色锐化后(Gram-Schmidt)的影像采用监督SVM进行分类的方法(SVM_GS_PIX)、基于全色影像的分割体利用SVM进行分类的方法(SVM_MS_SEG)，gCRF的对比方法及其结果参考文献[6]。

3.2 定性评价

算法改进前后2个研究区的分类结果分别见图5和图6。图7为算法改进前后2个研究区分割结果对比。以研究区1(郊区)为例，改进后的分类结果相对于改进前而言既保留其细节，又通过减轻模型中间分割结果的欠分割问题而改善算法最终分类结果，分类图中其准确程度略逊于利用全色锐化后影像基于像素采用SVM的分类方法，但后者“椒盐”效应较为明显；研究区1影像中改进后算法分类结果亦优于SVM_MS_SEG的方法，因后者的分类精度直接受输入的分割体以及基于分割体所提取的特征影响，这里仅采用了多光谱影像光谱值的均值作为每个分割体的特征，因此分类精度较差。表2为研究区1影像中算法改进前后分割及分类结果局部对比图。区域1中，改进前模型由于全色影像水和植被灰度值接近，因此中间分割结果中误将部分水和植被分为同一个分割体，导致最终分类效果不佳；改进后模型通过对欠分割对象的检测和拆分克服了这一问题，得到的分类结果更加接近地表真实值；此外，区域2中，改进前算法中间分割体图中的部分道路和建筑误分为一个分割体，此处误分同样在改进后算法结果中得以避免，最终得到更接近地表真实类别的分类结果。同样，对于城区影像而言，改进后gCRF目视检查来看要优于gCRF及其他方法，见图6。

图5 算法改进前后分类结果(研究区1)

图6 算法改进前后分类结果(研究区2)

图7 算法改进前后分割体图

表2 算法改进前后分割及分类结果局部对比(研究区1)

3.3 定量评价

针对2个研究区，算法改进前后以及其他对比方法中间分割评价指标区域重叠指标(overlap criteria，OC)、分类结果定量评价指标Kappa系数、总体熵(OE)见表3和表4。对于研究区1而言，改进后，算法中间结果(分割结果)区域重叠指数由0.79提高到0.85，分割质量得到改善；此外，算法改进后，Kappa系数增大，总体熵减小，表示改进后算法针对该研究区的最终分类质量得以提高。对于Kappa 系数和 OE而言，定量比较结果与目视检查结果一致，改进后算法结果除略差于SVM_GS_pix后，优于其他3种方法；同样，改进后针对资源3号卫星城镇区域的影像(研究区2)实验结果相对于改进前算法在OC、Kappa系数以及OE都得到改善，且Kappa系数和OE要优于其他对比方法(除了OE略低于SVM_GS_pix的OE)，证明改进后算法分类性能较好且相对于改进前算法得到有效提升且基本优于所选基于SVM的分类方法。

表3 算法改进前后定量评价(研究区1)

表4 算法改进前后定量评价(研究区2)

综上，无论从定量还是定性角度，改进后算法相对改进前分类算法得到有效提升，且媲美甚至优于监督的SVM分类方法。

4 结束语

本文针对gCRF模型中融合全色和多光谱影像的分类方法中存在的欠分割问题，提出欠分割对象的检测和拆分方法，具体包括：提出基于多光谱影像的异质性指标HI，基于多光谱影像引入欠分割体拆分依据，并基于拆分依据对检测出的欠分割对象进行拆分。通过欠分割对象的检测与拆分来提高gCRF模型中间结果即语义分割体精度以提高模型最终分类精度，并经由实验证明改进方法的可行性和优越性。本文提出的对欠分割对象的检测和拆分方法也可推广到其他图像分割算法，进一步提高分割和面向对象分类结果的精度。此外，本文对欠分割对象进行识别异质性指标定义仅基于多光谱影像光谱值，在今后研究中可以引入如纹理等其他特征进行更精确的检测和识别。