结合点云纹理信息的快速点特征直方图描述子算法

莫海军 陈杰 王顺栋

(华南理工大学 机械与汽车工程学院,广东 广州 510640)

在三维点云数据处理技术中，特征描述子的检测和描述能力直接影响着后继的点云配准、识别定位等环节，使用合适的特征描述子进行特征提取往往能够取得更好的效果[1- 2]。因此，如何运用点云的形状和纹理信息进行高效率的特征提取是一个很有意义的研究课题[3]。

点云特征描述技术发展至今已有多种多样的局部特征描述子。在基于空间分布直方图的局部特征描述子方面[4]，Frome等[5]提出三维形状上下文(3D Shape Context,3DSC)描述子，将特征点的领域划分为三维球形网格，并统计栅格内的点云数量得到特征信息;Tombari等[6]对3DSC描述子进行拓展，提出了唯一形状上下文(Unique Shape Context，USC)描述子，该描述子可避免对同一特征点生成多个特征描述;Guo等[7]提出旋转投影统计(Rotational Projection Statistics，RoPS)描述子，将局部曲面点云投影到3个坐标平面后通过统计特征点的分布情况获取特征信息；后来Guo等[8]又提出了TriSI(Tri Spin Image)描述子，该描述子可以有效地表示在柱面坐标系下点的分布情况。

在基于几何属性直方图的局部特征描述子方面，Rusu等[9]提出了点特征直方图(Point Feature Histograms，PFH)描述子及其改进版本快速点特征直方图(Fast Point Feature Histograms，FPFH)[10]描述子，后者的计算复杂度更低，且直方图维数小,便于后期特征匹配;Tombari等[11]提出的方向直方图签名(Signature of Histogram of Orientations，SHOT)描述子，采用签名和直方图的混合结构，使其描述能力和鲁棒性更强。

大多数特征描述子都只是对点云形状进行特征描述，能够同时对形状和纹理信息进行特征提取的描述子不多[12- 13]。Rusu等[9]在PFH描述子的基础上进行拓展提出PFHRGB描述子，但该描述子也存在一些缺点(形状描述方面计算复杂度较大且对噪点及点密度敏感;纹理描述方面是根据RGB色彩空间计算，对纹理的差异描述不够充分);Tombari等[14- 15]根据SHOT描述子拓展其纹理描述能力提出了CSHOT描述子，但由于直方图维数较大，导致在描述子匹配时计算负荷大;Andrei等[16]提出的Mesh-HoG主要用于描述均匀的三角网格，通过平均曲率和颜色来计算描述子，由于计算平均曲率导致受噪点及点密度影响明显，且与前者比计算效率低下。

本研究根据快速点特征直方图描述子算法，提出一种能够结合点云形状及纹理信息的新型特征描述子FPFHCOLOR，同时对点云形状与纹理信息进行特征编码，提高特征描述子的描述及检测性能，并通过特征匹配试验和点密度变化试验对该描述子的性能进行验证。

1 结合点云形状与纹理信息的特征描述子

构建特征描述子的主要思路是分别对点云形状信息和纹理信息进行编码，通过分类统计的方法将编码结果放入对应子区间，生成多维的形状特征直方图数据和纹理特征直方图数据，最后将两者连接合并获得FPFHCOLOR特征描述子。

1.1 形状特征直方图的构建

对点云形状进行特征提取的描述子算法很多，文中选用快速点特征直方图(FPFH)描述子算法进行点云形状信息的特征提取。

1.1.1 邻域空间拓扑结构

图1 FPFH邻域空间拓扑关系示意图

1.1.2 构建空间特征直方图

(1)

SPF直方图中分别对点对空间属性度量f1、f2、f3构建一个分量直方图，将每个点对空间属性度量的值域分为10个区间，即该度量的分量直方图维数为10+1=11，然后将这些分量直方图连接起来即得到SPF，最终获得长度为11*3=33维的特征直方图;最后通过式(1)加权计算得到FPFH直方图。

1.2 纹理特征直方图的构建

基于点云纹理信息构建直方图式描述子首先计算纹理属性度量两部分内容，然后通过点云邻域信息构建纹理特征直方图。前者关乎该直方图描述子的特征描述能力，后者决定着其特征区分能力和匹配效率。

1.2.1 点对纹理属性度量

为了尽量多的从点云纹理中获取描述信息，采用CIELab色彩空间[17]进行纹理值量化，该色彩空间用L、a、b 3个分量来描述色彩，其中L代表亮度，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量。CIELab色彩空间可以对色彩亮度进行量化，比RGB色彩空间在感知上更统一，色域更广且可避免设备影响。

(2)

与计算点对形状属性度量不同的是，点对间的纹理值不具有空间上的拓扑关系，因此主要通过计算点对间纹理值的差异作为点对纹理属性度量。首先，可以计算两点间纹理值的L1范数来衡量其纹理差异，亦即计算两点纹理值的绝对误差和SAD：

(3)

本研究选取向量的L2范数来计算点对纹理属性度量T进行后文的对比试验，也就是两向量间的欧氏距离De，即：

(4)

采用CIELab作为色彩空间时，不但可以使用上述L1和L2范数计算纹理属性度量，根据文献[17]提出的色彩差异计算方法CIE94，从亮度等维度计算色差能够使整个色彩空间的色差在感知上一致，保证色差值的准确性,其计算公式如式(5)；国际照明委员会在CIE94的基础上进行改进，提出了CIE00色差改进计算方法[18]，其计算公式如式(6)：

(5)

(6)

式中:ΔE94为CIE94总色差；ΔE00为CIE00总色差；ΔL*、ΔC*、ΔH*分别为明度差、彩度差、色相差；kL、kC、kH为参数因子，调整偏离参考条件色差的明度、色度和色相分量的相对权重；SL、SC、SH为权重函数，校正色彩空间的均匀性；RT为旋转函数，校正色彩空间蓝色区域容差椭圆主轴方向的偏差。

根据上述点对纹理属性的色彩空间与计算方式的选择；当选择CIELab色彩空间时，有L1范数L1(Lab)、L2范数L2(Lab)、CIE94(Lab)和CIE00(Lab)4种点对纹理属性度量的计算方式。在后文试验部分，将会对这4种计算方式进行试验比较。

1.2.2 评估纹理属性度量的差异性

为了评估点对色差作为纹理属性度量是否具备特征提取的差异性，生成如图2(a)中的红、黄、蓝、绿四色点云数据，因该四色差异在点云数据中比较有代表性，故采集如图中分布的p1-p55个样点及其K-邻域，其中K设置为100，并计算样点与其K-邻域中各点的CIE00(Lab)点对纹理属性度量值，将其分为20个区间进行统计获得简易纹理直方图分布如图2(b)所示。最后采用KL距离[9](Kullback-Leibler Distance)来评估5个样点直方图的差异性，并绘制差异示意图如图2(c)，其中若两直方图差异越大，则其颜色越深。

图2 色差作为纹理属性度量的差异性评估

(7)

由图2(b)可见，各样点邻域的色彩纹理不同，其计算所获得的直方图也分布在不同的区间，且色彩纹理相同但该色彩领域点数量不同时其区间值也不同。由图2(c)可见，各样点之间的KL距离基本上能保持在明显差异(深灰色)的值域内，表征着所采样的5个样点简易纹理直方图之间均具有良好的差异性，该差异性为后继的特征匹配提供了良好的基础。采用色差作为纹理属性度量可将三维的纹理值降为单值，便于统计直方图的差异性，同时提取色差值作为点对纹理属性度量具有共性，能够突出关键的纹理特征差异，避免了在统计过程中因信息冗余导致削弱需要突出的纹理差异性。

1.2.3 构建纹理特征直方图

(8)

为了提高纹理属性度量在匹配时的区分度，文中将纹理属性度量T在归一化后分为30个区间，即初始纹理特征直方图ICFH(·)与纹理特征直方图CFH(·)的维数都为30+1=31。式(9)表示初始特征直方图ICFH(pq)第j维的值，等于pq点K-邻域中T的值处于[Tj,Tj+1]区间内的个数，再乘以邻域系数Δk的累加和；其中[Tj,Tj+1]表示当T位于该区间则为1，否则为0。邻域系数Δk由pq点的邻域内点数K值的大小决定，其目的在于一定程度上消除由于K取值和点密度变化导致的特征描述子差异，Δk的计算公式如式(10)所示。

(9)

(10)

1.2.4 纹理特征直方图的点密度变化性能评估

再以图2(a)中p1点作为样点，对其邻域进行降采样获得4种点云密度(ρ=1,2,4,6 cm)的点云(文中的点云密度定义为点云中各点与其最近邻点的平均距离值)，并使用相同邻域半径(r=10 cm)计算获得该样点4种点云密度的纹理特征直方图如图3所示。由于直方图邻域结构和邻域系数Δk的作用，加权计算后使特征点的纹理直方图总和为200，因此该纹理直方图在点密度变化但纹理分布不变的情况下可获得大致相同的纹理直方图，对点密度变化的鲁棒性强。

图3 不同点密度下的纹理直方图

1.3 构建结合点云形状与纹理的特征直方图

根据式(11)，将前文中的33维形状特征直方图与31维纹理特征直方图连接，最终FPFHCOLOR描述子构建为33+31=64维的特征直方图，如图4所示。

图4 FPFHCOLOR特征直方图

FPFHCOLOR(pq)=FPFH(pq)∪CFH(pq)

(11)

2 试验验证

通过模型与场景的特征匹配试验和点密度变化试验，对上述构建的多种FPFHCOLOR描述子进行测试验证，并与现有的3种描述子算法(FPFH、PFHRGB、CSHOT)比较，分析文中提出的描述子算法的性能。

2.1 试验过程

文中算法的验证试验基于点云库(Point Cloud Library，PCL)[19]。首先采用CVlab实验室的Bologna数据集[16]进行匹配试验，验证FPFHCOLOR描述子的特征提取和匹配性能；再对该数据集进行降采样匹配，验证FPFHCOLOR描述子在点密度变化场景中的性能；最后，运用实景点云数据集进行匹配试验，测试FPFHCOLOR描述子在实景点云数据中的性能。试验算法如图5所示。

图5 特征匹配试验算法流程

在给定的模型点云和含有模型的遮挡与干扰的场景点云中，采用均匀采样(Uniform Sampling，US)算法[20]对模型点云和场景点云提取关键点。运用各特征描述子算法对模型与场景关键点进行特征提取。特征提取完成后，计算每一个模型关键点的特征描述子与所有场景关键点描述子的距离。提取场景中的最近欧式距离Dh1和次近欧式距离Dh2的关键点描述子，并计算两者的比值Dh1/Dh2；当该比值小于预先设定的匹配阈值α时，认为该模型关键点描述子与该最近场景关键点描述子构成匹配关系，否则认为无匹配关系[1,11,21]，最后通过遍历算法完成匹配筛选，获得符合条件的匹配点对集。

对匹配点对集的正确性进行验证，通过模型与场景的真实空间变换关系对匹配点对集中的模型关键点进行转换计算获取其在真实场景中的对应点，并计算真实场景对应点与匹配场景对应点的欧氏距离De，当De小于预先设定的距离阈值β，即De<β时，则认为该匹配点对为正确匹配，否则视为错误匹配。

采用不同的匹配阈值α和距离阈值β会直接影响召回率与精度，其中匹配阈值α的设定值在0～0.8之间，距离阈值β由点云模型的大小或平均密度ρ确定，设定值为点云模型包围盒最短边距离l的十分之一(l/10)或十倍点云密度(10ρ)中的小者,即β=min(l/10,10ρ)，保证距离阈值相对于点云模型大小和密度处在合理的范围内。将α进行15等分后和β组合为15组阈值参数，通过调整匹配阈值α观察其匹配精度和召回率的变化，保持β相对不变的目的是保证匹配验证结果精度的一致性[15]。通过这15组阈值参数绘制各特征描述子的精度-召回率(P-R)曲线，分析各描述子的性能。

2.2 Bologna数据集匹配试验

选用Bologna数据集中的Dataset 3和Dataset 4进行试验验证[16]，该数据集的点云都具有彩色纹理信息，场景点云中具有较多的遮挡干扰和姿态变换；且每个模型与场景之间都提供了真实的空间变换关系，便于试验验证。Dataset 3中包含8个模型ply文件，15个场景ply文件，如图6(a)所示，主要由一些玩具(如马里奥模型等)组成；Dataset 4中主要由一些圆柱形饮料罐子组成，共有8个模型ply文件以及16个场景ply文件，如图6(b)所示。

图6 Dataset 3和Dataset 4的模型场景示例

2.2.1 Dataset 3数据集匹配试验

对Dataset 3数据集进行匹配试验测试，统计各特征描述子在特征提取和特征匹配阶段消耗的时间，结果如表1所示；并绘制各特征描述子的P-R曲线，如图7(a)所示。 同时，为了更直观地评估纯纹理特征直方图CFH单独使用时的特征提取与匹配性能，选择图7(a)中性能最好的CIE00(Lab)特征描述子中的纹理特征直方图作为CFH描述子展开对比试验，绘制P-R曲线，如图7(b)所示。其中P-R曲线中精度定义为正确匹配点对数量与所有匹配获得的匹配点对数量的比值，召回率定义为匹配获得的正确匹配点对数量与所有实际存在的正确匹配点对数量的比值。

观察图7(a)的P-R曲线可知，总体上无论采用何种纹理属性度量，FPFHCOLOR描述子的特征匹配性能都比FPFH描述子有所提高，这也证明了文中提出的结合纹理信息的FPFH特征描述子可以提高特征提取和匹配能力，且其性能与PFHRGB、CSHOT描述子接近。研究还发现，L1范数描述子的表现都要比L2范数描述子好，体现了L1范数的稀疏特性及其特征选择优势。对比采用CIE94色差和CIE00色差的特征描述子可发现，CIE00特征描述子的匹配表现要更加好一些，这也验证了文献[18]中改进的色差计算方法CIE00的优越性。

图7 Dataset 3匹配试验的P-R曲线

由图7(b)可见，CFH描述子单独使用时，其召回率和精度较之于FPFH描述子要低一些，主要是由于CFH描述子的点对纹理属性度量为单值标量且维度较低，导致在点云纹理差异不大的情况下易发生误匹配。但在CFH描述子与FPFH描述子组合成FPFHCOLOR描述子后，点对的纹理与形状信息均已纳入特征直方图中，FPFHCOLOR描述子的特征提取效率与匹配性能在纹理点云匹配试验中大幅提升。

不同描述子的计算时间如表1所示。分析表1可知，与PFHRGB及CSHOT描述子相比，FPFHCOLOR系列描述子在特征提取耗时上有着倍数上的优势；且由于FPFHCOLOR系列描述子的直方图维数低，在特征匹配耗时上更有着数量级级别的优势。较之于FPFH描述子，因增加纹理描述功能后计算复杂度随之增加，FPFHCOLOR系列描述子的特征提取时间和匹配时间都有所增加，其中CIE00(Lab)描述子的特征提取时间最长，约为FPFH描述子的两倍，主要是由于纹理信息从RGB色彩空间转换到CIELab色彩空间需要消耗一定时间，同时CIE00色差较之于L1(Lab)色差等的计算复杂度较高也需要消耗不少时间。

表1 不同描述子的计算时间

2.2.2 Dataset 4数据集匹配试验

与Dataset 3数据集不同的是，Dataset 4数据集的模型都为圆柱形物体，场景中也大多为存在遮挡的圆柱形物体，形状相似但表面纹理不同(如图6所示)；这种情况下进行特征匹配试验考验特征描述子的纹理提取与区分能力。选择上一步试验中综合表现较好的CIE00(Lab)作为FPFHCOLOR描述子，在Dataset 4数据集上与FPFH、CSHOT、PFHRGB描述子展开对比试验，绘制P-R曲线如图8。

图8 Dataset 4匹配试验的P-R曲线

观察图8中的P-R曲线可发现，FPFH描述子在这种情况下进行匹配试验时性能较差，匹配精度大为下降，主要是因为FPFH描述子只对形状信息进行特征提取，在环境中存在形状相同但纹理不同的干扰时导致大量的误匹配。选取结合了纹理信息的3种特征描述子与Dataset 3的匹配实验结果对比发现，同等匹配精度水平下召回率下降大概5个百分点，同等召回率水平下匹配精度下降大概9个百分点，其主要原因是因为点云形状类似增大了匹配难度，但整体趋势上来看匹配精度与召回率表现良好，匹配能力没有过大的波动。通过此试验验证了采用纹理信息后，FPFHCOLOR描述子可适用于形状和纹理信息都需要考虑的点云场景。

2.3 点密度变化性能分析

在实际环境当中采集的点云数据通常会伴有噪点和点密度变化的问题。为了验证文中提出的FPFHCOLOR描述子在点云密度变化情况下的匹配性能，进行点密度变化试验。

采用Dataset 3进行点密度变化试验，保持模型点云密度不变，对场景点云进行1/2、1/4和1/8降采样后进行特征匹配。选择CIE00(Lab)作为FPFHCOLOR 描述子与FPFH，CSHOT，PFHRGB描述子展开对比试验，其中各描述子进行特征提取的r-邻域相同。绘制P-R曲线如图9所示。

通过图9可知，在对场景点云降采样后，图中的4种描述子的召回率及精度都存在下降的现象，且在1/4和1/8采样中CSHOT描述子和PFHRGB描述子的P-R曲线从上凸变为下凹，匹配性能急剧下降；而FPFHCOLOR描述子的曲线只有小幅下降，其中主要原因是FPFHCOLOR描述子对点云形状进行特征提取时，特征描述的空间拓扑半径最大可达到预设半径r的两倍；同时在计算纹理特征直方图时引入邻域系数Δk，使计算所得的直方图对点密度有一定的不变性，因此在点云密度变化时，FPFHCOLOR描述子综合了FPFH描述子和纹理描述的优点，更能够维持其特征描述和匹配性能。

图9 点密度变化匹配试验的P-R曲线

2.4 实景数据集测试试验

考虑到算法要能够经受实际情景的检验，根据实景数据集开展匹配试验。本研究使用的实景数据集分为小实景数据集和大实景数据集，其中小实景数据集使用Realsense D435i深度相机采集实景数据并建立数据集，包含16个模型、10个无遮挡场景及20个有遮挡场景；由于Realsense D435i相机在距离较大时所采集的数据失真严重，因此大实景数据集采用普林斯顿大学视觉和机器人实验室的SUN3D数据集[22]，该数据集中共有415个室内场景的点云数据，文中挑选其中纹理组成比较丰富的30组室内实景进行匹配试验，部分模型和场景如图10所示。

图10 实景数据集示例

2.4.1 小实景数据集匹配试验

为了更加接近点云匹配时的实际情况，在进行实景点云匹配试验时采用SIFT3D[23]和ISS3D[24]两种关键点检测算法，这两种算法具有良好的旋转平移不变性和可重复性。SIFT3D在提取关键点时具有灰度相关性，可以检测到点云纹理信息丰富的关键点；ISS3D算法不受点云纹理影响，提取的关键点能够显著表达表面特征，P-R曲线如图11所示。

分析图(11)中的P-R曲线可发现，各描述子的性能表现与Dateset 3匹配试验中接近。由于SIFT3D算法检测的关键点与点云灰度相关，且灰度变化区域关键点密集，对比图11(a)和图11(b)可发现，在同等精度情况下，采用SIFT3D算法时的整体召回率要比采用ISS3D算法高8个百分点左右；又因为ISS3D算法检测的关键点可以很好地表征点云形状且不聚集，在同等召回率情况下其整体精度比采用SIFT3D算法时高6个百分点左右。且可发现，无论采用SIFT3D算法还是ISS3D算法，其中表现最好的特征描述子都是FPFHCOLOR，原因是采集到的实景场景点云密度大概为实景模型点云密度的2/3，这同时也验证了点密度变化匹配试验的结论。

2.4.2 大实景匹配试验

对大实景数据集中的30个场景模型使用旋转和平移坐标变换，获得匹配试验目标点云数据，并对源点云数据进行直通滤波和去除离群点，匹配方向是源点云向目标点云进行坐标变换。在本节的实景场景点云匹配试验中，直接采用SUN3D数据集自带的关键点进行各算法的特征提取，绘制P-R曲线如图12所示。

图12 大实景数据集匹配试验的P-R曲线

分析图12可发现，在大场景点云数据匹配试验中，各算法的整体性能与小场景数据集匹配试验大致相同。较之于小实景数据集匹配实验结果，大场景中各算法的召回率均有所提高，这主要是因为数据集多为室内场景，具有较多的平面组成部分，结合纹理信息后便于匹配。大场景数据集自带的关键点与均匀采样算法提取的关键点的分布类似，且源点云与目标点云的点密度相同，因此图12与图7(a)的召回率-精度曲线走势 相似。总体上，FPFHCOLOR描述子结合关键点检测算法在实景点云匹配应用中有着良好的描述和匹配性能。

3 结论

本研究提出了结合点云纹理信息的FPFHCOLOR特征描述子。首先在FPFH描述子的基础上进行点云形状特征描述，提取形状特征直方图；然后构建纹理特征直方图；最后连接获得FPFHCOLOR特征描述子。

运用Bologna数据集和实景点云数据集进行试验验证，对采用不同色彩空间和不同点对纹理属性度量的FPFHCOLOR特征描述子展开对比试验。结果表明：采用CIELab色彩空间和CIE00色差作为点对纹理属性度量的计算方式时FPFHCOLOR特征描述子具备最优综合性能，相较于FPFH描述子其特征描述匹配性能有较大提高，且其特征提取效率与匹配效率优于CSHOT和PFHRGB描述子。

点云密度变化试验表明，文中提出的FPFHCOLOR描述子在点密度变化时比CSHOT和PFHRGB描述子拥有更好的特征描述及匹配性能，对点密度变化具有较强的鲁棒性。