3D点云震害建筑物深度学习样本增强方法

崔驿宁，窦爱霞，杨慎宁

1.中国地震局地震预测研究所,地震数值预测与风险预测研究室,北京 100036;

2.北京麦格天渱科技发展有限公司,北京 100089

1 引言

灾后及时获取建筑物震害信息能为科学开展地震应急救援、灾情评估提供重要依据。机载激光雷达（LiDAR）作为主动遥感技术，不仅能够快速获取高精度三维地表信息，并且可以获得震后建筑物、道路等精细定量的震害信息。传统的震后LiDAR 点云建筑物震害信息提取方法如仅使用LiDAR 数据，在由点云得到DEM、DSM、nDSM 基础上，使用阈值分割、边缘检测等算法提取建筑物轮廓（马文 等，2010；龚威平 等，2013）。或通过分析震后建筑物点云的回波次数、回波强度、法向量、屋顶坡度等震害特征，进而使用不同分类器进行震害建筑物分类识别（黄树松 等，2016；王金霞 等，2017；王彩凤，2013）。或者使用LiDAR 数据与遥感影像结合，在点云和影像配准的基础上，充分利用点云几何信息和影像波谱信息，采用支持向量机、面向对象、聚类算法等图像分类方法提取损毁建筑物（于海洋 等，2011；窦爱霞，2018；邓飞 等，2018）。或是对影像中“同谱异物”的房屋、道路分割，划分地物类别基于不同分类器提取建筑物斑块（胡本刚，2013；Gerke和Xiao，2014；Turker和Koc-San，2015）。

在传统方法中，仅使用LiDAR 数据时仍需要人工提取震害特征因子，设计检测算法进行逐步分类提取，还未达到建筑物目标识别智能化和自动化的需求。在结合影像提取建筑物震害信息时，LiDAR 点云多作为基础数据，为灾区提供较为精确的高程信息辅助光学影像判断受灾情况，或是在地表形变、滑坡、堰塞湖等多种地震次生灾害监测中应用，对于点云包含的灾区建筑物信息需要充分挖掘。深度学习能够从大数据中快速训练模型，识别复杂模式，符合点云高精度、高密度的特点，并且在训练过程中能自动从数据中学习发现真正重要的特征，舍弃与判别无关的因素，得到更高层更抽象的表示特征代替人为特征工程，是快速实现三维高精度识别和场景理解等的关键技术，而以上基于LiDAR 点云震害建筑物震害提取中，应用3D 点云深度学习方法的研究还较少。目前，3D 深度学习多用于点云目标识别，依据输入点云的数据格式可将其分为基于视图、体素和点云3类，其中视图的思想是将点云从不同视角和尺度或者不同投影体系投影到二维表面，再使用二维图像卷积对每个视图提取特征（Su 等，2015；Sinha 等，2016；Kalogerakis 等，2017）。体素法体是将无序点云“放入”立体网格作为网络输入数据，如ShapeNets、VoxNet将3D点云表示为不同分辨率的体素栅格输入网络（Wu等，2015；Maturana和Scherer，2015）。但是点云不均匀导致体素网格浪费率高，之后Riegler 等根据八叉树结构提出OctNet，Klokov R 等根据kd-tree 提出Kd-networks，分别实现依数据密度对3D 空间点云进行自适应划分以及网格分辨率调整（Riegler等，2017；Klokov和Lempitsky，2017）。直接输入点云数据方法始于PointNet 网络，该网络直接对点云三维坐标信息进行特征学习，之后PointNet++网络在PointNet 基础上提出分层次局部特征学习思想（Qi 等，2017a），之后为增强局部特征的描述能力以及细节信息的获取能力，Zhao 等（2019）提出PointWeb 网络。Li 等（2018）提出包含X-Conv 算子的离散卷积网络PointCNN。Lu 等（2020）提出了PointNGCNN，都实验了提高局部邻域内点云空间特征的捕获能力（Zhao 等，2019；Li 等，2018；Lu 等，2020）。但是点云深度学习目标识别使用的训练数据集以及应用场景很少涉及地震地质灾害领域，绝大部分数据集是室内场景或者大型完好室外点云场景，缺少单体建筑物、震害点云场景训练数据集，在大型地质、地震灾害点云场景中对震害建筑物目标分类识别应用还较少。

针对上述问题，本文研究了三维震害点云场景中，使用3D 深度学习方法进行震害建筑物分类识别。利用2010 年海地7.0 级地震后获取的机载LiDAR 数据，选取单体建筑物点云样本并提出样本增强方法，构建了包含未倒塌、局部倒塌、倒塌3 种破坏类别的震害建筑物数据集，基于PointNet++网络进行了样本增强前后网络分类识别效果的比较实验。

2 研究方法

2.1 PointNet++网络

Qi 等（2017b）提出PointNet 直接对输入点云的三维坐标进行学习，但PointNet无法学习点与点之间的关系特征。之后Qi 等（2017b）又提出PointNet++对PointNet 进行改进，根据二维卷积的思想提出了对局部区域进行分层次点云特征学习的方法。在单体建筑物震害识别过程中，破坏和未破坏分界处点云的局部关系非常重要，因此本文基于PointNet++进行研究。PointNet++网络输入为具有三维坐标的点集，其网络主要由抽象特征提取和分类两部分构成，架构如图1所示。抽样特征提取包括采样分组和PointNet 全局特征提取两部分：

图1 PointNet++网络结构Fig.1 PointNet++network structure

（1）采样和分组：使用FPS（最远点采样）选取一定数量的关键点。考虑到点云的稀疏和不均匀性，用可变密度采样（不同分辨率（MRG）/不同尺度（MSG））选取每个关键点周围一定半径球形区域内的点作为一个分组。

（2）PointNet：对采样和分组之后的点应用PointNet，进行局部点云全局特征提取。最后分类时再经过PointNet将局部特征融合成全局特征，此时不仅能得到每个点自身特征，更含有邻域内与周围点的关系特征。

2.2 样本增强

PointNet++网络不但能学习空间点云点与点之间的关系，还具有单体点云尺度大小和空间旋转不变性的特点。基于网络这一特性，使用旋转和缩放来增加样本量无法提升分类效果。在分析倒塌、局部倒塌和未倒塌3 类建筑物样本特征基础上，本研究对原始样本点云依次使用插值、对称改变倒塌和局部倒塌建筑物的破坏部分来创建更多样本，丰富破坏样本的空间形态，增加样本数量。同时，为保样本空间结构完整性与可比性，对所有样本采取顶面投影处理和规范化处理。样本增强流程如图2所示，具体算法如下。

图2 样本增强流程图Fig.2 Flow chart of sample enhancement

（1）反距离加权（IDW）插值：基于“距离越远对待插点影响越小”思想，引入反距离幂值，根据与插值点的距离来控制已知点对插值点的影响。设空间中一系列离散点云，其三维坐标为(xi，yi，zi)，(x，y，z)为任一插值点，根据周围离散点的高程，通过距离加权插值求得未知插值点z如式（1）。

（2）对称：依据式（2）获取单体建筑物x轴或y轴对称中心，n一般取值为2。

式中，xmax、yma、xxmin、ymin分别为单体建筑物点云x，y方向的最大值和最小值。

（3）顶面投影：机载LiDAR 大多获取的是建筑屋顶面点云，不便于网络建模，为保持样本形态空间结构完整性，分别给单体建筑物点云加上“底面”，即对样本进行顶面投影，将空间点云投影到xoy平面求取“底面”坐标，如式（3）。

（4）规范化处理：为了方便网络输入，将样本增强后的单体建筑物点云(Xi，Yi，Zi)中心化以及尺度缩放，结果为，如式（4）。

式中，Xmean，Ymean，Zmean分别是3 个坐标分量均值，i=1，2，3，…，n。

3 实验数据与结果分析

3.1 实验数据集

本文使用2010年海地7.0级地震后机载LiDAR点云数据进行实验研究，该地震造成包括海地总统府、国会大厦在内的大多数建筑物损毁，约有20%的建筑物倒塌，几十万人员伤亡。研究区位置于海地首都太子港城区，该区域房屋建筑类型多样，有大型多层建筑区，如公寓、宾馆、教堂等，亦有低矮简易房屋，单体面积较小，整体密度大，总的来看，该研究区建筑物类型能够满足建筑物害信息提取的研究需要。点云数据于2010 年1 月21 日获取，点云密度为2—5 points/m2，实验区范围如图3所示。为降低地形对建筑物震害分析的影响，采用布料滤波（Zhang 等，2016）对震后LiDAR 点云分离地面点和非地面点，并进行归一化处理得到归一化点云。实验区预处理前后局部点云如图4所示，右图中归一化后的点云消除了地形对地物的影响，点高度值反映了地物的真实高度。

图3 实验区范围Fig.3 Experimental area

图4 实验区局部点云归一化前后对比图Fig.4 Comparison of local point cloud before and after normalization in experimental area

根据建筑物的抗震能力和遥感可判读性，在分析海地地震前后遥感影像和震后LiDAR 点云数据中建筑物破坏特征基础上，将单体建筑物破坏类型划分为倒塌、局部倒塌、未倒塌3类。

倒塌建筑物呈现整栋完全倒塌，或屋盖完全垮塌，主体结构50%以上垮塌、整体扭曲、变形或已变成废墟。影像中倒塌建筑物色调明显偏亮，纹理错乱，区别于旁边建筑物。点云特征表现为高度错落不齐，没有规律，几何形状不规则，目视较容易辨别，如图5所示。

图5 倒塌样本影像和点云示例图Fig.5 Image and point cloud of collapsed building

局部倒塌建筑物整栋垮塌10%—50%，或屋盖局部破坏，屋脊扭曲变形，围护墙破坏，屋顶有落瓦、塌陷漏洞。在影像中倒塌部分的颜色纹理明显区别于完好部分。点云中表现为未破坏部分点云整齐且高度一致，破坏部分点云高度参差不齐，几何形状部分规则，如图6所示。

图6 局部倒塌样本影像和点云示例图Fig.6 Image and point cloud of partial collapsed building

未倒塌建筑物包括有明显破坏和无明显破坏两种情况。有明显破坏的建筑物，结构完整，有小于10%破坏，外墙稍微有变形、屋顶稍凹陷但未形成大面积漏洞。在影像中建筑物顶面绝大部分颜色、纹理均匀，破坏处有差异。点云特征表现为高度较为整齐，边线破坏处稍有高差，几何形状整体较为规则，如图7（a）、（b）所示。无明显破坏的结构完整，屋盖和围护墙无明显破坏，基本与完好无异，在影像中建筑物顶面颜色、纹理均匀，没有突兀变化，点云特征表现为高度整齐，几何形状非常规则，多为矩形、正方形、L 形、“人”形等，如图7（c）、（d）所示。

图7 未倒塌样本影像和点云示例图Fig.7 Image and point cloud of undamaged building

根据上述影像和点云特征，研究中共选取了5499 个震害建筑物样本，其中倒塌832 个，局部倒塌1236 个，未倒塌3431 个，部分样本分布如图8所示。

图8 实验区部分样本示例图Fig.8 Some samples of building in the experimental area

3.2 实验结果与分析

3.2.1 样本增强处理

由于每个破坏的建筑物形态均不相同，实验中对选取的倒塌和局部倒塌建筑物原始样本，依次进行插值、对称和顶面投影等增强处理。通过改变插值范围和对称轴，对倒塌样本进行了4 种变换：（1）样本的50%插值后，关于x轴对称；（2）样本的50%插值后，关于y 轴对称；（3）整个样本插值后，关于x 轴对称；（4）整个样本插值后，关于y轴对称。图9展示由原始倒塌样本依次经过50%插值、y 轴、顶面投影，得到增前后样本图9（d）。由于局部倒塌仅是房屋的局部遭到破坏，所以只对样本破坏部分进行插值，再关于x轴或y轴对称。图10展示对局部倒塌样本破坏部分插值、y轴、顶面投影的过程，得到增强后样本图10（d）。732 个倒塌和1236 个局倒塌样本增强后分别得到2928个和2472个，共计5400个增强样本。原始和增强样本共计10899个，其中倒塌3760个，局部倒塌3708个，未倒塌 3431个。

图9 倒塌原样本和样本增强后对比图Fig.9 Comparison of the original sample and the enhanced sample of collapsed building

图10 局部倒塌原样本和样本增强后对比图Fig.10 Comparison of the original sample and the enhanced sample of partial collapse building

3.2.2 PointNet++实验结果

（1）样本增强前后分类实验。采用样本增强前后各类别样本量的90%作为训练数据集进入PointNet++网络训练，采用混淆矩阵分别计算样本增强前后模型的分类精度如表1所示，训练精度曲线和损失曲线如图11 所示。表1 中数据显示样本增强后，模型平均分类精度、kappa 系数都有大于15%的提升，倒塌和局部倒塌分类精度明显提高了27%和17%，未倒塌提升约3%。由图11看出样本增强后的精度曲线以及损失曲线不仅上下波动较小，且变化趋势较和缓。随着步长增加，迭代次数增多，模型得到充分训练，分类精度逐渐提高，损失值逐渐减小。最后训练精度以及损失值基本趋于平稳，只在小范围波动，表示网络已呈收敛状态。部分分类结果如图12 所示，典型错分样本如图12 中A、B、C、D 所示，具体影像和点云如图13所示。

表1 样本增强前后PointNet++网络分类精度Table 1 Classification accuracy of pointnet++network before and after sample enhancement

图12 部分测试分类结果（A、B、C、D区域为典型样本示例）Fig.12 Part of the test classification results（areas A，B，C，and D in the figure are examples of typical samples）

基于原始点云和航空影像，对典型错分样本进行分析。样本增强之前，图13中A、B样本为倒塌和局部倒塌互相错分，影像显示A 样本建筑物楼板已经明显倾斜错位，说明外围墙体已完全倒塌。点云中也有明显高差，但是由于楼板没有出现大面积损坏，点云并没有非常错乱，所以错分到局部倒塌类别。影像显示B 样本建筑物中间出现墙体开裂、错位，边角破坏，整体并未出现垮塌。但点云特征表现为建筑物四周边缘点云错乱，裂开两部分有明显的高差，与倒塌建筑物点特征较吻合，错分为倒塌类别。图13 中C、D 样本都是局部倒塌错分为未倒塌，C 样本从影像来看，建筑物边缘出现破坏和墙体扭曲现象，点云中建筑物边缘也有明显的破坏特征，较符合局部倒塌点云特征。D 样本在影像中能明显看出建筑物边角倒塌，但点云中破坏特征不明显，所以错分到未倒塌类别。样本增强之后，A、B、C 样本没有错分，因为样本增强突出了倒塌、局部倒塌样本在破坏部分的点云特征，使得局部倒塌和倒塌、局部倒塌和未倒塌类别间的可区分性增强。但也有个别类似于D 样本的情况，增强之后仍然有错分。

（2）样本量以及均衡性分析。样本增强之前，进行实验1，发现样本增强之前倒塌和局部倒塌分类精度明显低于未倒塌分类精度。分析发现倒塌和局部倒塌样本量过少，各类别样本量出现严重不均衡问题，尤其是倒塌和未倒塌差别有4 倍以上。为了研究样本均衡性对分类精度结果的影响，设计以下4个实验分析样本均衡及样本量的问题。

实验1：使用全部原始样本进行分类实验；实验2：将局部倒塌和未倒塌样本量减少至倒塌数量；实验3：在增强样本中选取与实验1 相同数量的样本；实验4：在增强样本中选取与增强前总数相同且各类别数量相等的样本。各实验样本数量如表2所列，实验结果如表3所示。

表2 实验样本量统计Table 2 Statistics of experimental sample size

表3 样本增强前后不同样本量分类精度Table 3 Classification accuracy of different sample quantitybefore and after sample enhancement

实验1、2，实验3、4 对比发现，样本增强前后，当各类别样本量均匀时，倒塌和局部倒塌与未倒塌的分类精度差异分别由40%和30%降低至20%和15%左右，表明样本量均匀能够减少各类别之间的分类精度差异。实验1、3 对比发现，样本增强后，选取与增强前相同数量的样本，分类精度基本没有差别，表明仅改变样本形态基本无用，样本量均衡比样本形态对分类精度影响更大。实验2、4对比发现，在各类别样本量均衡时，增加样本量，丰富样本形态，能够提高各类别分类精度。

为进一步验证样本量影响，在样本增强后，共有10899个样本，倒塌3760个，局部倒塌3708个，未倒塌3431 个，各类别样本数量基本均匀。分别选取各类别样本的50%、70%、90%作为训练样本，用同一批样本测试。结果如表4所示，样本均匀时，样本量越大，模型识别精度会逐渐提高，90%较70%、50%样本训练的模型分类精度分别提高2%、4%左右。

表4 PointNet++网络样本增强后不同样本量分类精度Table 4 Classification accuracy of different sample quantity after sample enhancement using PointNet++

（3）样本增强前后震害识别效果分析。未倒塌建筑物点云形状规则，边界清晰，屋顶面绝大部分呈现L 形、T 形、长方形、正方形、“人”形等形态，仅是建筑面积大小和空间放置姿态不同，而点云单体具有空间旋转不变形且经过归一化处理。并且原始样本中未倒塌数量较多，当点云仅发生缩放和旋转变化时，网络能对同一几何形态的单体点云多次“重复”学习得以强化识别能力。所以未倒塌分类精度较高并在样本增强前后保持稳定。

倒塌和局部倒塌类别样本量过少，与未倒塌相比存在严重不均衡问题。而且由于破坏部分的差异使得样本形态具有唯一性，网络对于每一个样本都具有不同的学习特征，并不能多次学习相同形态的样本。再者，破坏部分点云混乱无规律，也不利用网络学习到两类别明显的区分特征，易于错分。另一方面，在人工选取和判定样本类别时，存在明显不同破坏特征的样本容易划分破坏类型，但是一些破坏特征指示不明确的样本划分易受人为因素影响。此外，未倒塌类别中包含了部分屋顶落瓦、屋脊线扭曲等有明显破坏但未倒塌的样本，使得未倒塌样本中含有一些局部破坏特征，导致部分局部倒塌错分为未倒塌。所以倒塌和局部倒塌在样本增强前分类效果较差，增强后精度明显提高。

4 结论

（1）在建立震害识别训练数据集时，应充分考虑点云样本特征以及网络模型特点。本文利用PointNet++网络能适应不同尺度以及空间旋转变化这一特性，提出针对倒塌和局部倒塌类别的样本增强方法来增加样本数量，解决样本量不均匀问题。在不影响未倒塌精度的前提下，有效提高了倒塌和局部倒塌的分类精度。

（2）样本量大小、样本量均衡性对于PointNet++网络建立的震害识别模型分类效果有较大影响。在样本量足够且各类别样本数量较为均匀时，才能取得较好的分类识别效果，但样本量不是提高分类精度的决定因素。各类别样本量相同时，未倒塌分类精度高于比其他两类，这也与样本选取、网络设计以及内部特征学习方法等因素有关，可做进一步探究。

综上，实验表明本文提出的样本增强方法能有效提高点云分类精度。为验证所建立的PointNet++建筑物震害识别模型的应用效果，未来将进一步开展模型在大型震害点云场景的应用研究，为后续的灾害评估提供技术支撑。此外，针对倒塌和局部倒塌的分类精度仍低于未倒塌的问题，可进一步探究各类别样本之间的差异特征以及修改PointNet++网络使之更适应于震害建筑的识别分类。

志 谢感谢窦爱霞老师的悉心指导以及中国地震局地震预测研究所地震遥感中心各位老师和同学的帮助。