基于航空倾斜摄影影像的建筑物提取方法研究

焦云清

摘 要：传统的建筑物遥感提取主要是基于人工设计特征在滑窗内提取建筑物信息，具有特征鲁棒性差、检测率不稳定等缺点。本文通过分析航空倾斜摄影影像中建筑物的特点，提出倾斜摄影影像中的建筑物提取必须将建筑物屋顶与建筑物墙体分别提取的观点，在此基础上，引入计算机视觉领域主流的Faster R-CNN目标检测模型，采用改进的Faster RCNN分别对屋顶与墙体进行检测。本文以武汉市航空倾斜摄影影像作为数据集开展实验，将图像中单体建筑作为一类的平均精度均值为89.8%，将建筑物屋顶与墙体分开检测的mAP值为93.5%，表明该方法可有效提高航空倾斜摄影影像中建筑物提取的精度，下一步研究方向为降低墙体的漏检率。

关键词： 航空倾斜摄影  建筑物提取  深度学习  目标检测

中图分类号：P231

Abstract： Traditional building remote sensing extraction is mainly based on artificial design features to extract building information in sliding Windows， which has disadvantages such as poor feature robustness and unstable detection rate. Based on the analysis of the characteristics of buildings in aerial oblique photography images， this paper proposes that buildings must be extracted from roof and wall separately. On this basis， the mainstream Faster R-CNN target detection model in the field of computer vision is introduced， and the improved Faster RCNN is used to detect roof and wall respectively. In this paper， Wuhan aerial oblique photography image is used as the data set to carry out the experiment. The average accuracy of taking the single building in the image as a class is 89.8%， and the mAP value of detecting the building roof and wall separately is 93.5%. It shows that this method can effectively improve the accuracy of building extraction in aerial oblique photography image. The next research direction is to reduce the missed detection rate of wall.

Key Words： Aerial oblique photography; Building extraction; Deep learning; Target detection

建筑物是反映人類活动的主要标志，建筑物提取是遥感目标检测与识别领域中的重要方向，该方向的研究成果在灾害应急、军事侦察、城市规划等方面具有广阔的应用前景[1]。建筑物根据其用途有娱乐、居住、观赏、存储、办公等不同类型，外形多种多样，更新速度快，这使得建筑物的提取和检测难度很大。

传统的建筑物提取主要基于光谱、形状、纹理、等影像特征检测建筑物。建筑物提取的研究思路主要有两种——数据驱动型和模型驱动型。前者把目标看作众多低层特征结构的组合，通过某种规则将这些结构合并成为目标整体;后者把建筑物目标抽象为一个整体模型，从全局特征出发基于模型将其从图像背景中提取出来[2]。

为解决传统建筑物提取方法计算量大，鲁棒性差等问题，以及建筑物在航空影像上的变化多样性，遮挡多，航空影像在深度学习上的应用难点，本文在深度学习卷积神经网络的基础上研究了一种航空倾斜摄影影像建筑物提取方法，这种方法在实验数据上针对航空摄影影像构建样本库，从建筑物的结构出发，结合建筑物在影像上的特点对建筑物进行分结构检测。经实验证实，该方法可有效提升建筑物在航空影像上的检测精度。

1 实验数据

1.1 倾斜摄影样本构建方法

深度学习通过对大量样本进行特征学习，根据特征映射图进行判断来完成目标的识别与提取，一般需要高质量、大量、多样性的样本集，以应对不同情况下对目标的提取任务[3]。针对航空倾斜摄影影像特殊性，在构建样本集时需要对图像进行预处理，明确影像的拍摄高度、角度、相机型号等影响目标检测的因素，记录样本信息。

实验数据选取新疆城镇地区拍摄的航空倾斜摄影影像作为数据源，影像空间分辨率为10cm，包括接近垂直方向的影像和45度倾角的影像，垂直摄影的相机采用的是Canon EOS 5DS。45度角摄影采用的相机是Canon EOS 5DS。影像为真彩色（RGB），单幅影像尺寸为8688×5792。本实验使用LabelImage对样本图片进行人工标记，用生成的XML文件记录样本信息——目标建筑物的地理坐标、图像来源、图像尺寸等信息。

1.2数据处理

Faster R-CNN，根据输入层的设置，输入的影像在正式进入网络前会经历拉伸过程，统一尺寸为600×1000。为了得到有效的训练数据，最大限度地减小拉伸形变，将原始图像切分为同等大小图片与对应切分的XML文件一起作为实验数据。本实验共使用图片707张训练数据。XML切分过程中需考虑的技术细节包括。

（1）考虑到XML记录的目标框坐标是以图片左上角点为原点的相对坐标值，要考虑到图像切分后坐标变换问题，因此，在图像切分时记录切分处左上角点在原图中的坐标[4]。

（2）在切分时会产生被切分开的目标框，即要解决切分时在边缘的目标框的问题。根据目标框在切分边缘位置的情况可以具体分为6种情况，分步解决。

（3）XML在删除节点时導致的节点序号变化的问题，可以利用指针的思想解决[5]。

最后将整个样本集分为3个部分：训练集、验证集、检测集。其中训练集占总样本数的60%，测试集占40%。

2 方法描述

本文使用Faster R-CNN作为实验应用基础，并在此基础上进行改进，将建筑物按屋顶、墙体结构分开检测。

经过多次测试证明对建筑物进行提取，迭代7万次就可以loss曲线达到要求，经过再多的迭代，在耗费时间的情况下，精度基本保持不变。根据测试结果将IOU（Intersection over Union）正样本阈值改为0.7，负样本阈值为0.3。因为建筑物遮挡较多[6]，将NMS（最大值抑制）算法改为Soft-NMS（Bodla N等，2017）。

本节主要介绍实验中所使用的技术方法。具体方法流程如图1所示。

本实验主要有3个部分：标记样本，制作样本集（见第二节实验数据所述）;通过改进的Faster R-CNN对建筑物分结构检测;对检测结果做精度评价。

建筑物作为一个整体主要由两部分结构构成——屋顶和墙体。屋顶多为瓦片或涂有防晒层，墙体多刷有漆层，这两者在结构上、使用材料上完全不同，纹理信息不一致，因此，分为两种类别检测是十分自然合理的。

航空倾斜图像在拍摄时跟传统自然图像相比房屋在图像中并不是绝对垂直的，会出现多角度、多方向的建筑物，因此屋顶和墙体作为整体，即以单体建筑分为一类进行检测时特征的同一性，相较于传统自然图像较低，屋顶与墙体的方向性也不一致，同时因为在制作样本集过程中需要对图片进行切分，在切分时只考虑图像大小会导致部分墙体和屋顶“分家”的情况出现，在这种情况下经常会出现漏检与错检情况。将墙体与屋顶分开，作为两类进行目标识别可以有效避免此类问题。

为了更好地了解分结构检测建筑物的优势，本文采取两种标注方式并进行对比：（1）对整个建筑物整体进行标记;（2）对建筑物屋顶与墙体进行分开标记。通过Faster R-CNN算法获取检测精度，对比验证最优样本标记方式。

3 实验与分析

本文首先将建筑物屋顶与墙体分结构标注的样本放入网络训练，经过多次迭代保存训练好的参数，再将样本送入网络检测对建筑物整体检测效果如图2所示。

通过图2可以看出建筑物整体作为一类检测时图像上单独的墙体和屋顶都不能检测出来，导致了很多的漏检，并且对阴影鉴别能力差，导致很多错检。而建筑物分结构检测不仅可以检测出只有部分结构的建筑物，对阴影的敏感度也有了一定的提高。

为了更好地验证建筑物分结构检测的优势，本文选取mAP作为衡量标准，对建筑物整体与建筑物分结构检测的实验结果进行对比。结果表明建筑物分结构检测效果更优。

综合得出整体对建筑物的检测精度定量评价——mAP，如表1所示。

根据表1可以明显看出建筑物分结构检测后检测精度有了很大的提升，经试验表明将屋顶与墙体分开标记的方式有效提高了检测精度。

4 结语

本文利用深度学习技术实现了建筑物在航空倾斜影像上的自动化提取，通过分结构检测提高了建筑物的检测精度。

本次使用的Faster R-CNN利用迁移学习思想有效实现小样本建筑物提取任务，相比于大多传统检测方式精度有显著提升，由于建筑物在图像上多有遮挡情况，本文在Faster R-CNN最终测试时将NMS替换为Soft-NMS，用以降低因遮挡引起的漏检。在此基础上将建筑物屋顶与墙体进行分开标记也有效地提高了检测精度。目前对建筑物的误检多为将大棚检测为了建筑物，下一步会在此基础上进行改进，之后利用多层特征融合等方式，相信检测精度也会达到更好的效果。

目前，对墙体检测的P-R曲线表现不如屋顶稳定，在接下来的研究中将首要分析并改善此问题。在更深入的研究里将会更倾向于网络结构的优化和调整，为目标检测加入先验知识，希望可以在提高检测精度的同时提高并验证方法的普适性。

参考文献

[1]马茜芮，黄振华.无人机倾斜摄影测量技术在地籍调查中的应用[J].测绘通报，2020（S1）：118-121.

[2]于大鹏，梁玉斌，冯晨阳，等.模拟地形辅助的无人机倾斜摄影测量图像匹配[J].天津师范大学学报：自然科学版，2020，40（4）：64-70.

[3]俞建康.无人机倾斜摄影测量在立交桥三维重建中的应用[J].测绘通报，2020（10）：106-109.

[4]杜芙蓉. 基于无人机倾斜摄影测量的违章建筑探测技术研究[D].西安科技大学，2020.

[5]符钟壬. 基于倾斜摄影测量与激光雷达点云匹配的建筑物三维模型研究[D].昆明：云南大学，2020.

[6]陈明杰.无人机倾斜摄影测量三维建模及模型可视化研究[D].西安：西安科技大学，2019.

3421500338252