基于深度学习的无人机遥感影像增强＊

中铁第一勘察设计院集团有限公司 魏域君

无人机遥感影像的质量对无人机遥感的应用至关重要，通常由于天气原因，无人机遥感影像存在曝光不足，图像偏暗的情况，需要手工利用调色软件进行调色，效率偏低。随着深度学习的快速发展，深度学习在图像智能化处理方面取得了广泛的应用。本文提出了一种适合高分辨率无人机遥感影像暗光增强的深度网络模型，该模型能够保持输入影像的高分辨率特征，经过训练后的模型以原始暗光图像作为输入，直接生成光照增强后的无人机影像，无需手工设计参数调色。实验证明本文方法具有较强的鲁棒性，对无人机遥感图像暗光增强取得了较好的效果，提高了生产效率。

随着测绘地理信息行业的快速发展，无人机遥感技术作为一门新兴技术，在测绘工作中取得了广泛的应用。无人机遥感的优势有以下几点：（1）无人机体积较小，重量较轻，这保证了无人机的灵活性，可在各种地形条件下起飞；（2）无人机遥感监测效率较高，可快速高效的处理各种突发事件[1]；（3）无人机遥感可获取大范围的高分辨率遥感影像，具有监测尺度大的特点。由于以上独特的优势，无人机遥感技术被广泛的应用于实景三维建设、高分辨率正射影像制作、灾害检测、航拍视频视频制作等业务。因此，获取清晰度高、对比度强的无人机遥感影像是无人机遥感的核心。而由于天气原因，在光照条件较差的情况下，通过无人机航飞获取的遥感影像通常情况下存在曝光不足，图像偏暗的情况，通常需要利用CaptureOne、PhotoScan 软件进行处理，对暗光条件下的无人机遥感影像进行人工增强，这需要耗费较大的劳动力和时间，效率较低。而传统的基于直方图均衡和Retinex 理论的暗光图像自动增强算法，很难适应遥感图像地物类别复杂、信息量大的特点，因此效果都不令人满意。

随着深度学习的快速发展，卷积神经网络（CNN）被广泛的应用到低层次的图像处理任务中。在此基础上，一些研究者提出了很多基于深度学习的自然图像暗光增强模型，通常是利用深度网络将暗光图像分解为光照分量和反射分量，通过调整光照分量进行暗光增强，然而这类方法并不能很好地适应场景复杂的高分辨率遥感影像。因此，本文提出了一种基于卷积神经网络的端到端的遥感影像暗光增强模型，无需进行光照分解，以暗光条件下的无人机遥感图像作为输入，通过深度网络直接输出光照增强后的影像。通过实验证明了本文方法对无人机遥感图像暗光增强取得了较好的效果。

1 基于卷积神经网络的无人机影像暗光增强

本文通过训练卷积神经网络模型来实现无人机影像暗光增强，训练样本集可表示为{Li,Hi|i=1,...,N}，其中Li为暗光图像，Hi为对应的经过光照增强后的无人机影像，这是人工通过CaptureOne 等软件调色得到的。本文设计了一种适合无人机影像暗光增强的高分辨率网络模型，该模型能够保持输入影像的高分辨率特征，经过训练后的模型以原始暗光图像作为输入，输出光照增强后的无人机影像。

本文方法技术流程如图1 所示。

图1 技术流程Fig.1 Technical process

1.1 网络模型

无人机遥感由于要获取清晰的地物细节，具有很高的影像分辨率，一般优于5cm/每像素。因此，对无人机遥感影像进行暗光增强，除了对光照分量进行调整之外，保持影像的细节信息也是非常重要的。现有的大多深度网络模型一般都使用采样间隔为2 的最大池化层和卷积层来扩大感受野，从输入的高分辨率影像中提取出高层语义特征，得到低分辨率特征图，然后采用反卷积或上采样的方式恢复原始尺寸，得到输出结果。使用这种网络模型必然会导致细节信息的丢失，从而使暗光增强后的遥感影像丢失细节信息。因此，本文提出了一种高分辨率网络结构RS-HRNet 来进行无人机遥感影像暗光增强。

RS-HRNet 以高分辨率网络模型HRNet[2]为基础，网络存在多个分支，第一个分支为高分辨率分支，在网络传播的整个过程中都维持高分辨率的特征表示，随着高分辨率分支向后传播，逐渐增加高分辨率到低分辨率的网络分支，并将多个分辨率的网络分支进行并行连接，通过多分支网络互相交换信息完成多尺度特征的融合，使得网络生成的特征既有高层次信息，又能保持较高的分辨率。网络结构如图2 所示。

图2 网络结构Fig.2 Network architecture

RS-HRNet 与HRNet 不 同 的 地 方 在 于，HRNet 前 两层使用采样间隔为2 的卷积层，将输入尺寸为（H，W）的影像进行4 倍降采样，得到尺寸为（H/4,W/4）的特征图，最后再通过连续上采样将特征尺寸恢复为（H,W）输出最终结果。本文通过实验发现，如果直接采用这种方式，网络模型虽然能通过训练预测出光照增强后的影像，但是影像会损失一定程度的清晰度，失去细节信息。所以RS-HRNet 在HRNet 的基础上，将前两层卷积层的采样间隔设置为1，同时在最后去掉上采样操作，将特征图的尺寸始终保持为（H，W），与输入影像尺寸一致。

1.2 损失函数

给 定 训 练 样 本{Li,Hi|i=1,...,N}， 其 中Li为 暗 光图像，Hi为对应的经过光照增强后的无人机影像，RSHRNet 以Li为输入，通过一系列卷积层、归一化层和激活函数后输出增强后的影像H˜i，本文以Charbonnier 损失函数[5]对网络模型进行训练，Charbonnier 损失是一种带常量的L1 损失函数，相比L1 损失函数更加稳定，在图像超分辨率、图像生成、图像复原等领域都取得了较好的效果。RS-HRNet 的损失函数如公式（1）所示：

其中ε 为常量，在本文实验中根据经验将ε 设置为10-3。

1.3 模型训练与预测

实验的主要步骤如下：

（1）获取暗光增强训练数据。实验采用在暗光条件下使用飞马OP3000 倾斜航摄仪获取的西部某地区无人机遥感影像作为暗光图像，用CaptureOne 手工将该数据进行光照增强作为增强后的图像。如图3 所示，暗光图像与增强图像对构成了本次实验的训练数据。影像匀为三通道彩色影像，分辨率为5cm/像素，尺寸为7952×5304。数据分为训练集和测试集，训练集包含812 对影像，测试集包含203 对影像。

图3 训练图像对Fig.3 Training paired data

（2）构建深度网络模型RS-HRNet。在暗光增强数据集上训练模型，获取遥感图像暗光增强模型参数。本文采用Pytorch 深度学习框架训练RS-HRNe 网络模型，Pytorch 框架易于上手，模型构建效率高。

（3）模型预测，将待处理的测试影像输入训练好的RS-HRNet 网络模型，得到光照增强之后的无人机遥感图像。

2 实验与分析

2.1 实验数据

本文采用飞马OP3000 倾斜航摄仪获取的西部某地区无人机遥感影像作为实验数据，影像匀为三通道彩色影像，分辨率为5cm/像素，尺寸为7952×5304。数据分为训练集和测试集，训练集包含812 对影像，测试集包含203 对影像，训练集用于训练网络模型，测试集用于测试模型效果。

2.2 实验参数

实验采用Adam 优化器作为网络优化方法，学习率设为2e-4，BatchSize 设置为4，最大迭代次数为30，采用的显卡型号为NVIDIA T600，显存大小为4GB。

2.3 实验结果与分析

本实验在暗光测试集图像上进行暗光增强，由于用CaptureOne 手工将暗光图像进行光照增强后的图像和原暗光图像配对作为训练集。因此将模型在测试集上的图像增强结果与利用CaptureOne 软件手动光照增强之后的结果（在本文中称作真值）进行相似度对比，通过相似度对比评估该算法的鲁棒性与暗光增强效果。

本文采用PSNR 和SSIM 对暗光增强效果进行评估，PSNR 为峰值信噪比，SSIM 为结构相似性，都是衡量增强结果与真值之间相似性的指标。

为了验证本文提出的基于RS-HRNet 暗光增强方法的有效性，本文将方法与近年提出的基于Retinex-Net[3]的暗光增强方法进行对比，该方法是基于Retinex 理论[4]的卷积神经网络模型，开启了基于深度学习进行暗光增强的研究热潮。RS-HRNet 与Retinex-Net 的对比实验评估结果如表1 所示。

表1 对比实验结果Tab.1 Comparative experiment results

图4 测试集图像增强结果Fig.4 Enhancement of test images

从表1 可以看出，本文方法相比Retinex-Net 在PSNR和SSIM 上都有明显优势，从如图4 所示的测试结果可以看出，基于Retinex-Net 的方法虽然能够达到光照增强的效果，但是增强影像的色调存在明显的失真，而本文方法在增强了光照的同时仍然保持了图像的原始色彩信息，究其原因是因为Retinex-Net 分为两阶段：第一个阶段是光照分量与反射分量分解；第二个阶段是增强光照分量，第一个阶段分解的误差容易影响到第二个阶段，形成误差累计。而本文方法是端到端直接生成增强图像，采用高分辨率网络较好的保持了图像的细节信息，与人工调色结果（真值）更为接近，效果更好。

3 结语

针对高分辨率无人机遥感图像暗光增强问题，本文提出了一种基于卷积神经网络的端到端的遥感影像暗光增强模型，通过训练深度网络直接预测光照增强后的影像。通过与现有基于深度学习的暗光增强方法进行对比，结果表明了本文方法的有效性，下一步工作将考虑模型的计算效率，消除分块效应，进一步提高暗光增强的效果。