鸟类全景观测系统中的人工智能识别技术

蒋敏，田元，吴伟志，朱力力，刘妙燕

（1.浙江省长兴县自然资源和规划局，浙江 长兴 313100；2.浙江弄潮儿智慧科技有限公司，浙江 杭州 310030；3.浙江省森林资源监测中心，浙江 杭州 310020）

鸟类是开展生物多样性监测的指示类群，对湿地生态系统评价与监测有重要作用。美国、英国等发达国家已经建立了国家尺度的鸟类监测网络并取得了很好的效果。我国鸟类监测网络尚待完善，鸟类监测也多采用常规人工观测方法，需消耗大量人力与时间，具有很大的局限性[1]。随着数字化基础设施的不断完善，运用人工智能技术辅助鸟类监测成为可能。长兴仙山湖国家湿地公园主管部门积极推进湿地中鸟类保护的智慧化、数字化管理，不断夯实基础，运用数字化的手段构建智慧化监测体系，建设了智慧湿地管理系统，包括一套鸟类全景观测系统。该系统在2020 年10 月底上线试运行，12 月初通过验收。该数字化管理系统的实施运行，为运用人工智能技术实现全景观测中的鸟类识别提供了基础条件。

当前，基于深度学习的人工智能算法发展迅速，但算法普遍较为复杂且需要大量数据进行训练建模，对数据量和算力都有较高要求。现有的鸟类识别算法往往需要具有充足特征的特写图，依赖于鸟的头、翅等重点区域的特征提取[1]。但是，野外鸟类观测，尤其是珍稀鸟类观测往往面临着数据不足的问题。同时，现场实施环境下的监控视频视角广、距离远，很难获取特写图像。因此，前述算法很难适用鸟类全景观测系统中的现场实时检测识别的要求。为解决上述问题，选择结合传统检测算法和深度学习算法，用计算机视觉算法库中的级联分类器（Cascade Classifier）进行检测，将检测到的区域交由深度学习框架中的卷积神经网络（Convolution Neural Networks,CNN）做分类，两种算法融合作为系统数据处理的核心算法，将其在实际鸟类观测中利用训练样本集数据进行训练，并检测识别模型经训练后，进行测试验证，如达到工程可用的程度（准确率＞85%），可应用于已知鸟类的自动化实时监测识别，可以辅助发现未知鸟类。

1 研究地自然概况

浙江省长兴县位于浙江省最北端，东临太湖，与苏州、无锡隔湖相望，位于江苏、浙江、安徽三省结合部。长兴仙山湖国家湿地公园（以下简称仙山湖湿地公园）地处长兴县泗安镇西部，毗邻泗安镇镇区，地理坐标为119°33′51″～ 119°37′43″E，30°52′08″～ 30°55′25″N，是长三角地区自然湿地生态系统与人工湖泊湿地的典型代表，是具丰富生物多样性的湿地生态系统[2]。仙山湖湿地公园土地总面积为2 269.2 hm2，其中湿地面积为695.31 hm2、非湿地面积为1573.89 hm2，湿地率为30.6%。公园内有河流湿地（永久性河流、洪泛平原）、沼泽湿地（草本沼泽、森林沼泽）和人工湿地（库塘、水产养殖场）共3 大类5 型，湿地类型多样，各类湿地型面积分别为：永久性河流湿地26.14 hm2，占3.7%，洪泛平原湿地50.77 hm2，占7.3%，草本沼泽36.14 hm2，占5.2%，森林沼泽7.48 hm2，占1.1%，库塘湿地532.57 hm2，占76.6%[3]。

仙山湖湿地公园生态系统食物链结构比较完善，其中，淡水鱼类有7 目13 科59 种，鸟类有12 目35 科109种[2,4]，其大面积的湖面、湖滩以及河流、沟渠、水田、苗圃地、旱地、山林构成了相对完整而复杂的生态环境，加上当地水产养殖大户的渔业生产，吸引了众多鸟类栖息，库塘边、河流、山丘和农田周围区域均是鸟类觅食场所，常见成群鸟类在水面、滩涂、河流觅食栖息。目前，针对仙山湖湿地公园的总体规划[3]、生态服务功能价值[4]、土壤重金属空间分布特征与生态风险评价[5]、树种富集重金属特征研究[6]、森林风景资源调查评价[7]已陆续开展，但是对仙山湖湿地公园鸟类资源的相关调查鲜见报道。仙山湖湿地公园的鸟类在动物地理区划上属东洋界华东区，湿地公园内广布种所占比例最大，东洋界和古北界鸟类占三分之一。种类以鹭科Ardeidae、伯劳科Laniidae 的鸟类最多，如白鹭Egretta garzetta、苍鹭Ardea cinerea、池鹭Ardeola bacchus、棕背伯劳Lanius schach等；国家Ⅱ级保护动物有8 种，浙江省重点保护动物有5 种，见表1[3]。

表1 仙山湖湿地公园鸟类保护动物名录Table 1 List of protected birds in Xianshanhu Wetland Park

2 研究方法

2.1 人工智能鸟类识别的技术框架

因为需要大量数据进行训练、建模，在系统建设初期数据量不足的情况下，常规基于深度学习的人工智能算法难以适用。现有的鸟类识别算法往往依赖于鸟的头部、翅部等重点区域的特征检测[1]，需要获取具有充足特征的特写图。而现场实施环境下的监控摄像机视角广、距离远，特写图像在现场实施环境下很难获取，如图1。

图1 鸟类特写与远景对比图Figure 1 Close-up and distant view

由于上述因素，选择将传统检测算法和深度学习相结合，用计算机视觉算法库中的级联分类器进行检测，将检测到的区域交由深度学习框架中的CNN 做分类，两种算法融合作为系统数据处理中心（System Data Processing Center,SDPC）的核心算法。

2.2 人工智能鸟类识别的技术实现

该算法的核心为卷积神经网络，并在此基础上构建多阶段Hubel-Wiesel 结构，模仿人眼提取图像特征的过程。如图2 所示，使用一个卷积核去从左至右、从上至下扫描整张图片，卷积得到特征图（feature map），相较于一般的全连接网络，卷积网络参数共享，参数量大大减少，且提升了对图像的特征提取能力。

图2 二维卷积过程Figure 2 2D convolution process

CNN 包含了对输入输出间广泛的假设空间，在训练过程中通过大量训练数据，逐渐构建输入输出的映射关系。CNN 的模型结构如图3，除了输入输出层，还有卷积、激活、池化、全连接层等。激活层赋予了网络的非线性表达能力，使得网络真正具备拟合复杂映射关系的能力。池化层用来舍弃冗余信息，进行快速下采样。最终转化为一维全连接层，方便输出和计算损失。其中，卷积层+激活层+池化层常作为一个组合在网络中重复使用，增加网络深度，这也是“深度”学习的名字由来。

图3 系统卷积神经网络Figure 3 Convolution neural network

2.3 数据处理

2.3.1 卷积运算 卷积运算的计算公式如下：

式中，i表示第i层参数，X代表输入，Y代表输出，b代表偏置，W表示卷积核权重，x、y、z为三维矩阵值。f(x)表示所用的激活函数，*为卷积符号。

2.3.2 级联分类器算法 在级联分类器算法中采用HOG 梯度直方图计算图像横坐标和纵坐标方向的梯度，图像中像素点(x,y)的梯度为：

式中，Gx(x,y)表示像素点(x,y)的水平方向梯度，Gy(x,y)表示像素点(x,y)的垂直方向梯度。

通过Gx(x,y)和Gy(x,y)计算该像素点的梯度大小和方向：

式中，G(x,y)为梯度大小，θ(x,y)为梯度方向。

2.3.3 HOG 特征提取流程（1）灰度化［将图像看做一个x、y、z（灰度）的三维图像）；（2）采用Gamma校正法对输入图像进行颜色空间的标准化（归一化），目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；（3）计算图像每个像素的梯度（包括大小和方向）；（4）将图像划分成小cells（例如6*6 像素/cell）；（5）统计每个cell 的梯度直方图（不同梯度的个数），即可形成每个cell 的HOG 特征descriptor；（6）将每几个cell 组成一个block（例如3*3 个cell/block），一个block 内所有cell 的特征descriptor 串联起来便得到该block 的HOG 特征descriptor；（7）将图像image 内的所有block 的HOG特征descriptor 串联起来得到该目标图像的HOG 特征descriptor，即为最终供分类使用的HOG 特征向量。

通过级联分类器生成目标模型文件捕捉目标轮廓，将捕捉到图像数据输入检测器，生成图像的特征矩阵、坐标，计算出标签概率值。标签概率值越大表明与该目标图像的相似度越接近。

3 结果与分析

针对斑鱼狗Ceryle rudis、苍鹭、戴胜、罗纹鸭Anas falcata、夜鹭Nycticorax nycticorax这5 种鸟类的训练样本集数据进行了训练，训练样本数为8 055 张图片，训练集损失值收敛于1.61。在挑选样本时，选择了部分鸟类的特写照片和远景照片，以增加模型的泛化能力，适应实际应用中远景镜头的现实场景。5 种鸟类的训练集样本对目标鸟类使用矩形框标记，标签统计数据如图4。图4A 的柱状图显示了每种鸟类的样本标签数量，其中Class 0-4 分别对应于斑鱼狗、苍鹭、戴胜、罗纹鸭、夜鹭；图4B 表明标签中心点的分布情况，每个样本图的坐标都做了归一化处理，取值范围是0～ 1.0，（x，y）是标签中心点的坐标，每个点的颜色在色柱中从下到上代表散点密度由低到高；图4C 中width、height 分别为矩形标签经过归一化处理后的宽、高，每个点颜色在色柱中从下到上代表散点密度由低到高。以上图4B、C 分布图反映了鸟类训练集中鸟类近景、远景照片的分布情况。

图4 训练集标签信息Figure 4 Labeling information of training set

检测识别模型经训练后，进行测试验证，验证集数量为3 213张，验证集准确率为87.75%～ 96.47%（见表2），初步达到可以工程应用的程度(＞85%)。更进一步，使用训练后的模型算法对仙山湖湿地公园中现场视频监控设备回传的视频进行实时监测、抓拍，实现了目标鸟类的实时监测识别图5A、B。同时，由图5C 可见，对于未进行训练建模的鸟类，系统检测算法将进行目标检测并分类为“Bird”，研究人员可以据此进行人工介入、分析识别，从而为发现未知鸟类、为生物多样性保护的自动化、全天候、实时监控提供技术支撑。

表2 鸟类验证样本数及准确率Table 2 Bird verification samples and accuracy rate

图5 鸟类实时检测结果Figure 5 Real time detection

4 结论与讨论

近年来基于深度学习的目标检测算法发展迅速，在提升检测精度的同时减少了网络训练对算力的依赖。但深度学习算法需要大量数据进行训练建模，而鸟类资源保护尤其是珍稀濒危鸟类保护面临的现实问题就是原始数据严重不足。本文在初始样本数量有限的情况下，采用级联分类器和卷积神经网络人工智能识别技术作为鸟类检测和分类的辅助工具。对5 种仙山湖常见鸟类进行建模、训练，经验证集测试验证，准确率为87.75%～ 96.47%，初步达到工程可用的程度（准确率＞85%）。该方法可应用于已知鸟类的自动化实时监测识别，并辅助实现对未知鸟类的监测与发现，为生物多样性保护提供技术支撑。

本算法应用于大视角、远视场，缺少对鸟类图像细部特征的应用，检测准确率还有较大的提升空间。后续为提高鸟类识别的准确率，将在模型训练中进一步融合鸟类细部特征，优化网络模型。同时，需要加大对鸟类观测数据的采集力度，持续积累监测数据。在积累更多样本数据的基础上，加大模型训练的力度。后续随着原始数据的积累，逐步将算法的主体部分全部转为深度学习算法，级联分类器则作为图像预处理和增强的辅助技术。在推理速度方面，应用神经网络的剪枝量化等模型压缩方式，减少网络计算量。通过以上改进优化措施，预期可以进一步提升检测准确率、提高检测速度，最终实现在前端设备上的在场在线检测。