基于深度学习的TEM纳米颗粒结构的目标识别

周淑娟，张 嵛，张 恒，王 琦，刘光洁，朱金龙

(长春师范大学计算机科学与技术学院，吉林 长春 130032)

0 引言

英国曼彻斯特大学于2010年凭借其突破性的石墨烯试验荣获诺贝尔物理奖[1]。此后对于纳米技术的研究达到了高潮。纳米材料的粒度在1～100 nm之间，由于其微粒的大小与物质玻尔半径相近，因此，纳米材料具有很强的化学活性[2]和很高的吸附能力[3]。正是由于纳米材料在涂料、催化、新能源等领域特殊的物理、化学性质，使纳米材料在工业生产中有着广泛的应用前景[4]。

在纳米粒子的检测中，传统的测量技术是以数字图像为基础。在边缘的处理上，刘冕[5]在2014年提出了一种基于形态学的边缘检测方法，并使用了一种新的形态尺度算子对图像进行提取。2017年，MIRZAEI等[6]利用改进的霍夫圆变换(Circular Hough Transform，CHT)技术改善TEM图像中纳米颗粒的敏感性和特异性，从而实现了对纳米颗粒图像的精确探测。在区域检测方面，魏本征等[7]在2018年提出了一种新的基于局部特征限制的图像分割方法。

近年来，随着深度学习的深入和迁移学习的深入，在图像识别和物体检测等领域中，深度学习的应用也日益广泛[8-10]，该方法具有较强的特征抽取和非线性拟合功能，因此能够有效地应用于各种场合。为此，有学者将深度学习技术引入纳米颗粒检测中。2019年，张芳等[11]提出了一种利用U-net卷积神经网络实现粒子的精确测量，实验结果表明，该算法能够精确地分割出图像中的纳米粒子，并对边缘模糊、亮度不均匀的纳米粒子进行有效的分割。2021年，刘淑慧等[12]利用深度学习方法对TEM纳米颗粒的大小和形状进行识别与粒径统计。

目前对纳米颗粒的大量研究是对粒子本身的分割和检测，而在功能催化下纳米级材料中纳米粒子在催化剂表面成有序排列，形成各种结构图案[13]。本文使用Faster R-CNN模型对纳米颗粒形成的结构图案进行目标检测，并在此基础上对数据集进行数据增强，同时使用一阶段的YoloV3模型进行对比验证。

1 纳米颗粒结构目标检测的深度学习网络结构

本实验的主要困难在于TEM影像均是灰度图像，各部分的反差较大，除了背景部分受到核外壳的干扰外，其纹理信息也不丰富，而且目前尚无通用且标记好的纳米材料数据库，因此必须进行自行标记和预处理。另外，在以往的实验中，对于纳米颗粒的实验大多数是对纳米颗粒本身的研究，而对于纳米颗粒结构的研究很少，所以本实验具有一定的挑战性。

1.1 Faster R-CNN网络结构

2015年，REN等[14]提出了Faster R-CNN的网络架构，Faster R-CNN模型包括四大模块：数据集、特征提取、RPN(Region Proposal Network)和ROIPooling四个部分，模型架构见图1，首先将数据集图片放到特征提取模块中进行特征提取，然后将提取到的特征输入到RPN网络中，筛选目标候选框，最后将所有的候选框输入到ROIPooling中，对目标进行分类和识别。在数据集格式上，主要有基于VOC和COCO的数据集格式，本文采用的是VOC格式。特征提取模块是从CNN中抽取图像的特征，在REN等[14]提出的Faster R-CNN模型中使用的是ZF和VGG16模型，本文进行了改进，以ResNet50网络模式为基础对特征进行提取，ResNet50的网络结构见图2，在ResNet50网络结构中，首先进行一层普通的卷积与池化，然后使用BottleNeck进行卷积处理。BottleNeck的构造见图3，BottleNeck的网络结构是先通过1*1的卷积对特征图像进行降维，做一次3*3的卷积操作，再通过1*1卷积恢复维度，后面跟着BN和ReLU层，然后进行连接；FasterR-CNN体系架构的一个重要创新之处是RPN，它的作用是提供备选区域(每个图表大约有2 000个候选框)，其架构见图4，主要结构为将特征图经过一个3*3的卷积之后分别进入了不同的分支，对应不同的1*1卷积。第一个卷积为定位层，输出候选框的4个坐标偏移。第二个卷积为分类层，输出候选框的前后景概率。ROIPooling将会对ROIs进行归类和调整，并根据RPN发现的ROIs来判定该ROIs是否包括了一个对象，并修改了该块的位置和坐标，最后通过全连接层进行分类与回归预测量的计算。

图1 Faster R-CNN网络结构图

图2 ResNet50网络结构

图3 BottleNeck模块

图4 RPN网络结构

1.2 数据集处理

本次实验的数据集来自BOIKO[13]使用显微镜得到的有序数据集dataset1，其中包含750幅代表主要有序纳米结构的TEM图像，每个图像的大小为1 280×1 024像素，本实验中主要识别含有circle结构的图像，因此，从数据集中筛选出77张带有circle标签的图片，并使用数据增强扩充数据集到847张，其中，training dataset为679张，Eval dataset为84张，Test dataset为84张。

1.2.1 数据集标注

由于目前没有公开的纳米颗粒结构的数据集，因此本实验需要自行对数据集进行手动标记，在本次数据集标注使用的软件为labelimg，标注完生成xml文件，作为mask文件。使用的深度学习模型为Faster R-CNN，数据集格式为VOCdevkit2007格式，其中，Annotations文件中存放标注生成的mask文件，JPEGImages文件中存放原始的图片文件。

1.2.2 数据增强

在原始数据集中，筛选77张图片用于模型的训练、验证和测试，但是通过实验发现，其实验结果并不理想。在表1中，可以看到模型Faster R-CNN的实验结果，其map值(mean average precision)为56.872 4，因此对实验图片进行了数据增强，本实验中数据增强方法有横向翻转加强、竖向加强、镜像对称加强、仿射改变、旋转、高斯加噪声、对比度改变、尺度转换和平移，使每幅图像随机增加10幅，从原始的77幅增加到847幅，并将其分成训练集、验证集和测试集，分割比例为8∶1∶1，最终，训练集为677张，验证集为5张，测试集为85张。

表1 各模型的实验结果

2 实验结果与分析

在实验中，训练的参数有：学习率learning_rate；优化器进行预训练过程的步数warmup_steps；优化器训练的起始学习率warmup_start_lr；优化器的学习率衰减轮数lr_decay_epochs；nms_threshold为RCNN部分在进行非极大值抑制时，用于剔除检测框所需的IoU阈值，所有参数具体设置如表2所示。

表2 实验参数

2.1 评价指标

在实验中使用目标检测领域常用的评价指标map来衡量算法的性能。AP是指一个类别的平均精度，它表示模型在某一个类别上的效果。map是所有类别AP的平均值，表示模型在所有类别上的整体效果，召回率为在[0,1]范围内的平均AP值。在二分类问题中，分类器的结果在测试数据上通常有三种情况：T(True Positive)、F(False Positive)和M(False Negative)，其中，P代表AP值，R代表召回率。

P=T/(T+F)，

(1)

R=T/(T+M).

(2)

2.2 实验结果

本文使用BOIKO[13]通过显微镜得到的数据集进行算法训练与测试，圆形纳米颗粒结构的检测结果如图5所示，其中，图5(a)(c)(e)是原始图像预处理图，图5(b)(d)(f)是使用改进后的Faster R-CNN模型的检测结果图；在图5(b)(d)(f)的结果图中，检测框上的数字代表置信度，如图5(b)中，上方写的circle 1.00代表目标为circle的置信度为1，表示将目标完全检测了出来。在本实验中，RCNN部分在进行非极大值抑制时，设置剔除检测框所需的IoU阈值为0.5，过滤掉低置信度边界框所需的置信度阈值设置为0.05。从实验结果图可以看出来，使用改进后的Faster R-CNN模型可以准确识别出图像中带有圆形的目标结构。

(a)

(b)

(c)

(d)

(e)

(f)

将改进后的算法与YoloV3模型进行对比，如表1所示。实验结果如下：改进的算法Faster R-CNN_data_agu_Res在训练次数为70后，损失loss值为0.094 8，目标框的map值达到98.663 1。相比之下，未改进的Faster R-CNN模型的loss值为0.217 6，map值为56.872 4，一阶段的YoloV3算法的loss值为0.012 6，map值为87.484 7。改进模型与一阶段的YoloV3算法相比，其map值提升了大约11%，比最原始的Faster R-CNN算法的map值提升了大约41%，因此改进算法的性能更好。

3 结语

综上所述，本文提出了一种基于深度学习的纳米颗粒结构识别的方法，使用Faster R-CNN网络对纳米结构进行识别，避免了传统方法对颗粒结构识别费事且费力的缺点，可以更高效地进行目标检测。此外，对数据集进行了数据增强，使实验结果更加准确，其map值变高。在实验中与一阶段的YoloV3方法进行了比较，发现对于纳米颗粒结构的识别Faster R-CNN表现出了更好的实验效果。将目标检测和手动指导标注结果作为标准进行相比，map值达到了98.663 1，实验结果证明了本文方法准确可靠。