一种深度学习模型的研究与应用

徐 伟，郑 威，钱 炜，刘 健

(江苏科技大学 电子信息学院，江苏 镇江 212000)

0 引 言

深度学习在过去的十余年得到快速发展，受到了越来越多研究学者的关注。深度学习最大的特点是善于从原始数据中提取高级的抽象特征，具有良好的泛化能力，因此被广泛应用于与特征提取相关的科学研究领域。在传统的机器学习算法中，需要大量的工程领域相关知识，存在的问题是设计特征提取的方法受到限制，而深度学习的诞生有效地解决了机器学习存在的不足[1]。目前训练数据的快速增长以及计算机芯片处理数据能力的增强，使得深度学习在自然语言处理和计算机视觉领域应用前景广阔，促进了人工智能领域的发展。深度学习的模型主要有卷积神经网络、深度置信网络和自动编码器[2]。卷积神经网络是深度学习的一种经典且应用广泛的模型结构，它是由机器学习中的人工神经网络发展而来。近年来，卷积神经网络发展迅速，已经成为深度学习研究领域中的热点。1962年，生理学家Hubel和Wiesel通过对猫脑视觉皮层的研究，发现生物的视觉皮层细胞只对输入图像的局部区域很敏感，首次提出了感受野的概念。1980年，Fukushima根据Hubel和Wiesel的层级模型提出了与之类似的结构—神经认知机。1998年，Yann LeCun及其合作人员构建了一个典型的卷积神经网络模型—LeNet-5，并且在手写数字字符识别中取得成功[3]。经过多年的发展，卷积神经网络从最初的手写数字字符识别应用，逐渐扩展到其他更复杂的领域，例如人脸识别[4]、手势动作识别[5]、交通标志识别[6]；再应用到热门的人工智能领域，例如情感分析[7]、语音识别[8]、心电信号分类和检测[9]等。

非侵入性胎儿心电信号是检测胎心率的研究重点，研究胎心率的重要指标就是检测胎儿心电周期中的QRS波群。文中在研究信号与信息处理的基础上，针对从孕妇腹璧信号里提取胎儿心电信号的困难性，提出采用深度学习中的卷积神经网络方法结合短时傅里叶变换检测胎儿QRS波群。该方法突破了传统胎心率检测时需要将母体与胎儿心电信号分离的限制，可以在不去除母体心电信号的情况下直接检测胎儿QRS波群，最终获得可靠的胎儿QRS波群检测性能。

1 研究方法

1.1 卷积神经网络原理

卷积神经网络的结构主要有输入层、卷积层、池化层(降采样层)、全连接层和输出层。卷积层和池化层会设置多个交替连接，互相配合逐层进行特征提取，最后通过全连接层传递给输出层。

1.1.1 卷积层

卷积层是卷积神经网络结构的核心，它由多个特征面组成，其作用是特征提取。卷积层通过卷积核以固定的滑动步长对输入信号进行特征提取，第一个卷积层提取的是初级特征例如线条、边缘、轮廓，高层的提取更高级的抽象特征[10]。卷积层的特点是局部连接和权值共享。局部连接指的是卷积层中的神经元与前一层输入单元的部分神经元连接，这部分区域称为该神经元的局部感受域。输入特征面采用一组相同的权值与输出特征面进行局部连接，这就是权值共享，作用是通过减少网络中训练参数使网络模型的复杂度降低，也可以达到减轻网络过拟合的目的。

卷积核是卷积层进行卷积操作的重要部分，其本质为权值矩阵[11]，卷积核以固定的滑动步长在前一层输入单元上移动，然后与局部感受域上的值进行卷积操作，最后得到输入单元的特征图。卷积核的参数包括个数、大小、滑动步长和零填充大小。在实际应用中，往往需要多个卷积核得到多个特征面。卷积核进行卷积运算的表达式为：

(1)

f(x)=max(0,x)

(2)

1.1.2 池化层

池化层也称为降采样层或特征映射层，和卷积层一样是由多个特征面组成，但每层池化的特征面唯一对应卷积层的输出特征面，特征面的个数不会发生改变。池化层也采用局部连接且神经元不同时局部感受域不会出现重叠。因为卷积层的输出是高维特征，直接使用进行分类会增加计算量和复杂程度。所以池化层的作用是降低卷积层输出特征的维数，得到的特征具有空间不变性，相当于二次特征提取。常用的池化方法包括最大池化法、均值池化法和随机池化法[12]。池化表达式为：

(3)

1.1.3 全连接层

在多个卷积层和池化层交替连接后会连接一个或多个全连接层，全连接层的作用是整合卷积层和池化层的特征得到全局特征进行分类[13]。全连接层和多层感知器相似，其中每一个神经元与其前一层进行全连接，同一层内神经元相互不连接。全连接层的输出值被传递给Softmax分类器，经过Softmax分类器后得到一系列的概率值，这些概率值相加为1。输出的概率值个数对应网络训练输入的类别个数，测试时输入被检测为概率值最大的类别。Softmax分类器的数学表达式为：

(4)

其中，N为输入矢量x的长度。

1.2 短时傅里叶变换

非平稳信号例如气温、血压、心电信号等，它们的统计特征随时间变化发生改变。短时傅里叶变换(STFT)是分析非平稳信号不可或缺的工具，它的主要思想是将非平稳信号进行加窗处理，然后再进行傅里叶变换，得到信号在窗函数一个窄区间内近似平稳信号的频谱，窗函数可以根据时间变化进行平移，通过窗函数可以得到任意时间段的频谱图，在时域上实现信号的局部化[14]。假设非平稳信号为x(t)，窗函数为s(t)，则非平稳信号的短时傅里叶变换的数学表达式为：

(5)

其中，*表示复数共轭。

2 实 验

2.1 胎儿心电信号选取

实验中使用的数据集是PhysioNet/CinC竞赛中提供的数据集Challenge 2013 Training Set A。set-a组数据集包含七十五条腹部心电图(AECG)记录(a01-a75)，每条持续1分钟。每条记录包括四个通道，每个通道的采样频率为1 000 Hz，分辨率为16位。文献[15]通过研究发现有七条记录(a33、a38、a47、a52、a54、a71和a74)由于参考注释不准确，本实验将不使用。实验将前15条记录用于卷积神经网络测试，其他都用于网络训练，实验保证训练和测试之间没有相同的数据集。

2.2 信号质量评估

信号质量评估在检测胎儿QRS波群中起到重要作用，文中采用样本熵(SampEn)方法对心电信号进行分析，确定数据集中是否含有过多的噪声成分。样本熵公式为：

(6)

其中，m表示向量序列的维数，r表示阈值，N表示数据的长度。在本实验中，向量序列的维数设置为2，阈值设定为1.5，数据长度设置为500。

通过将四个通道的样本熵值与阈值进行比较，小于1.5的可判断为良好的心电信号，并选择样本熵值最小的通道在实验中使用。图1显示了来自set-a组a61号数据的10秒信号质量评估示例。

图1 set-a组a61号数据10秒信号质量评估

2.3 心电信号预处理

非侵入性的胎儿心电信号的主要噪声来源于电力线干扰和基线漂移。首先，使用陷波滤波器来消除电力线干扰噪声。其次，使用基于小波变换的低通滤波器去除基线漂移干扰。图2和图3显示了去除两种噪声的对比。

图2 滤除电力线干扰

图3 滤除基线漂移干扰

2.4 分段进行短时傅里叶变换

本实验的QRS波群检测研究实际上是一项分类研究，预处理后的心电信号以100毫秒进行分段，分段后的胎儿心电信号通过短时傅里叶变换转化成二维时频图，再通过卷积神经网络被检测成两类：有QRS波群和没有QRS波群。根据PhysioNet提供的参考注释，每100毫秒的心电信号被参考注释标记的分类为胎儿QRS波群，未被参考注释标记的分类为非胎儿QRS波群针对本实验分段后的心电信号，计算短时傅里叶变换采用Hanning窗，窗口大小为64，将每100个采样点的心电信号进行短时傅里叶变换，最终转化为33×37的二维时频图。

2.5 卷积神经网络结构设计

图4显示了文中设计的卷积神经网络结构。总体来看，网络结构包含三个卷积块和一个密集层。第一个卷积块包含卷积层、批量标准化层和激活功能层，批量标准化的使用使卷积神经网络模型更容易优化和处理。第二个卷积块包含卷积层、批量标准化层、激活功能层和最大池化层，在卷积层和池化层之间应用Dropout技术以防止网络结构出现过拟合现象。第三个卷积块和第二个类似，以构成深度卷积神经网络模型。密集层包含两个全连接层，最终通过Softmax产生了两类的输出。卷积神经网络结构的具体参数设置如表1所示。

图4 卷积神经网络结构设计

表1 卷积神经网络的参数设置

2.6 实验结果分析

2.6.1 损失、准确率和训练次数的关系

由图5可以看出，准确率随训练次数迅速上升，最终训练300次达到77%左右。影响准确率的主要因素是母体心电信号比胎儿强以及存在高频肌电噪声干扰，致使卷积神经网络的权值和阈值优化陷入局部最优，从而对后续分类性能造成影响。实验中损失函数选择交叉熵函数作为优化目标，由图6可以看出损失先持续下降，然后出现波动，训练结束时稳定在0.3左右。

图5 训练次数和准确率变化的关系

图6 训练次数和损失变化的关系

2.6.2 测试结果评价指标

实验评价检测方法有效性的三个指标分别是灵敏度(Sen)、阳性预测值(PPV)和准确率(Acc)，分别通过下式计算：

(7)

(8)

(9)

其中，TP表示胎儿QRS波群被正确检测为胎儿QRS波群的样本，FP表示非胎儿QRS波群被错误检测为胎儿QRS波群的样本，FN表示胎儿QRS波群被错误检测为非胎儿QRS波群的样本，TN表示非胎儿QRS波群被正确检测为非胎儿QRS波群的样本。

实验测试结果如表2所示，QRS波群检测的灵敏度、阳性预测值和准确率分别为86.98%、88.35%和78.03%。影响准确率的主要原因有：数据存在高频肌电干扰，其形态与胎儿QRS波群相似，导致高频肌电噪声被错误识别成胎儿QRS波群；数据集中存在10%左右的胎儿QRS波群与母体重合，最终未被正确识别。

表2 针对15条数据检测结果统计

2.7 实验结果对比

2.7.1 不同激活函数对比

激活函数会影响卷积神经网络的分类性能，文中进一步研究了不同激活函数对胎儿QRS波群检测性能的影响。测试了三种不同的激活函数分别是Sigmoid、Tanh和ReLU，分类准确率分别为62.47%、70.28%和78.03%。从实验结果可以得出ReLU的检测效果优于其他两种激活函数。原因是在误差反向传播过程中计算梯度时，Sigmoid和Tanh计算导函数复杂，而ReLU的导函数固定为1；Sigmoid和Tanh存在饱和区，容易出现梯度消失的现象；ReLU将网络中部分神经元输出置0，增加网络稀疏度，减少过拟合现象。

2.7.2 不同信号长度分段对比

根据PhysioNet提供的参考注释显示，一个胎儿QRS波群时限为50毫秒左右，为了覆盖一个完整的心跳周期每段信号至少50毫秒。文中进一步研究了不同信号长度对胎儿QRS波群检测性能的影响，即50毫秒、100毫秒、150毫秒和200毫秒，研究结果显示准确率分别为76.26%、78.03%、75.87%和68.27%。从实验结果可以得出分段为100毫秒时检测准确率最高。分段长度太短不能包含完整心跳周期，太长含有冗余信息。分段长度不能超过200毫秒，否则胎儿和母体QRS波群会出现在同一段信号中，失去分类意义。

2.8 与其他方法对比

为了验证卷积神经网络的有效性，文中选取支持向量机和BP神经网络做不同方法对比，对比结果见表3。支持向量机作为机器学习中的传统分类算法，通过内核函数映射至高维特征空间实现非线性分类；文中采用高斯径向基函数作为核函数，分类准确率达到70.65%。BP神经网络作为人工神经网络中的经典算法，非线性映射能力强大；文中采用了两个隐含层以及非线性激活函数Sigmoid，分类准确率达到75.21%。最终对比三种分类器的准确率，实验结果表明卷积神经网络具有更好的分类能力，可以有效检测胎儿QRS波群。

表3 与其他方法对比

3 结束语

文中成功将二维卷积神经网络应用于胎心率检测课题中，结合了批量标准化和Dropout技术，提高了卷积神经网络性能。由于卷积神经网络具有局部连接和权值共享等特性，能够通过有监督训练自动获取胎儿QRS波群特征，而且特征对微小平移具备不变性，从而能够解决胎心率检测任务。最终在不去除母体心电信号的基础上使用卷积神经网络进行检测，经过数据集的测试分别得到了较高的灵敏度、阳性预测值和准确率。但是由于心电信号的一维性，导致卷积神经网络能够提取的时频特征较少，最终在测试时出现误差，分类结果受到局限。在接下来研究中一方面应提高对数据集的处理，例如研究如何去除高频肌电噪声的干扰；另一方面继续对卷积神经网络结构进行优化，发挥卷积神经网络对大数据处理的优势。