池化层
- 面向神经网络池化层的灵活高效硬件设计
多数网络都需要池化层来降低卷积层输出的特征向量。对于池化层，研究者们提出了许多硬件方案：陈浩敏等人[4]基于YOLOv3-tiny的硬件加速设计中池化层输入图像最大可支持416，但仅支持核大小为2×2 的池化。许杰等人[5]设计的cifar10_quick 优化网络，采取两两比较的层间流水实现核2×2的池化，该方法无任何数据复用，因此在重叠池化中性能较低。Cho 等人[6]的卷积神经网络加速器使用HLS（high-level synthesis）设计，HL
计算机工程与应用 2023年22期2023-11-27
- 基于VGGNet深度卷积神经网络的人脸识别方法研究
网络由卷积层、池化层和全连接层组成。卷积层是对输入数据矩阵进行特征的采集，卷积层参数包括卷积核、输入数据矩阵的填充(padding)和卷积核的滑动步长(stride)。如图1 所示，卷积层的输入是一个单通道4×4 的特征图，采用单通道的3×2 的卷积核进行卷积，最终得到一个2×3的特征图，这个特征图就是卷积层的输出特征图。图1中，输入特征图填充为0，卷积核从左到右、从上到下，以步长1在输入特征图上不断滑动遍历计算可得到特征图。输出特征图的尺寸和输入特征图尺
电脑知识与技术 2023年25期2023-11-06
- 基于卷积神经网络的指挥控制专网DDoS 检测方法*
入层、卷积层、池化层、全连接层和输出层组成。不同结构的CNN 具有不同数量的卷积层和池化层。假设CNN 的输入特征是第i层的特征图是Mi(M0=X)。那么，卷积过程可以表示为式（2）：其中Wi是第i层的卷积核权重向量，运算符号⊗代表卷积运算，bi是第i层的偏移向量；f(*)是激活函数。卷积层通过指定不同的窗口值提取数据矩阵Mi-1的不同特征信息，通过不同的卷积核提取数据中不同的特征Mi。在卷积操作中，同一个卷积核遵循“参数共享”的原则，显著减少神经网络的参
舰船电子工程 2023年5期2023-08-30
- 基于多头自注意力机制和卷积神经网络的结构损伤识别研究
、若干个卷积和池化层、多头自注意力层、全局池化层和Softmax分类层堆叠组成，如图1所示。模型中输入层输入结构受到动力作用后各个测点上产生的加速度信号；卷积层和池化层提取输入加速度信号中的短期局部特征并实现降维；多头自注意力层通过关注池化层输出序列在不同位置、不同表征子空间中的关键信息，学习长期全局特征；全局池化层对序列各个位置的信息进行汇总并压缩；最后将全局池化层的输出经过全连接层后再通过Softmax进行分类，类别数对应损伤模式的个数，每个神经元输出
振动与冲击 2022年24期2023-01-03
- TensorFlow下基于CNN卷积神经网络的手写数字识别研究
入层、卷积层、池化层、全连接层和输出层组成。CNN主要有两个处理阶段：特征学习阶段和分类阶段，特征学习阶段通过卷积层和池化层结合来实现，这个阶段是从训练示例中提取最重要的特征，然后把这些提取的特征传送到全连接层，深度神经网络的最后一层往往是全连接层+Softmax分类网络，生成一个等于项目中所需要类的数量的分类器。卷积神经网络中有多个卷积层，功能是对输入数据进行特征提取。卷积层由多个卷积核组成，其优点是先局部感知，然后在高层综合局部信息从而得到全局信息；卷
信息记录材料 2022年9期2022-11-22
- 基于卷积神经网络的手写数字识别研究
Layer)、池化层(Pooling Layer，也叫下采样层)以及激活层，使得神经网络的层数加深.为了实现分类功能，还会设置一个全连接层(Fully Connected Layer, FC Layer)作为最后的输出层，进行损失计算并输出分类结果[7].图像识别的卷积神经网络模型如图1所示.最左边是输入图像，以若干个数据矩阵的形式输入；接着是卷积层，卷积层是卷积神经网络特有的，卷积层可以加上激活函数；在卷积层后面是池化层，池化层没有激活函数.“卷积层+池
兰州文理学院学报(自然科学版) 2022年5期2022-09-24
- 基于迁移学习的小型卷积神经网络的图像分类研究
入层、卷积层、池化层以及全连接层等结构组成，其中卷积层和池化层，它们的主要作用将网络输入的数据集中的相关特征进行提取，全连接层主要对数据集的结果进行分类。2.1.1 卷积层卷积层作为卷积神经网络的重要模块，通过在卷积层中组合不同类别的卷积核，实现对数据集中的图像区域内的像素进行卷积计算，进而对数据集中的特征进行提取。卷积核类别的不同，提取得到的特征变量也不同，使用高级别的卷积核对输入数据集的输入特征进行提取，可以得到数据集的高维特征，使用低级别的卷积核对输
电子技术与软件工程 2022年6期2022-07-07
- 基于深度学习的ECG信号分类
结构中加入最大池化层和扩张卷积，增大感受野，减少训练参数。相比原始二维GoogLeNet和无添加最大池化层和扩张卷积的一维GoogLeNet，一维改进GoogLeNet网络的训练效率和测试效果有所提升，可达到99.39%的心电信号分类准确率。1 数据集及数据处理1.1 数据集本文实验采用MIT-BIH心律失常数据库(MIT-BIH Arrhythmia Database)[11]，其中共包括48条双通道动态ECG记录，每条记录的心跳持续时间为30 min，
计算机与现代化 2022年5期2022-06-02
- 基于MDM-ResNet的脑肿瘤分类方法
文提出了双通道池化层.3)通过对多种ResNet中残差块的研究,本文提出了一种多深度融合残差块,该残差块将不同ResNet中“跳跃连接”跳过的卷积单元相结合,同时保留“跳跃连接”,在结合多种卷积方式的同时也增加了残差块的宽度.将以上三种结构融合组成了本文的分类网络,即MDM-ResNet．1 相关工作脑肿瘤的分类已经得到了广泛的关注,在过去的几年中研究者们提出了多种分类方法．Cheng等[16]提出了一种基于DNN的方法对大脑正常和异常的CT图像进行分类,
南京信息工程大学学报 2022年2期2022-05-18
- 基于VGG16 网络的人脸情绪识别*
特有的卷积层、池化层这两部分及全连接层这第三部分。在卷积神经网络中，卷积层与池化层一般情况下都会呈多次交替地出现，因此不同的模型具有不同的层级结构。1.1 卷积层卷积层是卷积神经网络的核心，主要功能就是对卷积进行运算，实现特征提取操作。卷积核(Convolutional Kernel)的功能就是对输入矩阵进行加权平均的一种权值定义函数，卷积核在一个特征图上不断地移动，与输入矩阵根据一定的规则相乘及求和便可直接得到其特征[8]，可以直接通过一个卷积核实现对一
电子技术应用 2022年1期2022-04-28
- 基于VGG16Net的人体跌倒识别研究
还包含卷积层，池化层和全连接层，这些都是卷积神经网络的重要组成部分[2]。1.1 输入层卷积神经网络的输入层主要用于进行数据的接收，将接收到的数据直接传入到后续的各隐藏层之中，进行前向传播和误差反向传播的训练，直至网络达到设定的训练次数或者训练预测达到设定的阈值为止[3，4]。在输入层后，通常会用一个卷积层进行连接。1.2 卷积层卷积神经网络的卷积层通常处于输入层之后，主要用于进行输入数据的特征提取。对于传入卷积层的数据，会通过卷积操作将输入的数据中重要的
山西电子技术 2022年2期2022-04-22
- 基于卷积神经网络的交叉口过车速度短时预测模型研究1
入层、卷积层、池化层、全连接层和输出层构成。卷积层和池化层可以取多个，采用卷积层和池化层交替设置方式。卷积层输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和，并加上偏置值，得到神经元的输入值。在大数据和云计算支撑下，采用卷积神经网络开展交叉口的过车速度预测，发挥多层的人工神经网络所具有的优异的特征学习能力，既可以快速准确地挖掘出隐藏在交通大数据背后的数据关联关系，又可以避免基于统计方法的预测算法存在的“突发、异常”场景
交通与港航 2022年1期2022-03-03
- 一种基于FPGA 的卷积神经网络加速器实现方案*
入层、卷积层、池化层、全连接层及输出层构成,通常采用多个卷积层和池化层交替出现的结构,在卷积层、池化层、全连接层中,层内部的运算都是相互独立的,靠后的层内运算不会影响靠前的层内运算,换言之,以并行的方式实现CNN 的网络结构是可行的。 在文献[5]中,作者率先指出CNN 并行特征可以概括为层间并行性、输出间并行性、卷积核间并行性和卷积核内并行性四种类型。 但在实际应用中由于各种客观原因,无法兼顾四种并行性,在文献[6]中作者将探寻CNN 并行性的最大挑战总
北京电子科技学院学报 2022年4期2022-03-02
- 面向Zynq平台的卷积神经网络单元设计与实现
并优化卷积层和池化层的IP核设计.实验结果表明，在保证手写数字识别正确率的同时，该设计相比于基于ARM的嵌入式平台神经网络模型运算速度有显著提升.2 重要概念2.1 卷积神经网络人工神经网络是机器学习的一个分支，是模拟生物神经网络的数学模型的统称，卷积神经网络作为人工神经网络的一种常见结构，其主要优势在特征提取方面.卷积神经网络主要结构如图1所示，包括卷积层、池化层和全连接层.其中，卷积层接受上一层的特征图，通过多个卷积核卷积来提取特征，并输出该层的特征图
小型微型计算机系统 2022年2期2022-02-19
- 基于卷积神经网络的唐卡尊像自动分类研究
类器。卷积层和池化层的权重参数在预训练模型中共享，此模型对于水泥混凝土桥梁表面缺陷的分类准确率有98.96%[25]。卷积神经网络有较多改进版本，主要方法就是采用Adam算法优化模型，通过批归一化与Dropout改善网络，缓解过拟合，不同作者有不同的网络模型，但是在唐卡方面的工作并不是很多。国内主要是对破损唐卡进行修复[26]，提出的修复方法主要适用于对称性唐卡；再者就是唐卡图像的检索以及局部图像的识别[27]，李晓杰将局部累加直方图和传统局部累加图进行对
计算机技术与发展 2021年12期2022-01-09
- 面向人脸识别的Small-FRNet模型研究*
通常由卷积层、池化层和全连接层组成。当卷积步长为1、零填充时，卷积层计算公式为式中W为k×k的卷积核，b为偏置值，X为M×N的输入特征图，H为(M-k+1)×(N-k+1)的输出特征图。由式(1)可知，卷积运算包含了繁杂的乘法操作，且当输入特征图X和卷积核W越大，更加增加了计算开销。同时卷积神经网络中包含的全连接层虽然能有效地预测出特征表示的所属类别，但是其计算量也十分庞大。综上所述，传统卷积神经网络存在着运算量大、参数量多等问题。因此本文采用深度可分离卷
传感器与微系统 2021年11期2021-11-24
- 一种基于Zynq的CNN加速器设计与实现
层卷积层、3层池化层和2层全连接层构成，输入32×32×3的图像数据，输出10类物体分类的结果。选择其中数值最大的结果输出，即为最终分类的结果。cifar10_quick模型3个池化层对应的步长为2，池化窗口的大小为3×3，训练5 000个批次，达到的准确率为75%左右。文中保持3个池化层的步长为2不变，池化滤波器的大小修改为2×2，训练后准确率达到80%。图1中展示了修改后cifar10_quick_v1模型的网络结构。图1 cifar10_quick_
计算机技术与发展 2021年11期2021-11-22
- 基于卷积神经网络的羚羊图像识别模型研究
layer)、池化层(pooling layer)、全连接层及输出层构成。卷积层、和池化层会存在若干个,其本质就是交替设置，这个过程会不断循环。在卷积神经网络之中，网络中的神经元进行局部连接的方式是每个神经元都和上一层与下一层进行相连，然后通过对应的连接权值和局部输入进行加权求和的方式，最后再加上偏置值就能够得到该神经元输入值,这个过程就是卷积的过程。3 卷积神经网络模型构建本次论文就是搭建卷积神经网络中的LeNet-5 网络模型，由输入层、卷积层、池化层
电子技术与软件工程 2021年17期2021-11-20
- 在移动荷载作用下简支梁桥的结构损伤识别研究
过多个卷积层和池化层的交替处理后，提取原始数据的特征信息，再映射到一个新的特征表达的数学模型。CNN是典型的前馈网络，先通过前馈运算从原始数据中提取数据特征，再利用反向传播算法进行网络参数的优化，求解出最优的权值与阈值。前馈运算，即是采用原始数据作为网络的输入，通过卷积层将原始数据中包含的各类特征进行提取和抽象，再由非线性激活函数激活后传入池化层，然后池化层把特征提取后的信息进行汇合和压缩，最后将数据通过全连接的方式继续向前运算得到计算值。所谓反向传播，即
四川水泥 2021年9期2021-10-29
- 基于PCA-CNN的光伏电站设备故障诊断研究
型特征，再经过池化层降低数据大小，然后接全连接层分类或者回归任务。图1 卷积神经网络示意图2.2.1 卷积层卷积层是利用不同大小的卷积核与卷积核参数对输入进行卷积操作，不同大小的卷积核获取到的输入特征的感受野不同，不同的卷积核参数可以获取到不同类别的特征信息。卷积层的计算公式为:2.2.2 池化层池化层一般连接在卷积层的后面，用于对当前输入的下采样，可以用于压缩数据规模并减小过拟合现象。池化层根据不同的计算方式可以划分成最大池化层、平均池化层等。池化层的计
科学技术创新 2021年30期2021-10-25
- 基于卷积神经网络的蜡染纹样分类
入层、卷积层、池化层、全连接层组成。为扩展网络深度，CNNs通常包含多个交替堆叠的卷积层和池化层。深层的CNNs拥有大量的参数，需要巨大的数据样本进行长时间训练才能充分捕获数据中的规律，从而取得好的分类效果。VGGNet、AlexNet等优秀模型所使用的训练数据集为120万张图像的ImageNet数据集。在具体的应用领域重新建立新的CNNs，如果数据样本不足会导致网络模型在训练过程中参数过度拟合训练数据集，从而影响模型的泛化性能。本文采用迁移学习的方法，对
现代计算机 2021年22期2021-09-06
- 卷积神经网络模型研究分析*
核心是卷积层和池化层。1 卷积神经网络的核心运算1.1 卷积层的运算(1)输入：W1×H1×D1。(2)超参数：卷积核的个数：K，卷积核的尺寸：F，步长：S，填充：P。(3)输出：W2×H2×D2，(4)参数：(F×F×D1+1)×K，其中，W是图像的宽度，H是图像的高度，D是图像的深度。1.2 池化层运算(1)输入：W1×H1×D1。(2)超参数：卷积核的尺寸:F，步长：S。(3)输出：W2×H2×D2，参数：最大池化和平均池化是没有参数的，但是一些池化
科技创新与应用 2021年23期2021-08-30
- 基于核相关滤波的改进目标跟踪算法
致是由卷积层、池化层和全连接层三大模块组成,每一层之间都是互相连接的,通过向前反馈来求解结构中的参数。卷积层的作用就是负责提取图像的特征信息,这是最基本的操作。其中池化层的主要作用是减小特征维度,从而减少过拟合。全连接层是把前面已经提取的特征全部综合起来,常用于分类。多个卷积单元组成卷积层,每个卷积单元都有相对应的参数,这些参数是通过反向传播计算得到的。卷积层的作用就是提取图像特征,一般卷积层的浅层只能提取一些边缘特征,卷积层的深层才可以提取更加复杂的特征
数字技术与应用 2021年7期2021-08-19
- 基于FPGA和卷积神经网络的人脸识别系统
me方式卷积。池化层与卷积层交替循环，三次池化均为最大池化，大小为2×2。第三层池化层之后是一层全连接层和一层输出层。经8个输出端的输出层输出预测结果。训练时选用的激活函数是ReLU函数,使用TensorFlow自带的AdamOptimizer优化器对模型参数进行训练。模型训练完毕后将生成的模型文件导入Jupyter notebook[3][4]。2.3 生成bit文件卷积神经网络的重点在卷积层，池化层和全连接层，其中，全连接层我们通过复用卷积模块的方式来
电子元器件与信息技术 2021年5期2021-07-27
- 基于卷积神经网络的冲击地压微震定位法
个卷积层、4个池化层以及2个全连接层。网络的输入层采用512*512*2的尺寸。最终到达第四个池化层后输出32*32*128的尺寸。之后经过全连接层计算，由于研究区域被划分为25个区间，所以输出采用25的模型尺寸。图5 网络结构2.2 卷积层卷积层主要包括特征图以及卷积核。具体的卷积操作如图6。当卷积核卷积位置超出特征图有效位区域时，做填充或其他操作。然后激活函数对卷积后的值做激活操作。得到卷积层最终的输出。图6 卷积层的运算过程示意图2.3 池化层池化层
电子测试 2021年13期2021-07-24
- 基于卷积神经网络的发电机运行状态实时监视
后使用带有预设池化层的卷积神经网络对图像进行多标签分类，以实现发电机组运行状态的在线识别。1 卷积神经网络和预测池化层卷积神经网络是图像分类处理常见的人工智能算法[10-11]，由卷积层、池化层和完全连接层组成。在单标签图像分类应用场景中，卷积神经网络可以有效地处理对齐良好的图像，具备良好的分类性能[12]。然而在多标签图像分类应用场景中，由于会出现错位和遮挡等复杂问题，导致卷积神经网络的分类准确性较差。为此，研究通过预测池化层对分割图像进行特征标签预测，
能源与环保 2021年6期2021-07-06
- 改进深度卷积神经网络及其在变工况滚动轴承故障诊断中的应用
线性激活函数。池化层的作用是降低特征数量从而减少参数的数量,防止深度卷积神经网络过拟合。常用的池化层有最大池化层和平均池化层两种。深度卷积神经网络通过误差反向传播对参数进行学习,计算卷积层和池化层的梯度后再通过链式求导法可以对整个网络的梯度传播进行计算。损失函数L关于第l层的卷积核和偏置的偏导数为(2)(3)式中:L为损失函数;W(l,p,d)为卷积核;Z(l,p)为第l层的第p个没经过非线性激活函数的净活性值;X(l-1,d)为第l-1层的输入;δ(l,
西安交通大学学报 2021年6期2021-06-07
- 基于深度学习的人脸微表情识别
过多个卷积层、池化层、全连接层和Softmax层进行微表情图像的分类识别。卷积层再将输入图像经过预处理后形成特征图，经过池化层将所有的特征图都提取一样固定长度的特征向量，再将这些特征向量都串联在一起形成一个新的向量，最后将这个向量输入给全连接层和Softmax层进行分类训练。本文的卷积神经网络主要改进了最大值池化层和结构优化两个部分。1.3.1 最大值池化层池化层对图像起到缩放的作用。经过卷积层提取特征后，需要对其进一步的压缩，此时需要池化层的参与。最大值
智能计算机与应用 2021年4期2021-06-05
- 基于AlexNet 的手写希腊字母识别研究*
入层、卷积层、池化层、全连接层和输出层。为了提取的特征更加丰富，网络模型通常由一个或多个卷积层、池化层以及全连接层构成。经典的卷积神经网络模型 有LeNet-5、AlexNet、VGG、GoogleNet、ResNet以及DenseNet 等，但每个模型都有独特的优点与缺点[1]。随着卷积神经网络的不断发展，基于卷积神经网络的图像分类问题比基于传统的“预处理+特征提取+分类器”的方法识别效果更加良好，得到了广泛应用[2]。在计算机视觉、自然语言处理、医疗图
通信技术 2021年5期2021-05-20
- VGG16 在地下排水管道缺陷图像分类中的应用
层、全连接层和池化层，其中卷积层用来提取图片的特征，全连接层用来接收所有特征，池化层是为了压缩图像的特征，既能保存主要的特征又能降低网络计算的复杂度。输出层一般由全连接层构成，用于生成一个分类器，对输出值进行分类。近年来，CNN 的准确率已通过ImageNet[4]之类的大规模图像数据集进行测试，该图像数据集包含超过10000 万张图像。新的CNN 如Alexnet[5]、VGG、GoogLeNet[6]和ResNet[7]在图像分类方面表现的越来越好。并
科学技术创新 2021年7期2021-03-23
- 基于深度学习下的卷积神经网络参数学习
看是由卷积层、池化层和全连接层交替组成的［4］.而全连接前馈神经网络也可用来处理图像信息问题.通过对两种方法进行对比，可以发现，当利用全连接网络处理图像信息时会出现以下两个问题：（1）参数太多.每个连接上都存在一个权重参数，如果隐藏层的神经元数量增多，则权重参数的数量也会随之增多.当训练该神经网络时，会产生参数迭代时间过长、收敛速度变慢的现象，同时也会容易发生过拟合现象［5］.（2）很难提取图像的局部不变性特征.局部不变性特征是指局部图像特征不随图像的变形
渤海大学学报（自然科学版） 2021年4期2021-03-17
- 基于改进卷积神经网络的人脸情绪识别研究
是一个全局平均池化层,在将最后的结果输入Softmax 分类器当中从而生成表情识别的预测值。最后的Softmax 分类器对全局平均池化层的输出结果进行分类处理,将人脸情绪分类愤怒、沮丧、恐惧、高兴、悲伤、惊讶、中性七类。1.1 卷积层卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元, 对于大型图像处理有出色表现。卷积神经网络中每层卷积层由若干卷积单元组成,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的
科学技术创新 2021年1期2021-01-20
- 基于深度学习的水下目标识别方法研究
构包含卷积层、池化层（也称为降采样层）、全连接层等，卷积层和池化层通常包含多个特征图像（由不同卷积核生成），通过多层的卷积和池化，可以将数据从二维矩阵转化为一维特征向量，最后通过Softmax 等分类层即可获得预测的类别标签。图 3 LeNet 卷积神经网络，用于识别手写数字集Fig. 3LeNet convolutional neural network for recognizing handwritten digit sets1）卷积层卷积层是卷积神
舰船科学技术 2020年12期2021-01-19
- 可实现时分复用的CNN卷积层和池化层IP核设计
NN的卷积层和池化层中，每一层的卷积运算都只与当前层的特征运算核相关，与其他层相比具有独立性和不相关性。而FPGA 作为一种高度密集型计算加速器件，其硬件结构有助于算法中并行运算的加速[11]。当前，利用FPGA 实现CNN 的方式以Verilog HDL 和HLS 为主。北京大学软件与微电子学院采用Verilog HDL语言来设计IP核[12]，并根据CNN模型设置了多种不同种类的IP 核，可实例化不同的CNN网络，充分利用FPGA 的并行性提升了CNN
计算机工程与应用 2020年24期2020-12-26
- 基于卷积神经网络的纸币分类与点钞
。2.1.2 池化层池化层也称欠采样或下采样，主要用于特征降维、压缩数据和参数的数量。主要有最大池化法(Max Pooling)、平均池化法(Average Pooling)以及随机池化法(Stochastic Pooling)，在模型中采用最大池化方法，相较于平均池化法、随机池化法，最大池化法更像是做了特征的选择，选出了分类辨识度更好的特征，提供了非线性[5]。通过池化可以减小过拟合，提高模型的容错性。2.1.3 全连接层池化层没有参数，而在全连接层，全
无线互联科技 2020年15期2020-11-10
- 基于卷积神经网络的图像隐写术分析方法∗
卷积层数、去掉池化层、增加卷积核，以及使用批正则化（Batch Normalization，BN）函数对隐写分析准确率的影响。实验表明，针对HUGO隐写算法，在嵌入率为0.4bpp的情况下本文算法能达到89%的检测准确率。比文献［14］提高了12%；在嵌入率为0.1bpp 的情况下，本文算法能够达到80.1%，能够提高19%。2 本文方法2.1 卷积网络框架本文采用如图1 所示的卷积神经网络框架，主要模块包括输出层、HPF 层、卷积层、池化层、全连接层和输
计算机与数字工程 2020年8期2020-10-14
- 基于联合抗噪算法的滚动轴承故障诊断研究
E 模型了舍弃池化层以减少1D-DCAE 在数据重构过程中造成的信息丢失，从而提升降噪能力。1 卷积降噪自编码和卷积神经网络结构1.1 一维卷积神经网络卷积神经网络（convolitional neural network，CNN）是一种多模块的前馈神经网络，传统CNN 的结构主要由特征提取模块和分类模块2 个部分组成，特征提取模块由输入层、卷积层、激活函数、池化层组成，分类模块包含全连接层和分类层。 特征提取模块的作用是从数据中提取特征，分类模块实现对隐
华东交通大学学报 2020年4期2020-09-21
- 基于改进LeNet-5的牛奶生产日期识别研究
入层、卷积层、池化层、全连接层及输出层。1.1 输入层卷积神经网络的输入层能够直接接收二维图像，并且能够主动提取输入图像的数据特征、学习分类器，无需人为参与，大大减少了人工预处理过程，有助于学习与当前分类任务最为有效的视觉特征。1.2 卷积层卷积层是卷积神经网络的基础核心，主要用作图像的特征提取。通过一个可学习的卷积核对上一层的特征图进行卷积，再经过激活函数，就能够获得新的特征图。之后继续对特征图进行卷积，特征之间继续组合卷积多个特征图的值[15]：(1)
计算机技术与发展 2020年7期2020-07-15
- 基于卷积神经网络的JPEG 图像隐写分析方法研究
的丢失，不使用池化层，并加入了跳转链接，以防梯度消失现象出现。Zeng 等人[2]提出一个含有三个卷积神经网络深层子网络的JPEG 图像隐写分析模型HCNN，取得较好的效果。甘霖[3]设计一种在空域感知像素的变化，以此来检测变换域是否有秘密信息嵌入的模型，该模型对HCNN 的复杂结构进行了简化，减少了参数变量，使计算开销更低。甘霖[3]提取的网络模型JPEGCNN 通过优化HCNN 结构取得更好的分类检测效果。但该模型使用的池化层会丢失一些信息，并且卷积核
现代计算机 2020年15期2020-07-07
- 基于胶囊网络的三维模型识别
络的设计中使用池化层在一定程度上增大了神经元的感受野以及降低了样本训练的开销，但是大量池化层的使用会造成原始数据结构信息的丢失，从而对最终的识别结果造成不良影响。Hinton等［5］于2017年提出的胶囊网络创新地使用向量胶囊取代传统神经网络的标量神经元，舍弃了池化层，并提出了动态路由（Dynamic Routing，DR）算法更新胶囊之间的连接权重，从而较好地保留了特征的空间信息，在MINIST手写数字识别上达到了99.2%识别准确率。自胶囊网络诞生之后
计算机应用 2020年5期2020-06-07
- 一种基于卷积神经网络的结构损伤检测方法
连接、卷积层和池化层，从而可以大幅减少网络训练的权重数量，减少模型复杂度，防止过拟合等，目前已经在语音识别、自然语音处理等方面取得了大量的研究成果［12-16］. 在结构损伤识别方面，Cha等［17］利用卷积神经网络通过识别混凝土裂缝的图片来检测损伤，将训练好的CNN对来自不同条件下（例如强光、阴影和非常薄的裂缝）结构的55 张5888×3584 像素分辨率的图像进行预测，结果表明该方法具有良好的鲁棒性和适应性. Lin等［18］和李雪松等［19-20］分
河南科学 2020年4期2020-06-03
- 基于深度学习卷积神经网络的人体行为识别研究
个卷积层和一个池化层，两个卷积层的卷积核的大小都为3×3，两个卷积核的个数都是64，步长为1。池化层采用最大池化，池化层的窗口大小为2×2，步长为2。第二复合卷积层包含两个卷积层和一个池化层，两个卷积层的卷积核的大小都为3×3，两个卷积核的个数都是128，步长为1。池化层采用最大池化，池化层的窗口大小为2×2，步长为2。第三复合卷积层包含三个卷积层和一个池化层，三个卷积层的卷积核的大小都为3×3，三个卷积核的个数都是256，步长为1。池化层采用最大池化，池
科技传播 2020年6期2020-05-25
- 一种基于注意力机制的三维点云物体识别方法
卷积层替代最大池化层，减少池化过程的信息损失。2 相关工作三维点云的特征提取技术在与点云相关的应用中发挥着重要作用。与深度学习特征有关的主流的点云特征提取方法主要可以分为三类：体素化方法[4]、多视图方法、最大池化方法。体素化方法可以视作二维卷积在三维空间上的拓展与应用。体素化方法结构简单，但是在三维空间构造网格对内存资源消耗大，并且点云在空间中的分布往往是稀疏的，直接对空网格进行卷积会造成不必要的计算资源浪费。所以单纯的体素化方法一般难以完成高分辨率点云
计算机技术与发展 2020年4期2020-04-30
- 基于一维卷积网络的心电图辅助诊断方法
量;此外,一维池化层可以降低特征分辨率,抽取更上层的特征,进一步减少参数量,提高了训练和预测时的速度,同时也降低了对硬件的要求; 一维卷积神经网络是一种端到端的结构,输入序列数据,自动提取特征,自动完成分类诊断工作,鲁棒性极高,可以胜任不同场景下的心电识别工作。2.2 网络结构一维卷积神经网络一般包括输入层、一维卷积层、激活层、一维池化层、随机失活层、全连接层等结构,各层的结构如下:2.2.1 输入层:本质上是一个输入变量,作用是接收序列样本,其输入张量的
科学技术创新 2020年3期2020-03-24
- 基于全卷积神经网络的变压器故障诊断
通常由卷积层、池化层和全连接层组成。全卷积神经网络用卷积层代替了传统卷积神经网络的全连接层，通过卷积层的局部连接和权值共享特性，进一步减少了网络的训练参数，可靠性也得到了提高。1.1 卷积层全卷积神经网络的核心是卷积层，将前一层通过不同的卷积核对进行卷积运算可以得到下一层的卷积层。卷积核与前一层的局部感受也相连，具有局部特征提取和共享权值的特点[3]。因为全卷积的卷积层是局部连接，所以其所需要的权重参数比传统全连接层的全连接需要的权重参数更少，基于此，全卷
科技创新与应用 2020年4期2020-02-25
- 基于值导数GRU 的移动恶意软件流量检测方法
此外，通过增设池化层使值导数GRU 算法获取流量的重要信息。实验结果表明，基于值导数GRU 的移动恶意软件流量检测方法比GRU 算法拥有更高的准确率。2 GRU 算法循环神经网络（RNN,recurrent neural network）[15]是一种处理序列数据的深度神经网络。通过在相邻时间步的隐层单元之间引入循环连接，RNN 能够有效地利用历史信息来执行当前决策。但是，经过多阶段传播的RNN 梯度倾向于消失或爆炸，导致RNN 丧失学习长期依赖的能力，这
通信学报 2020年1期2020-02-09
- 基于细节提取的运动目标追踪算法①
是若干卷积层和池化层(经典Alexnet采用5层卷积层),网络通过φ函数得到128个通道的特征图,并将两个特征图通过深度卷积进行融合定位视频中目标位置.图1 SiamFC网络基础架构1 视频中运动目标追踪由于CNN网络在目标检测领域取得良好的效果,能有效记忆目标的特征,所以CNN网络也被引入追踪网络算法中[9].SiamFC网络在VOT2016 (Visual Object Tracking)竞赛中获得良好的比赛成绩,相较KCF(Kernelized co
计算机系统应用 2020年1期2020-01-15
- 基于深度学习的人体行为识别技术研究
函数。1.2 池化层池化层采用局部求均值的方式进行降维[1]。详细运算过程如式（2）所示。其中，Xil，j为进行池化过程后局部的一个输出项，它是由上一层大小为n×n的局部小矩阵进行均值运算得到的。2 基于3D卷積神经网络的行为识别模型3D卷积神经网络的是由8个卷积层、5个池化层、两个全连接层和一个softmax分类层组成的，该文采用大小为 3×3×3的卷积核，步长均为1×1×1。所有池化层都采用最大池化，除第一个池化层外，所有池化层的池化核大小均设为2×
科技资讯 2019年29期2019-12-10
- 基于BWDSP众核的CNN计算任务划分优化①
主要由卷积层、池化层和全连接层三类层次组成.在较为复杂的CNN 模型中,隐藏层可能会包含多段卷积和池化层.其中卷积层主要用来实现对输入的数据的特征的提取,池化层主要是对特征进行选择和信息过滤,而全连接层一般是作为隐藏层的最后一部分,并将所包含的信息传递给下一层全连接层.如图1显示的是较为简单的CNN 模型-LeNet5[7],其是LeCun Y 设计用于手写数字识别的卷积神经网络,具有2 个卷积层,2 个池化层和2 个全连接层.图1 LeNet5 网络结构
计算机系统应用 2019年9期2019-09-24
- 卷积神经网络在在线结构健康监测中的应用
入层、卷积层、池化层、全连接层以及输出层组成。其中卷积层与池化层通常交替分布，通过反复叠加的卷积池化层，可以将低层特征逐步变为高层特征。图1由1个输入层、2个卷积层、2个池化层、2个全连接层和1个输出层组成。而且从图中可以发现，卷积层和池化层中的卷积核和池化采样矩阵的数量并不是只有一个，该数量称为通道（channel）数，多通道卷积核与池化层中的采样矩阵可以同时提取多种特征。所以卷积神经网络中，卷积核的数量与池化参数大小是非常关键的，图1表示通道数不同的5
噪声与振动控制 2019年4期2019-08-27
- 基于KPCA初始化卷积神经网络的方法
入层、卷积层、池化层、全连接层、输出层组成，其中卷积层的可训练权值被称为卷积核。卷积神经网络的初始化是针对卷积核及全连接层的权重值进行合理有效的初始化，使网络降低训练难度，更快收敛[4]。在初始化方法中最为常见的是随机初始化，其主要方法是通过选取某种概率分布生成一组随机数来初始化卷积核[5]。该方法十分简单且易于操作，但是存在较大的偶然性和不确定性，导致网络的不稳定性大大增加。在2010年，由Glorot等提出了Xavier算法初始化CNN，由于一般的神经
计算机技术与发展 2019年7期2019-07-23
- 基于交叉并行卷积神经网络的货物列车车厢号识别系统
交替的卷积层、池化层以及全连接层[3]，通过互联多层的平面对获取的子特征进行阶梯式处理，经过多次迭代操作反向调整优化权重和偏置，从而将视觉系统进行模型化，使其对输入数据的要求更低，具有更好的鲁棒性和泛化力。1.1 稀疏链接在传统的神经网络结构中，一层内的每个神经元对下一层所有的神经元节点都是采用全部连接的形式，从而导致网络中整体参数的数量较多，计算量太大，而CNN则较之前做出了改进，新增了旧网络不包含的层级[4]，通过感知局部的区域，加强邻层神经元节点的局
制造业自动化 2019年3期2019-03-28
- 基于卷积神经网络的经编织机故障预测报警系统的研究
l 0er)、池化层(Pooling Layer)、线性整流层(Rectified Linear Units Layer)、全 连 接 层(Fully-Connected Layer)和 输 出 层(Output Layer)组成。一个卷积神经网络一般有多组卷积池化层,卷积层后接一个池化层,并跟随激活函数,重复此动作,在最后加入全连接层和一个分类器得到一个完整的卷积神经网络。卷积神经网络结构如图2所示。图2 卷积神经网络结构在卷积神经网络中,将正常情况下的
纺织科技进展 2019年2期2019-02-26
- 基于卷积神经网络的交通标志识别方法
由多个卷积层、池化层交替组成,每层包含多个相互独立的神经元,它的一个典型结构如图1所示[8].在CNN结构中,第一层输入的是交通标志图像,然后进入第一卷积层C1,其中有6个卷积核尺寸均为5×5像素,形成6个特征图,特征图大小是28像素,然后再经过池化层S2,使用的最大采样核大小为2×2像素,得到6个特征图,特征图大小为14像素,随后进入第二卷积层C3使用16个卷积核,卷积核大小为5×5像素,产生16个特征图,特征图大小为10像素,再经过池化,降采样核大小为
上海师范大学学报·自然科学版 2018年5期2018-11-09
- 滑动窗口时空深度置信网络行为识别
训练样本；空间池化层的目的是为了降低视频帧的维度；时间池化层的目的是降低时间上的维度。通过多层空间和时间池化并且通过最小化偏差更正各个参数，输出视频的特征。通过这些特征对SVM进行训练和测试，最后得到行为的识别率。需要说明的是时间和空间池化层的数量不是一比一的，而是根据需要进行灵活设定。在本文涉及到的实验中，时间池化层是两层，而空间池化层为三层。2.2 滑动窗口为了便于描述，设视频全长为L帧；滑动窗口宽度为k，即窗口包含k帧；每次滑动位移为t帧，k>t。如
计算机工程与设计 2018年8期2018-08-17
- 基于全卷积神经网络的SAR图像目标分类*
交替的卷积层、池化层堆叠而成，后面若干层为全连接层。CNN的结构在计算机视觉领域得到改进，Springenberg等将CNN结构中的池化层和全连接层都用卷积层代替，提出了全卷积神经网络(All Convolutional Neural Network, A-CNN)，并分析了池化层可用卷积层代替的原因，实验结果验证了A-CNN的可行性[12]。文献[11]已证明CNN结构中，卷积层取代全连接层能够获得比原CNN更好的分类效果。本文将A-CNN应用到SAR-
雷达科学与技术 2018年3期2018-07-18
- 一种改进的卷积神经网络人脸识别算法
积层和三个最大池化层，采用一个全连接层和串联的Softmax-SVM分类器,有效降低了网络结构的深度，减少了训练时长；串联分类器相比Softmax分类器，明显提高了人脸识别的准确率。1 算法原理1.1 卷积神经网络结构人脸识别卷积神经网络（CNN）主要包括卷积层、池化层、全连接层和分类层，通过逐层处理的方式有效提取输入图像的特征。本文构建的卷积神经网络包含三个卷积层、三个最大池化层和一个全连接层，分类层采用串联Softmax-SVM分类器，如图1所示。其中
现代计算机 2018年18期2018-07-18
- 基于深度学习的网络攻击检测
一种由卷积层和池化层构成的多层前馈神经网络.卷积层采用卷积运算来获得局部特征,池化层主要用于对特征进行降维,从而保留对于目标决策重要的特征,而去掉不重要和冗余的特征.图1所示的模型对应的经典的LaNet-5结构如图2所示.图1 基本的卷积网络模型图2 LeNet-5结构在图2中,C1,C3和C5都是卷积层,卷积层的特征是由上一层的特征图通过卷积核所规定的卷积操作来实现,卷积核在特征图上沿着左边缘和上边缘,依次向下和向左边滑动.卷积核的计算如下所示:(1)1
太原师范学院学报(自然科学版) 2018年4期2018-03-12
- Pytorch框架下基于卷积神经网络实现手写数字识别
几层：卷积层、池化层和全连接层。每个平面由多个独立的神经元组成，相邻两层的神经元之间互相连接，而处于同一层的神经元之间没有连接。最终的输出结果是由每层网络和偏置的共同影响下得出的。经过大量训练得出的权重就可以被用于神经网络之中，对图像进行识别与处理。2.1 卷积层一个图像可以被看做一个多维矩阵。在卷积层中，图像与卷积核进行卷积运算。设输入图片长和宽为W，Filter大小为F×F，步长为S，padding的像素数为P，输出的图片的长和宽为W2。则：假设有一个
电子技术与软件工程 2018年19期2018-02-27
- 增强层次的卷积神经网络模型研究
基于随机策略的池化层本文基于随机池化策略构建随机池化层， 替代传统池化层， 在保留最大池化优势的基础上添加随机特性， 可以更好地防止模型训练时出现过拟合.其公式如下：（1）其中为多项式分布位置采样概率，为i位置的激活值，是特征映射图第j个池化区域。随机池化介于最大值池化和均值池化之间，相当于在池化区域上进行不同的形变再进行最大池化操作，在平均意义上，同均值池化类似；在局部区域中，服从最大池化策略。3 基于侧抑制机制的归一化层侧抑制机制是普遍存在于视觉系统多
数字技术与应用 2016年9期2016-11-09