朱永贵,华敏杰,张佳佳
(中国传媒大学理学院,北京 100024)
随着深度学习技术的发展,ANN(Artificial Neural Networks,人工神经网络)由于其强大的学习能力受到了研究人员的广泛关注,它是一种模仿动物大脑神经突触连接结构进行分布式并行信息处理的算法模型,在工程和学术界也常简称为神经网络[1]。ANN的网络结构通常包含输入层、隐含层和输出层,其中输入层和输出层只有一层,而隐含层可以有多层。每层都含有若干个神经元,相邻层之间的所有神经元之间都存在连接,每个连接上都有一个权重。神经网络的目标就是优化连接上的权值,使得从输入层到输出层的映射最能符合实际情况。
但是,由于ANN的各层之间均采用全连接结构,这使得其参数量十分巨大,尤其是在对图像的处理过程中,每个像素点都是一个特征值,全连接结构所产生的可学习参数量是难以接受的。并且,全连接结构的参数是非常冗余的,既加大了神经网络的计算量,减慢了训练时的收敛速度,又增加了过拟合现象出现的概率。
CNN(Convolutional Neural Networks,卷积神经网络)是一种特殊的神经网络,引入了卷积、池化、局部感受野以及权值共享等概念,使得CNN能够利用输入数据的二维结构[2]。因此,与传统的神经网络相比,CNN更适合用于处理图像问题。
GPU(Graphic Processing Unit,图形处理单元)这一概念最早由Nvidia在1999年发布GeForce 256图形处理芯片时提出。在此之前的显卡仅能用于简单的文字和图形输出,而GeForce 256采用了“T&L”硬件(硬件级的光……