深度学习研究现状分析

文/王菲斐

1　深度学习的基本原理

深度学习的基本原理是通过神经网络结构进行低维到高维的映射，从而能够对数据的特征进行提取，最后能够得到数据的特征表示。以图像分类为例，深度学习下的卷积神经网络能够先提取图像的低维度特征（比如水平线、垂直线、斜线等），然后将这些特征组合，从而形成更加抽象的高维特征，最后可以得到对样本数据的分层特征表示。深度学习与其他算法一起工作，可以帮助我们进行分类，聚类和预测。当深度学习算法训练时，将对数据进行特征提取，测量他们对训练集猜测的错误，然后纠正他们猜测的方式，以便能够更加精确，这就是优化算法。也就是说，人类可以感知的任何东西，以及我们的技术可以数字化的东西，使用深度学习都可以分析世界上发生的事情。通过深度学习，我们基本上可以通过软件来准确地解释我们周围发生的事情，从而使社会有更聪明的行为能力，这就是深度学习在人工智能下的成功案例。

2　深度学习研究现状

由于深度学习具有强大的学习能力，它已经成功地应用于多种模式分类问题，并且相比于经典的机器学习方法，深度学习在识别精度以及识别效率上有很明显的提升。 虽然这一领域尚处于起步阶段，但深度学习的发展对人工智能和机器学习领域无疑会产生广泛和深远的影响。但是它仍存在某些不适合处理的特殊任务，譬如医学图像分析，常见的肿瘤、皮肤病以及癌症等图片，由于各种原因造成的识别精度不高，是影响深度学习在该领域应用主要原因；基于大数据下的深度学习也是难以克服的领域；多任务识别等模式分类问题也需要深入研究。所以，仍有大量的研究工作需要我们去攻克，深度学习这一新兴技术目前仍有足够多的研究空间。比如在模型结构方面，虽然卷积神经网络模型结构已经广泛被人所认可，而且使用该模型结构所达到的效果也比较理想，但是能否找到更为简单有效的模型结构，另外能否寻找出新的特征提取模型也需要我们研究。此外，虽然基于mini-batch的梯度下降算法已经很好的训练模型，但是能否找到其他有效可行的训练算法也值得我们去研究。目前，基于mini-batch的梯度下降算法在多个CPU中进行并行训练是很困难的，所以训练速度比较慢，最常用的解决办法是使用GPU来加速训练过程，文献[4]则是使用一种分层并行的随机梯度下降算法，并且使用GPU进行加速处理，能够很快的结束训练模型的过程。然而单个GPU对大规模数据集或类似任务数据集并不适用，多个GPU并行处理是一个值得研究的方向。

深度学习与传统的浅层学习相比，主要的不同之处在于：

（1）深度神经网络模型的深度比浅层学习网络的深度要大，通常有4层、5层甚至是20多层的隐藏层（目前已知最深的网络已经做到156层）；

（2）深度学习每一个隐含层都是在做特征提取任务，充分体现了特征提取在深度网络中的重要性，换句话说，深度神经网络能够将样本数据从低维特征空间转换到更加高维的特征空间，有利于模型的训练与学习。

在深度学习兴起之前，多数模式分类、回归等机器学习方法为浅层结构算法，这些算法的局限性在于：在有限样本和计算单元的情况下，对复杂非线性函数的表示能力有限，针对复杂分类问题的泛化能力有一定的缺陷。而深度学习可通过深度网络学习一种深层非线性网络结构，能够实现表征输入数据分布式表示、复杂函数逼近，并且体现了从小样本数据集中学习本质特征的强大能力。

目前，在医疗领域中，深度学习还处于萌芽时期，由于特征的难以提取以及其他原因，导致深度学习进展缓慢。Yawen Xiao以及Jun Wu[5]所提出的基于深度学习的多模型方法预测癌症效果远超传统方法；Yanyan Dong,Qinyan Zhang以及Zhiqiang Qiao[6]所使用的基于深度学习的白内障图像分类，使用五层卷积层能够很好的进行分类实现；Hangning Zhou, Fengying Xie[7]以及Heba Mohsen[8]分别针对皮肤病和大脑肿瘤使用新型的深度学习方法进行识别，都取得了比较好的结果；文献[9]指出深度学习在医学图像分析领域的使用情况，表明深度学习将会广泛应用于医学领域；文献[10]则将深度学习用于生物图像分类当中；文献[11]使用MT图片进行细胞分类，分类效果比较好。我认为当前制约深度学习在医疗领域的主要原因在于医疗资源的不公开，导致许多希望使用深度学习方法来改善医疗能力的专家们不能够全力进行相关的研究。

文献[12]提出DGs的方法成功的分类出岛屿以及管道分布；而文献[13]则使用所提出的SFA的方法，改进了网络模型的一些参数，使得模糊图像分类的效果有所提升；Kamran Kowsari以及Donald E.Brown[14]将通过一种新的分层深度学习方法将文献进行分类；而Abdalraouf Hassan与Ausif Mahmood[15]则是使用循环层与卷积层相结合的方法对文献进行有效的分类，这两种方法都是在深度学习的基础上进行改进而得到的新的方法；文献[16]则提出一种NB-CNN的方法对划痕进行识别与分类；Shrikant Dharwadkar以及Ganesh Bhat[17]则是使用迁移学习的方式对花卉进行分类，将深度学习与简单神经网络对比；文献[18-20]则是使用不同神经网络架构来分别实现人类行为识别（HAR）、手写体识别以及微藻类识别，这三种方法识别率都达到不错的效果；文献[21]介绍了针对使用深度学习不同问题的机器翻译。

在大数据时代，能够为工业控制、电子商务以及智能医疗等领域提供巨大的发展商机，在过去的几年里，深度学习在大数据分析解决方案中发挥了重要的作用[22]；虽然然数据量极大的增多，但是可以使用的数据确仍然占少量，Junhua Ding以及XinChuan Li[22]将训练数据进行扩张使用，使得训练模型的精度大大提高；而文献[23]则是使用迁移学习的方式对车辆的不同损伤进行分类；文献[24,25]则是针对多任务跨领域所使用卷积神经网络来训练自己的模型；在能源及商业方面，Nikolaos G.Paterakis,Elena Mocanu,Madeleine Gibescu[26]将深度学习与传统机器学习在预测能源需求方面进行比较；文献[27]则是使用深度学习进行商业过程行为预测； brahim K与Mehmet Ulvi MEK[28]则在空气质量预测中使用了深度学习这一方法。

3　结论

深度学习这一新兴的机器学习方法虽然在机器翻译、语音识别、图像分类以及自然语言处理等领域中大放异彩，能够在这些领域中达到以往机器学习方法所达不到的效果，但是深度学习本身还存在着一些问题需要我们来解决：

（1）无标记特征数据学习问题。作为监督学习的一种方法，当前训练数据大都是存在着标签，但是在现实世界中，许多数据都是无标签的数据，手动进行添加是不现实的，所以如何使用无标签数据集进行训练（即非监督学习方法）是一个需要研究的重要问题；

（2）部分训练集的数据量太少，不适合进行深度学习，需要考虑如何使用小规模数据来进行模型的训练；

（3）深度网络模型的训练速度问题。如果想要训练一个比较好的模型，所需要的数据集就比较大，那么就会导致深度学习网络的训练时长比较长，所以对CPU的运算速度已经运算精度要求比较高，所以我们需要研究如何降低训练所需要的时间或者找到一种新的CPU处理方法。

近年来，随着大数据时代以及深度学习的兴起，学习方式、学习方法开始受到人们的普遍关注。深度学习，与浅层学习相比，因其模型训练简单、有效以及易于实现而受到人们的大量重视，对我国深度学习相关研究提出以下建议：

（1）对于新兴的深度学习热潮，我们不能盲目跟风、随大流，我们应该将深度学习方法应用于与我们实际生活息息相关的地方，比如医学图像分析、多任务识别、金融预测等领域，解决我们实际问题；

（2）关于训练算法的方面，我们可以找到不同于梯度下降算法的其他训练算法，能够达到比梯度下降算法更优越的效果；

（3）关于深度模型方面，我们可以研究不同于CNN或者RNN的其他模型结构，使之能够更好地达到特征提取以及特征学习的效果。