《人工神经网络与深度学习》课程中的坚持与否定

贾振堂 李凤勤 王计元

（上海电力大学电子与信息工程学院 上海 200090）

我国的教育历来讲究“教书育人”，教书和育人是不能割裂开的。如今“课程思政”再次强调了将立德树人贯彻到高校课堂教学全过程之中的观念，与思想政治理论课程一起共同构建全课程育人格局。那么如何在专业课程中做好“课程思政”，需要根据课程的内容进行挖掘。这里作者根据在《人工神经网络与深度学习》课程教授过程中的体会，谈谈人工神经网络的发展过程中所体现的“坚持与否定”的科学精神。

1 人工神经网络的曲折历程

从古至今，人们都对生命的原理充满好奇并不断地进行着探索。经过来自医学、生物学、心理学、物理、化学、数学等领域的工作者不断努力，在1900年人们认识到神经细胞是神经系统的基本功能单位，并逐步揭示了大脑的基本结构和神经细胞间信息传递的基本生物化学原理。

从麦卡洛克和皮兹建立的MP人工神经元模型，到达特茅斯会上“人工智能”这一术语的确立，再到罗森布拉特提出的感知机模型，终于在1950年代末，人工神经网络掀起了第一次热潮。这时，人们一度认为具备人工智能的机器很快就会普及，甚至有学者为：“二十年内，机器将能完成人能做到的一切”。而实际上，限于当时的计算机水平以及有限的数据量，多年后人工神经网络依然无法在实际生产中得到应用。特别是”异或”问题和《莱特希尔报告》的打击，致使人工神经网络的应用前景遭到质疑，研究经费迅速枯竭。1960年代末，以人工神经网络为代表的人工智能研究进入了低谷。1980年代，人工智能之火又重新燃起，不过这一次站在主流舞台上的不是人工神经网络，而是“专家系统”，这一轮热潮持续到到了80年代晚期。

到了21世纪的今天，人工智能再次在全世界范围内火爆起来，而且主角又回到了人工神经网络，或者说是深度学习（即多层的人工神经网络）。深度学习应用到图像识别、目标检测、语音识别、语言翻译、自动驾驶、自动控制等等很多领域，都非常成功。

2 曾经的尴尬处境

从1960年代末开始，人工神经网络的发展经过了漫长的默默耕耘过程。科学的发展向来都是跌宕起伏的，意志不坚定的人被无情地淹没，而隐忍前行的人则可能到达成功的彼岸。

虽然在2006年之前，人工神经网络的发展并没有停止，陆续有新的算法提出，但成功的民用的项目很少，因此在普通民众心中“人工神经网络”（以及“人工智能”）仅仅是少数人的游戏。在这段时间内，人工神经网络技术不再有头上的光环，大量的研究人员离开这个方向，几乎没人再相信人工神经网络的前景。Yann LeCun回忆说：“20世纪60年代后期，人工智能背景下的统计学习方法就像被判了死刑，人们或多或少地放弃了它。”，这里统计学习方法当然包括人工神经网络方法。人工神经网络曾经遭遇“异或问题”、“自动学习问题”、“梯度消失/爆炸问题”、“局部最优问题”、“过拟合”问题等一些列难题。20世纪末，其他类型的浅层学习技术得到发展，他们的效果甚至一度超过了多层神经网络。

1995，Jackel和Vapnik打赌时，Vapnik（SVM的提出者）坚信：到2005年，没人会使用他们在10年前就拥有的神经网络架构，然而每个人都会使用SVM。可见当时人工神经网络尴尬的地位。

3 坚持到成功

令人欣慰的是，“连结主义”者们没有放弃他们的阵地。2006年，这个局面开始改变。这一年，Hinton和他的学生在《Science》上发表了一篇文章，将“逐层预训练+全局微调”的思想引入多层人工神经网络，提出深度信念网络 (Deep Belief Network，DBN)。虽然DBN在之后并没有被广泛应用，但它提出了一种人工神经网络深度学习（Deep Learning）的方法，增强了人们的信心。就在同一年，还有两个团队也在深度学习上取得了成功。深度学习的序幕就此拉开。如今，各种花样的深度学习模型层出不穷，深度学习的成果广泛应用于各个领域，各方投资蜂拥而至，世界各国纷纷把新一轮的人工智能提升到国家发展的战略高度。借助于深度学习架构，人工神经网络技术重新成为了科学生活的主角。

观念决定态度，态度决定行为，行为决定结果。思想是行动的先导，坚定的科学信念是创造创新性学术成果的内动力。Hinton的坚持从研究生阶段就开始了，据说他的导师反对他做这个方向，而他一再坚持。他说：“我从没怀疑过，因为大脑必然是以某种方式工作的，但绝对不是以某种规则编程的方式工作的。”。的确，Hinton的判断是正确的，他坚定的科学信念带来了巨大成功。2019年3月27日，美国计算机协会（ACM）宣布把2018年的图灵奖（Turing Award）颁给深度学习的三位先驱Geoffrey Hinton、Yoshua Bengio和Yann LeCun，以表彰他们为当前人工智能的发展所做出的贡献。

4 人工神经网络的缺陷

目前，人工神经网络的成功，主要得益于误差反向传播(BP)算法。BP算法是基于梯度下降的迭代求解方法。如果你对BP算法还不了解，可以想想铁匠打铁的过程。BP神经网络的训练就好比是打铁，看着哪里不行就来一锤子，到处反复打，最后你就得到了你想要的东西。

这个打铁的方法，本质上就是“头疼医头，脚疼医脚”的思路。牵一发而动全身，局部的治疗可能会对全局带来不可预测的影响。你敲一锤子下去，这个地方砸下去了，别的地方可能就会鼓起来了。我们通常会不赞成这样做，而更赞成全局的方法，就是在整体考虑后给出总综合的治疗方案。所以，也难怪最初很多人并不看好BP这个方法。但是，实践证明，这个方法确实可以打造出你想要的东西，因此就得到了众人的认可，被大家拿来打造各种各样的产品，有人打造“人脸识别”系统、有人打造“语音识别系统”，还有人打造“自动驾驶系统”，等等。这就是人工神经网络的现行技术，一两层的浅层神经网络也好，几百层深度神经网络也好，都是这个道理。

按照BP算法进行训练，人工神经网络会出现遗忘症，学着新知识会忘掉老知识，这种可塑性与稳定性的矛盾是一个还无法破解的难题。神经网络缺乏系统的数学理论，他的预测结果具有“黑盒子”特性，经过完好训练的神经网络有可能对某些输入样例得到完全错误的输出结果，即所谓的“对抗样本”问题。基础理论并不成熟的工程应用会带来极大的隐患。有人说人工神经网络更像是一种艺术，而不是科学。

5 勇敢地否定

深度学习之父Geoffery Hinton说，他想把反向传播算法(Back propagation algorithm，简称BP算法)扔掉、从头再来（“My view is throw it all away and start again.”）。他是“深度学习”的支柱人物，而BP是目前深度学习的基础，他能够这样说，需要足够的勇气。

对自己的信念要坚持，对于现有的成果和权威则要敢于怀疑和否定。科学精神就包括怀疑、批判、不断自我扬弃的精神。当今社会，以深度学习为代表的的人工智能充斥这社会的各个角落，被广大民众特别是媒体人士津津乐道，大力宣扬，甚至人们开始为人工智能“不可控”而担忧，这一幕让我不禁回想起1960年代的人工神经网络热潮和1980年代的专家系统，何等相似。我们需要冷静思考，保持怀疑、批判的科学精神，认识到现有方法的不足和局限性，从而为开拓新思路提供动力，这是很有必要的。

6 继续前行

生物神经网络是一个复杂的系统，人工神经网络的发展依赖于脑科学、神经生理、认知心理学的共同发展。而目前的深度学习不管有多深，它很可能仅仅是生物神经系统中的一个零件一个步骤，距离真正能够自我获取知识的智能机器相比还有很大的距离。无论是CNN、LSTM、Attention、ResNet还是GAN，都还不能解释大脑智能的原理，特别是意识的产生过程。Hinton近几年推崇的胶囊网络模型，采用神经细胞团组方法，受启发于祖母细胞的概念。胶囊网络依据对上层单元输出的贡献度来调节他们之间的连接强度，初步显示了较好的性能，有待进一步研究。

沉舟侧畔千帆过,病树前头万木春。连接主义的一代又一代信奉者将继续努力，揭示人类大脑和人工神经网络的更多奥秘。