神经网络优化算法与《最优化方法》课程教学融合研究

孙杰宝 杨畅 吴勃英

摘 要：近年来，人工智能在学术界和工业界都取得了极大的成功，这正是由于深度神经网络在最近十年内的飞速发展。神经网络模型的目标就是最优化，对一个复杂的问题中作出最优决策。几乎所有的神经网络模型都可以建模为一个优化问题。本文就求解神经网络模型过程中涉及的优化算法进行总结，并对《最优化方法》课程教学内容进行了探索。通过将神经网络模型及其优化算法与《最优化方法》课程教学融合，使学生熟悉并掌握其原理和优化求解方法，具备更强的核心竞争力。

关键词：人工智能;最优化方法;神经网络

中图分类号：G420 文献标识码：C

Abstract：In recent years，artificial intelligence has achieved great success in academia and industry.This is due to the rapid development of deep neural network in recent ten years.The goal of neural network model is optimization，that is making optimal decision in a complex problem.Almost all neural network models can be modeled as an optimization problem.In this paper，we summary the optimization algorithms involved in the process of solving neural network models，and explore the teaching content of optimization method.Through the integration of neural network model and its optimization algorithm with the teaching of optimization method，students can master its principle and optimization method，and have stronger core competitiveness.

Keywords：Artificial Intelligence;Optimization method;Neural network

一、概述

随着人工智能的不断发展和在社会各个领域应用的不断深入，人们逐渐切实领略到其改变人类生活方式的潜力。实际中，存在很多对人类来说较为容易，但却难以通过数学公式表达的问题，如语音识别、人脸识别。人往往能够通过经验轻松地处理这些问题。由于深度神经网络能够从大量的样本中提取内在的语义特征、学习经验并做出决策，其在处理这类的任务方面有着出色的表现。神经网络模型是目前人工智能中表现最为优秀的算法之一。

优化算法需要大量的数值计算，通常情况下是指通过迭代过程更新解的估计值来解决数学问题的算法。最优化方法[1]在这个训练学习的过程中起着重要的作用，是求解模型的关键。作为人工智能实现模块的核心工具之一，学习并掌握一定的优化算法的重要性也日趋显著。教育的变革不应当仅仅局限于教学方法探索方面，更应该紧跟国家发展的战略与方向，与时俱进提出新的教学理念，紧跟科学发展更新教学内容，从而精准地定位培养目标。社会发展是课程改革和教育发展的原动力。对当代教育来说更应该培养学生在掌握专业知识的同时，具备将所学知识应用到我国发展中所面临的实际问题的能力。因此，最优化方法的课程内容如何与当前社会实际应用相匹配、如何体现本课程特色、如何满足当前社会与行业的人才需求等问题一直是教学工作中需要关注和思考的问题。

二、课程教学改革的必要性

在21世纪，在物联网技术高速发展的同时，如何培养同时具备理论分析和实践应用的创新性人才是极为重要的。这也是最优化方法课程改革不可避免要面对的问题。

随着互联网与计算机硬件的不断发展，近20年来，各行各业都积累了大量的数据。人类对数据的采集、存储、传输及处理能力飞速提升。因此，亟须有效的数据分析算法来合理利用这些数据。机器学习[2]恰巧满足了处理海量数据的迫切需求。实际上，科学研究的模式方法由传统的“理论+实践”到如今的“理论+实验+计算”，以至近年来流行的“数据科学”，机器学习扮演着越来越重要的角色。数据科学的核心是通过对数据进行分析从而获取有价值的信息，数据分析是以“计算”为依托的。现如今，在多媒体、图形学以及网络通信、软件工程，甚至芯片设计、体系结构等计算机学科的分支领域中，机器学习的身影无处不在。此外，机器学习已经成为推动计算机视觉、自然语言处理等计算机应用技术领域向前发展最重要的动力源泉。

人工智能的目标就是最优化，在一个复杂的环境中做出最优决策，几乎所有的人工智能问题都可以建模为一个优化问题。最优化理论可以判定人工智能目标函数的最大值、最小值是否存在，并且可以寻找到满足最优目标的数值。机器学习算法在人工智能领域中扮演着至关重要的角色，是人工智能中的核心技术，将其引入最优化课程中，在拓宽学生知识面的同时还能够让学生掌握最先进的科学技术，从而提高学生在就业中的竞争力。在本科生、研究生教学中，引导学生思考、探索最前沿的科学问题是一项重要的任务。数值优化算法是机器学习求解的基本策略，所以将其相融合是一个很自然的想法。这恰恰为学生创新能力的培养提供了素材。鉴于此，将人工智能中的神经网络模型引入《最优化方法》课程是非常有必要的。

如何将最优化方法中被广泛应用的一些工具性算法与其严谨又抽象的数学理论相结合，是广大数学教育工作者坚持不懈的目标。這种结合一方面可以使得学生接受严格数学理论的熏陶，培养严谨的数学思维，同时又能够熟练掌握相应的计算方法，为后续课程的学习与科学研究奠定基础[4-6]。当前的最优化方法课程教学内容主要包括传统的凸优化算法的基本概念、基本理论、基本方法和基本算法，其重点是理论基础和基本技术，尚未包含人工智能的相关内容。因此，有必要从求解神经网络模型的角度对最优化方法课程教学内容进行更新探索。

三、神经网络中的优化教学内容探索

神经网络模型是目前最具代表性的人工智能算法。人工智能的目标就是最优化：在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解，因而最优化理论与方法是人工智能必备的基础知识。深度学习[3]优化算法与纯优化算法最大的区别在于目标不同。纯优化是找到优化问题的最优解，比如能量最小点，但是深度学习其实只是借用了纯优化的手段，最终的目的是让模型的泛化误差最小。深度学习优化算法有很多，例如：SGD（随机梯度下降法）、动量方法、Adagrad自适应学习率调整方法、Adam、Nadam等。下面首先介绍神经网络模型，再介绍求解神经网络模型过程中经常使用的优化算法：梯度下降法。

（一）神经网络[2]

神经网络模型：假设有训练样本集xi，yi：

这里的蓝色圆圈表示输入，“+1”代表偏置节点，即截距。上图中最左边一列为输入层，最右边一列为输出层（本文上例中输出层为单一节点）。中间的部分称为隐藏层，这是由于中间的隐藏层是通过输入层与损失函数数据计算得来的，其具体的值并不能直接观察得到。

（二）反向传播与梯度下降法[2]

这部分，本文介绍如何通过反向传播与梯度下降法求解神經网络的参数（W，b）。首先，设样本集为：

其为m个样例构成的集合，x为神经网络的输入，y为期望的输出值。对于单个（x，y），本文研究的损失函数为：

对于包含m个样例的数据集，整体的损失函数为：

为了防止过拟合，增加上式中的正则化项（第二项）来降低权重的值。

针对上述损失函数，梯度下降法为按照下列公式更新参数W和b：

通过梯度下降法迭代过程，减小代价函数J（W，b），得到最优的参数W和b。

结论

“人工智能”不仅是一项科学技术，更是一种可以认识当下万事万物的思维方式。本文基于应用这样的认知逻辑到实际问题中，从教育的角度出发，将人工智能中的神经网络算法求解融入最优化方法课程内容当中。希望把握国家发展战略与教育变革发展方向，探索实现教育变革的路径，使得学校教育紧跟时代发展的步调与方向。此外，当前机器学习取得的一系列优秀成果使得其被广泛应用到各行各业，机器已经开始取代一些器械重复性的工作。在此趋势之下，学生对于神经网络原理与最优化方法的学习与掌握将极大地提高其在就业市场的核心竞争力。

《最优化方法》改革建议：在向同学们讲解一般的优化方法的同时，也介绍一些神经网络优化中出现的问题及一般的解决办法。同时将神经网络优化中的实际问题提炼出来交给学生去做，让学生通过查阅文献、交流讨论、编程实现来解决实际问题并对其中的问题做相应的理论分析。这不仅能够使得教学内容与时俱进，提高学生对最优化方法的理解，同时也能锻炼学生查阅资料、合作与动手能力。

参考文献：

[1]袁亚湘，孙文瑜.最优化理论与方法[M].科学出版社，1997.

[2]周志华.机器学习[M].清华大学出版社，2016.

[3]伊恩·古德费洛，约书亚·本吉奥，亚伦·库维尔.深度学习[M].人民邮电出版社，2017.

[4]王永建，杨建华，郭广涛，王治东.面向最优化问题的人工智能搜索算法研究[J].通信技术，2016，49（11）：1459-1465.

[5]孙杰宝，吴勃英，张达治.《最优化方法》课程教学法研究与实践[J].大学数学，2016，33（3）：120-124.

[6]李明奇，杜鸿飞.最优化建模实验中的可视化设计[J].大学数学，2014，30（4）：19-23.

基金项目：黑龙江省高等教育教学改革研究项目“人工智能驱动下的《最优化方法》课程教学改革”（SJGY2019 0224）;中国高等教育学会理科教育专业委员会高等理科教育研究课题“新时代下数学学科拔尖人才培养模式研究与实践”（20ZSLKJYZD12）;哈尔滨工业大学研究生教育教学改革研究重点项目“数学学科杰出人才培养模式探索与实践”

作者简介：孙杰宝（1977— ），男，黑龙江双鸭山人，博士，哈尔滨工业大学教授，从事计算数学研究;杨畅（1983— ），男，湖北武汉人，博士，哈尔滨工业大学副教授，从事计算数学研究;吴勃英（1961— ），女，黑龙江哈尔滨人，博士，哈尔滨工业大学教授，从事计算数学研究。