多元向量值函数求导的矩阵表示及其在人工神经网络中的应用

杨迪威，边家文，张玉洁

(中国地质大学 数理学院，湖北 武汉 430074)

多元向量值函数求导的矩阵表示及其在人工神经网络中的应用

杨迪威，边家文，张玉洁

(中国地质大学 数理学院，湖北 武汉 430074)

在介绍多元向量值函数求导的矩阵表示的基础上，给出了梯度下降法的工作原理及其训练神经网络的过程，最后通过Matlab仿真实验验证了梯度下降法的有效性.

人工神经网络； 深度学习； 梯度下降法； 多元函数导数的矩阵表示

2016年3月，谷歌Deep Mind团队开发出的一款围棋人工智能程序——阿尔法围棋(AlphaGo)战胜了世界围棋冠军李世石，这让世人惊叹于人工智能迅猛发展的同时，也让人们认识到一种新的机器学习技术——深度学习(Deep Learning)[1]．深度学习是一种深层的人工神经网络(Artificial Neural Network)[2-3]，试图通过模拟大脑认知的机理去解决机器学习中的问题[4-5]．目前，深度学习有三大基础网络模型：自编码器(Auto Encoder, AE)网络、受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)以及卷积神经网络(Convolution Neural Network, CNN)，而这3种模型均采用梯度下降法(Gradient Descent)对网络进行训练[6-7]．因此，深入理解梯度下降法对掌握此项新的机器学习技术是非常必要的．为此，笔者将从高等数学中多元函数导数、梯度等基本概念出发[8]，深入浅出地介绍梯度下降法的工作原理及其训练神经网络的算法过程，最后通过在Matlab[9]环境下函数拟合仿真实验验证梯度下降法的有效性.

1 多元向量值函数的导数

多元向量值函数是一种具有多个自变量和多个因变量的结构复杂函数，为了便于研究多元向量值……