深度神经网络模型压缩综述*

耿丽丽，牛保宁

1.太原理工大学信息与计算机学院，太原 030024

2.山西财经大学实验中心，太原 030006

1 引言

深度学习作为机器学习领域的分支，近年来在图像识别与检索、自然语言处理、语音识别等诸多领域中都展现出非常优越的性能。深度学习以人工神经网络为基本架构，通过对数据表征进行学习，将底层特征表示转化为高层特征表示，通过多层网络模型完成学习任务。自2016年AlphaGo击败人类顶尖选手，深度学习引起人们普遍关注，同时深度学习的概念也为大众所熟知。长期以来，深度学习研究人员致力于开发更深、更大的模型，达到更高的精度和准确度，同时也导致模型具有大量参数（例如VGG16有一亿三千多万个参数），存储空间占用率高，计算复杂的特性。矩阵运算损耗了庞大的计算资源，并且需要足够的功率；数十亿的网络参数需要大量的存储开销；为了达到优越的学习效果，必须使用GPU加速。对硬件的高要求使得深度网络模型在实际应用中受到限制，诸如手机等便携式以及嵌入式设备，无法满足深度学习的大规模计算要求。因此，在保证网络模型精度及准确度的条件下，压缩网络模型成为一个亟待解决的问题。

精度和准确度一般作为评价网络模型的标准，许多文章中将精度和准确度理解为一个概念，实际是有一定差别的。精度指的是数据测量的重复性如何，即多次测量数据值的离散度，多次测量值集中则精度高，测量值分散则精度低。……