韦 越,陈世超,朱凤华,熊 刚
(1.中国科学院大学人工智能学院,北京 100049;2.中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190;3.澳门科技大学 资讯科技学院,澳门 999078)
随着深度神经网络性能的提升,网络模型参数量和计算量也日益增长,AlexNet[1]、VGGNet[2]、GoogleNet[3]、ResNet[4]等经典神经网络模型深度不断增加,逐渐超过100 层。深层大型模型的部署对计算量和存储资源提出了很高要求,使其难以应用到资源受限的移动和可穿戴设备上,应用受到了很大限制。同时,神经网络中存在很多冗余参数,文献[5]研究表明:神经网络模型中可能只要用5%的网络参数就能预测剩余的参数,甚至只要训练小部分参数就能达到和原网络相近的性能,这证明了神经网络的过度参数化。为降低计算成本,同时保证神经网络模型性能,研究人员提出模型剪枝方法,通过剪除网络模型中不重要的参数,压缩模型的体积和计算量,从而使得神经网络变得轻量化。模型剪枝的核心是对模型参数的重要性进行评价[6-7]。现有的模型剪枝方法多数依据参数自身的信息进行判别,忽略了其他网络层的信息。模型稀疏化是一种有效的模型压缩方法,通过在模型训练过程中对参数的优化过程增加限制条件,使模型的参数稀疏化以获得结构稀疏的网络模型,并且将模型剪枝和模型稀疏化相结合,可以进一步提升模型剪枝准确率和运算效率。
本文受此启发,提出一种基于稀疏正则化的……