深度神经网络压缩与加速综述

纪荣嵘 林绍辉 晁 飞 吴永坚 黄飞跃

1(厦门大学信息科学与技术学院 福建厦门 361005) 2(福建省智慧城市感知与计算重点实验室(厦门大学) 福建厦门 361005) 3(上海腾讯科技有限公司优图实验室 上海 200233)(rrji@xmu.edu.cn)

近年来，随着GPU的快速发展及大数据时代的来临，深度神经网络(deep neural networks, DNNs)已席卷人工智能各个领域[1]，包括了语音识别[2]、图像理解[3-5]、自然语言处理[6]等在内的广泛领域.不仅如此，这些深度神经网络在复杂的系统中也得到了广泛使用，如自动驾驶[7]、癌症检测[8]、复杂游戏的策略搜索[9]等.深度神经网络在很多识别任务中已大大超越了人类识别的准确率，同时突破了传统的技术方法(如手工设计的(hand-crafted)特征SIFT[10]和HOG[11])带来的巨大的性能提升.这些性能的提升是因为深度神经网络拥有对大数据高层(high-level)特征提取的能力，从而获得对输入空间或数据的有效表示.另外，相比传统在CPU平台上的计算，强大的GPU计算能力大大提高了深度神经网络的计算效率，使得模型的训练速度得到大幅度提升.如果能将计算平台小型化，即把深度神经网络强大的识别性能移植到移动嵌入式设备中(如手机、机器人、无人机、智能眼镜等)，这样不管在军事方面的抢险救灾、敌情勘探，还是在民事方面的移动智能识别、便民出行等都起到重大的促进作用.

伴随着深度神经网络模型的性能增加，神经网络的深度越来越深，接踵而来的是深度网络模型的高存储高功耗的弊端，严重制约着深度神经网络在资源……