二值卷积神经网络综述

丁文锐，刘春蕾，李越，张宝昌

1. 北京航空航天大学 无人系统研究院，北京 100083

2. 北京航空航天大学 电子信息工程学院，北京 100083

3. 北京航空航天大学 自动化科学与电气工程学院，北京 100083

近年来，以深度卷积神经网络[1-3]为代表的人工智能技术得到了学术与工业领域的广泛关注，被视为一次具有重大意义的技术革新。目前深度卷积神经网络在多个领域，诸如计算机视觉、语音识别以及自然语言处理等，得到了大量的应用。当前，移动互联、物联网等技术与各个产业深度融合，以各类无人系统为平台载体的移动便携终端设备在识别应用的需求方面不断增加。然而，一方面，高性能的深度网络模型往往较大，这对将其装备到小内存的移动端无疑是一巨大挑战。另一方面，深度卷积神经网络的一大弊端即计算复杂度高，在运行较大的卷积网络模型时，为了实现网络中最常见的点积运算需要进行大量计算。因此，复杂深度神经网络的劣势，即构成的大量权重参数会导致相当大的存储空间、内存带宽以及计算资源上的消耗，使得在资源受限的移动端难以进行部署，从而使其在实际使用中仍存在着很大的局限性。

基于以上问题，需要对网络进行模型压缩以获得轻量化模型，使其可以更方便地部署到小内存的移动端设备上。现有研究对深度网络模型压缩已经做出较多综述性研究[4-9]。模型压缩[10-11]主要分为高效结构设计、模型剪枝、网络量化等方法。……