面向嵌入式的卷积神经网络硬件加速器设计

唐 蕊，焦继业，徐华昊

西安邮电大学 计算机学院，西安 710121

近年来，随着人工智能应用需求的快速增长，神经网络在学术研究和人工智能相关应用中蓬勃发展，并被应用于各种新兴的智能领域，如语音识别、图像分类等[1-4]。与此同时，加速卷积运算的硬件设计随之产生，针对神经网络推理的加速芯片已成为该领域重要的发展方向。

目前针对嵌入式端的神经网络加速优化，可以从模型压缩和优化加速运算两方面出发。从模型压缩角度讲，主要通过一定的优化方式来减小网络模型所占的存储空间，其中包括模型剪枝和模型参数低精度量化，参数的低精度量化对卷积网络中所有的运算加速都有效。从优化加速运算来讲，主要针对神经网络中的结构及权重参数的共享性进行相关硬件单元的设计，可用来加快神经网络的执行速度，优化设计的整体性能[5-7]。文献[1]采用了数据量化的方式，分析参数的取值范围，先确定量化的大致精度，然后选出最优量化精度，将原有参数从64 位浮点数量化为16 位定点数来表示，显著提升了运行速度，并提出相应的计算和存储设计，结果证明对卷积网络的性能有明显提升。文献[2]采用动态可配置定点数据来表示网络的权重和激活函数，在推断的过程中也可保持较高的准确率。结果表明，低精度量化后，在尽可能保持准确性的前提下，对内存容量和带宽的需求减小了50%。文献[3]在进行数据量化时，采用的是非线性量化，分析每一层参数的范围，确定数据量化的系数，对参数进行量化。……