基于异构SoC卷积神经网络加速器的设计与实现

曾春明

（四川大学计算机学院，成都610065）

0 引言

2012年AlexNet在Image Net LSVRC中获得冠军，卷积神经网络（CNN）成为了计算机图像分类识别领域的核心热门算法，并推动了深度学习的大爆发。从第一个CNN模型LeNet-5到第一个DCNN（深度卷积神经网络）模型AlexNet，再到VGG、GoogLeNet、ResNet，网络层数已经从几层发展到了上百层。其中，ResNet从理论上证明了CNN网络模型层数的增加带来了越来越好的理论数据拟合能力。同时算量对硬件资源的要求越来越高，包括大量的浮点数计算、超高的内存占用、总线数据搬移时延、高功率等。理论研究中的模型在边缘推理端的商用部署中并不友好，包括硬件成本高、能耗高、性能实时性弱等缺点。在工业领域，深度学习产品的商用落地已越来越迫切。商用落地包括云端和边缘端。云端依靠着强大的服务器硬件系统，其商用落地已实现，多是用于模型训练和高精度大模型的推理。然而边缘端多是移动类平台，其硬件性能不足、功率受限等缺点限制着深度学习产品的部署落地。同时，边缘端难以部署深度学习产品的情况也会加大云端服务器压力，导致云端服务器承担大量模型推理计算工作，其带宽成本、硬件成本、维护成本、维护难度等都将上升。因此，边缘端深度学习产品的商用落地，已经成为一个重要的研究课题。

为促进深度学习产品更好落地，早期有学者提出了一些压缩网络模型来加速网络计算。2013年Misha等人[1]通过矩阵低秩分解的方法减少了深层网络模型的多态参数数量。……