卷积神经网络的软硬件协同加速技术

李欣瑶 刘飞阳 文鹏程 李鹏

摘 要： 面向构建智能化航空电子系统的需求，提升有人机/无人机智能化作战水平，设计并实现卷积神经网络CNN的软硬件协同加速技术，以解决目标识别、辅助决策、自主规划等复杂问题。针对算法模型的庞大参数量与嵌入式环境有限存储资源的冲突问题，采用模型结构优化及量化算法压缩网络规模。针对复杂浮点运算与计算资源紧缺的冲突问题，基于Verilog HDL设计卷积、池化两种加速算子，采用流水线+全并行方式，以达到计算加速的目的。通过软件优化设计与硬件加速运算的协同作用，实现卷积神经网络的推理过程加速。以YOLOv3及YOLOv3-Tiny两種典型CNN为例进行加速，并在Xilinx ZCU102 FPGA评估板上进行验证。结果表明，加速后的模型与原模型对比，参数量可压缩3/4左右，YOLOv3的推理速度提升近65倍，YOLOv3-Tiny提升23倍左右。

关键词：智能计算;硬件加速;目标检测;模型压缩;FPGA

中图分类号：TJ760; TP18  文献标识码： A  文章编号：1673-5048（2021）03-0099-06

0 引  言

随着人工智能算法模型结构的快速更迭，神经网络正逐步被应用于解决智慧医疗、自动驾驶等多种复杂智能问题。在航空领域，有人机与无人机的空战过程均朝着智能化的方向发展[1]，目标识别跟踪、辅助决策、自主规划等复杂任务均可依赖神经网络完成。但机载嵌入式环境对功耗、实时性都有着严格的制约，且存储、计算资源都较为紧缺，如何将神经网络模型部署于资源受限的嵌入式环境成为亟待解决的问题。

本文面向智能化航空电子系统的需求，设计并实现一种面向卷积神经网络（Convolutional Neural Network，CNN）的软硬件协同加速方法。……