基于PYNQ框架的深度卷积特征异构跟踪系统

崔洲涓，安军社 ，陈长龙，崔天舒

1.中国科学院 国家空间科学中心 复杂航天系统电子信息技术重点实验室，北京 100190

2.中国科学院大学，北京 100049

深度学习方法在图像分类、目标检测等计算机视觉任务中大放异彩，研究者开始逐步将其引入目标跟踪领域。Wang 等[1]提出 SO-DLT（Structured Output Deep Learning Tracker）算法，使用卷积神经网络作为获取特征和分类的模型，使其具备区分背景与非背景的能力，跟踪结果更加鲁棒。Wang等[2]的FCNT（Visual Tracking with Fully Convolutional Networks）算法选择预训练深度网络的不同卷积层构建特征筛选网络以及两个互补的热度图，有效地抑制干扰，防止跟踪器漂移。Ma等[3]提出的 HCFT*（Hierarchical Correlation Features Based Tracker）算法基于预训练深度网络的不同卷积层训练相关滤波器，提取不同尺寸的目标特征，逐层向下做细粒度的位置预测，大幅提升跟踪性能。特征提取作为目标跟踪系统的关键环节[4]，直接决定了目标跟踪的效果。相较于传统的依靠先验知识通过手工调整参数进行设计的尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）、方向梯度直方图（Histogram of Oriented Gradient，HOG）、多通道颜色名称（Color Names，CN）等浅层特征，预训练深度网络提取到的深度卷积特征能够较为敏锐地捕捉到目标的语义信息，具有更强的特征表达能力，可以提高跟踪算法的精度，使其在目标遮挡、外观变化及背景干扰等复杂场景下表现更为稳健。

然而由于深度卷积网络通常具有复杂且庞大的结构，导致目标特征提取过程计算量巨大，极大地影响目标跟踪算法的实时性。为了将跟踪算法部署至嵌入式平台，除了从算法层面进行优化，提升运算效率，还可以从硬件层面通过专用的计算单元实现加速。……