面向图像语义分割任务的多级注意力蒸馏学习

刘佳琦，杨 璐，王龙志

(1天津理工大学 天津市先进机电系统设计与智能控制重点实验室，天津300384；2天津理工大学机电工程国家级实验教学示范中心，天津300384；3奥特贝睿(天津)科技有限公司，天津300300)

0 引 言

知识蒸馏是深度学习领域一项重要的模型压缩技术。传统的蒸馏学习思想是通过提前训练好的大网络对轻量网络进行知识传递，从而使轻量网络能达到大网络的表达能力，实现知识迁移。基于传统蒸馏学习的模型训练主要分为两个步骤:首先充分训练一个结构复杂、学习能力强的教师网络，使其具有优秀的表达能力；其次在教师网络的基础上设计一个结构简单、参数量小的学生网络，使用教师网络的特征约束作为软标签进行监督，使学生网络通过软标签对真实标签辅助训练，逐渐逼近教师网络的表达水平。从模型推理方面分析，教师网络只在训练阶段对学生网络起到约束作用，不参与学生网络的独立推理过程的计算与部署，因此知识蒸馏在神经网络模型轻量化领域有着重要的意义。

由于传统蒸馏学习中的教师网络对学生网络的知识传递是单向的，难以从学生网络的学习状态中得到反馈信息，来对训练过程进行优化调整，从而对学生网络的训练产生负影响；其次，采取教师网络产生软标签结合真实标签进行监督的形式，当软标签权重过高时，学生网络会过于模仿教师网络，从而限制学生网络的特征表达能力；……