一种高效的自监督元迁移小样本学习算法

史家辉，郝小慧，李雁妮

(西安电子科技大学 智能媒体与数据工程研究所，陕西 西安 710071)

近年来深度神经网络已经在监督识别任务上取得了令人振奋的突破，例如视觉[1]、语音[2]、自然语言处理[3]等各个不同的应用领域。然而，深度学习是一种数据饥渴的技术，它取得的出色性能依赖于大量带类标签的训练样本。但现实的很多应用领域没有足够的有类标签的训练[4]，或者获得类标签样本的成本非常高。例如医疗[5]、安全[6]等领域。因此，当前深度学习有一个瓶颈问题即小样本问题[7-8]。人类有一种很强的能力，即从少量的可用样本中可以识别新类。受此启发，从少量样本中学习到一个健壮的模型，这样的一个任务称为小样本学习[9]。

随着深度学习技术的发展，小样本学习领域涌现出一些优秀的算法。目前小样本学习方法主要有基于数据增强、基于元学习、基于迁移学习以及混合的方法。深度学习小样本问题的本质是训练过程中的监督样本过少而很难拟合模型中大量的参数，导致其精度很低。然而，现有的普通数据增强方法只能缓解而不能解决小样本问题，利用生成网络进行数据增强，由于先验知识的不完美，生成的数据与真实数据之间的差异会导致概念偏移。因此如何利用模型从数据本身中充分挖掘其信息是解决小样本问题的关键。相比较而言，混合方法最为有效。基于元学习的方法[10-14]利用以往的经验知识来指导新任务的学习，具体来说就是在元学习阶段将数据集分解为不同的元任务，去学习类别变化情况下模型的泛化能力，在元测试阶段，面对新任务(新的类别)，不需要变动已有的模型就可以完成分类。……