小样本学习研究综述*

赵凯琳 ,靳小龙 ,王元卓

1(中国科学院 计算技术研究所 网络数据科学与技术重点实验室,北京 100190)

2(中国科学院大学 计算机与控制学院,北京 100049)

随着大数据时代的到来,深度学习模型已经在图像分类、文本分类等任务中取得了先进成果.但深度学习模型的成功,很大程度上依赖于大量训练数据.而在现实世界的真实场景中,某些类别只有少量数据或少量标注数据,而对无标签数据进行标注将会消耗大量的时间和人力.与此相反,人类只需要通过少量数据就能做到快速学习.例如,一个五六岁的小孩子从未见过企鹅,但如果给他看过一张企鹅的图像,当他进入动物园看到真正的企鹅时,就会马上认出这是自己曾经在图像上见过的“企鹅”,这就是机器学习和人类学习之间存在的差距.受到人类学习观点的启发[1],小样本学习(few-shot learning)[2,3]的概念被提出,使得机器学习更加靠近人类思维.

早在20 世纪八九十年代,就有一些研究人员注意到了单样本学习(one-shot learning)的问题.直到2003 年,Li等人[4]才正式提出了单样本学习的概念.他们认为:当新的类别只有一个或几个带标签的样本时,已经学习到的旧类别可以帮助预测新类别[5].小样本学习也叫做少样本学习(low-shot learning)[6],其目标是从少量样本中学习到解决问题的方法.与小样本学习相关的概念还有零样本学习(zero-shot learning)[7]等.零样本学习是指在没有训练数据的情况下,利用类别的属性等信息训练模型,从而识别新类别.

小样本学习的概……