基于原型学习改进的伪标签半监督学习算法*

杨雨龙，郭田德,2，韩丛英,2†

(1 中国科学院大学数学科学学院， 北京 100049； 2 中国科学院大数据挖掘与知识管理重点实验室， 北京 100190)

深度神经网络被应用在计算机视觉和自然语言处理等许多领域，都取得了优秀效果。然而，训练一个深度神经网络需要数以百万计的标注样本和大量的计算资源，而对大量数据进行标注是很困难的。学术界已经研究了几种替代方案来缓解这一问题，如半监督学习(semi-supervised learning，SSL)、无监督学习和自监督学习。

半监督学习方法[1-2]是为解决海量无标签数据和高代价标注工作之间的矛盾而产生的。在半监督学习中，含有大量的未标注数据，只有小部分有标签数据。随着研究的深入，半监督学习算法在图像分类[3-4]、语义分割[5-6]、自然语言处理[7-8]等领域都取得了不错的结果。

本文主要研究基于伪标签(pseudo-labeling)的半监督学习图像分类算法。这类方法用输入图像在训练过程中的历史输出生成伪标签，并将其作为监督信号，然后以有监督的模式进行学习。

现有的伪标签方法存在“认知偏误(confirmation bias)”[9-10]的问题。“认知偏误”，也称为噪声积累，即模型的错误由于使用了自身提供的错误伪标签进行训练而得到加深。这种错误累积是由于伪标签方法仅使用单个样本自身的预测进行监督，一旦模型对样本预测错误，这一错误将被当作监督信号，而这个错误的监督信号无法通过与其他样本的比较得到修正。PLCB[11]通过使用MixUp[12]引入成对图像的信息，在一定程度上缓解了认知偏误。……