标签噪声学习算法综述①

王晓莉,薛 丽

(长安大学 信息工程学院,西安 710064)

目前诸如图像分类、对象检测、语义分割等应用在深度学习方面表现出优异性能的根本原因分为三方面,首先,计算机硬件系统设备的不断提升,尤其在图形处理单元和并行处理方面有明显提高；其次,网络参数初始化和训练方法方面其技术的飞跃进步,但以上两种情况需要以数据作为支撑才可以将其良好的性能表现出来,即第三个原因,有类似于ImageNet 这类清晰注释的大型数据集.在实际情况中,收集带有噪声的数据集很容易,但收集大规模干净的数据集既昂贵又耗时.一方面,专家标记数据对某些研究是必须的,如,医学中的相关数据,由于其专业性,需要专家进行标注；另一方面,对于类似于JFT300M 这种包含3 亿张图像的庞大数据集是无法对其进行手动标记.同时,机器学习领域中,使用带有标签的数据训练神经网络进而实现分类、回归或其他目的的学习方式非常常见,但在相关模型学习中,如果使用含有大量错误信息的数据,则会影响最终预测模型的准确性.

因此,越来越多的学者开始针对噪声数据进行研究,其通常分为两类：特征噪声和标签噪声[1-3].特征噪声是指训练样本实例特征本身和其真实特征之间的偏差,例如人为地在已有特征上添加高斯噪声.标签噪声是指用于训练的目标标签与相应实例本身的真实标签之间的偏差,例如设定标签时错误设置标签所属类别.这两种噪声类型都会导致系统的性能下降,但相关研究[4,5]表明标签噪声的危害性更大,如表情识别中,高品质面部表情到低品质微表情的不确定性,会导致标签不一致甚至标签错误,最终降低系统最终的分类性能；……