张旭 北京中盾安全技术开发公司
卷积神经网络(Convolutional Neural Networks,CNN)作为当代人工智能的核心技术之一,在视觉领域已经取得了巨大的成功,显著地提高了人脸识别技术在公共安全领域的应用水平。这主要归因于大规模地训练数据、端到端的训练框架以及较多的开源深度学习框架。
在一般的图像分类、场景及行为识别中(如车辆、人体、人脸检测等),测试样本的可能类别是存在于训练集中的,一般将此类问题归纳为闭集识别。因此,对于此种问题,使用SoftMax损失函数能够直接解决。类别预测层(最后的全连接层)扮演着线性分类器的角色,并且深度学习得到的特征容易被分离开。
对于人脸识别来说,由于提前收集所有的测试样本(所有的类别)用于训练是不可能的,因此用于人脸识别的深度特征不仅需要是可分的而且还要具有区分性。深度学习得到的特征需要足够具有区分性和普遍性才能确认新的未曾训练的类别。区分性的特征是尽可能地压缩类内间距,扩大类间距。具有区分性特性的特征能够使用最近邻(NN)或K近邻(K-NN)方法进行很好地分类,并且不依据类别标记的预测。然而,SoftMax损失函数仅仅鼓励特征的分离,得到的特征并不足以用于人脸识别。
为训练具有区分性的特征,构造高效的损失函数是有意义的。因为随机梯度下降方法(Stochastic Gradient Descent,SGD)是根据mini-batch来优化CNN网络的。而mini-batch并不能反应深度特征的全局分布。由于训练集合的庞大规模,在每一次迭代过程中使用所有的数据并不现实。……