特定外籍人员人脸识别技术研究

李会永　何卓峰

摘  要：当前，针对特定外籍人员的人脸识别技术还不成熟，被识别人员的肤色越深，人脸识别系统错误发生率越高。为了使人脸识别能够受社会信赖，本文研究解决特定外籍人员人脸识别问题的技术，并且研制出更完美的人脸识别系统，服务于社会。

关键词：特定外籍;算法;人脸识别

中图分类号：TP391.41;TP181      文献标识码：A 文章編号：2096-4706（2019）23-0071-03

Face Recognition Technology for Specific Foreigners

LI Huiyong，HE Zhuofeng

（PCI-Suntek Technology Go.，Ltd.，Guangzhou  510653，China）

Abstract：Currently，face recognition technology for specific foreigners is not mature. The darker the skin color is，the higher the error rate of face recognition system is. In order to make face recognition be trusted by the society，this paper studies the technology to solve the problem of face recognition for specific foreigners，and develops a more perfect face recognition system to serve the society.

Keywords：specific foreign;algorithm;face recognition

0  引  言

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频，并自动在图像或视频中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫人像识别、面部识别。本文中的特定外籍人员是指非洲籍深肤色人员。

1  现状

针对特定外籍人员的人脸识别技术发展较为不成熟，目前即使表现最佳的人脸识别系统，对特定外籍人员人脸的错误识别率也比白人高5至10倍。已经有一些商业软件可以用来识别照片中人物的性别，当照片中的人是白人时，99%的情况下识别结果是正确的，但如果照片中是特定外籍人员，错误率就比较高，肤色越深，识别正确率就越低。在识别黑皮肤女性时，它的错误率几乎达到了35%。

2  算法技术方案

2.1  算法设计

本文提出的算法分为特定外籍人群分类算法和特定人种人脸识别算法。对输入的归一化人脸图像，先使用特定人种分类算法进行人种分类，在确定是特定人种后，再用特定人种人脸识别算法进行识别。两种算法均基于深度学习，利用卷积神经网络（Convolutional Neural Networks，CNN）对人脸图像进行特征提取。

2.1.1  卷积神经网络

相比传统的前馈神经网络，卷积神经网络仿造生物的视知觉机制引入了局部连接和权值共享，在减少网络参数的同时，以卷积作为神经网络的基本计算单元，使得网络对图像的表征学习能力更强，输出的特征具有平移不变性。

将卷积神经网络与Softmax线性分类器串联，通过训练可以实现端到端（图片到分类结果）的分类，例如特定人种分类算法。训练过程中，向网络中输入大量有标注的人脸图像，计算Softmax Loss，用梯度回传算法修正网络参数：

（1）

式（1）中，x为人脸图像，y为该图像所属的类别，f（x）为卷积神经网络输出的特征，wi为线性分类器中第i类的权重。

特定人种分类算法的目标是实现一个二分类器。准备大量人脸图像，其中部分含有特定人种标注，利用卷积神经网络的表征学习能力，训练得到专用的分类网络。

2.1.2  人脸识别的特征表达

根据Softmax Loss的特性，训练过程中，网络对同一类人脸图像提取的特征会相互靠近（余弦相似度变大），对不同类人脸图像提取的特征会相互远离（余弦相似度变小）。根据这一特性，将大量有身份标注的人脸图像作为训练数据，属于同一身份的不同人脸图像（一般为证件照和现场照）归为一类，训练网络。在模型训练完成后，去掉网络后的线性分类层仅使用网络作为特征提取器。此时卷积神经网络对同一个人的不同人脸图像提取出的特征之间余弦相似度会比较大，不同人的人脸特征之间余弦相似度会比较小，即特征提取器得到了人脸图像具有鉴别力的特征表达。在此基础上，可以用这一特征来进行人脸识别相关的技术应用，例如人脸认证、检索、聚类等。

2.1.3  分类损失函数改进

我们希望特征提取器提取的人脸特征鉴别力更强，需要在Softmax Loss的基础上，引入一些其他的损失函数，进一步缩小类内距离、增大类间距离。

使用原始的Softmax计算特征与分类器权重的内积，而在应用特征时，通常计算特征间的余弦相似度，二者之间相差一个归一化操作：

（2）

保证训练和测试阶段的一致性，可以提高算法的表现。因此本文提出在NormFace的方法中，用余弦相似度取代Softmax Loss中的内积，即对特征和分类权重都做归一化操作后，再进行Softmax Loss的计算。由于余弦相似度的值域被限制在了[-1，1]，需要用一个参数s>1进行放大，Softmax Loss被修改为：

（3）

要进一步减小类内距离，可以对类内距离做额外的约束。Center Loss就是在计算类别中心后，要求该类所有样本的特征都向中心靠拢。实际上，在训练足够长时间后，Softmax Loss中分类器类别权重就变成了近似类别中心，所有的样本特征都在向其类别权重靠拢，不需要额外统计类别中心。SphereFace、ArcFace等方法都指出，直接修改Softmax Loss，让正确类别得分与负类得分间有一个额外的差值，即让“正确”分类变得更困难，这样训练得到的模型，同一类样本的特征聚合得更紧，即更具有鉴别力。以ArcFace为例：

（4）

2.1.4  迁移学习

由于特定人群的数据较少，亚裔人群则有海量的数据，如何将两种数据有效地利用也是算法设计的关键问题。直接将两种数据融合作为训练集进行学习，会有两点坏处：

（1）亚裔人群数据远多于特定人群数据，造成后者的信息被稀释，网络难以记住。

（2）亚裔人群数据的类别数远多于特定人群，后者在特征空间中只占据很小的角度，难以区分。

因此，需要利用迁移学习的方法，即先用亚裔人群数据做预训练，保证网络的特征提取能力，再用特定人群数据进行微调，提高算法针对性。

虽然完成预训练后，网络对特定人种的数据有一定鉴别力，但统计这些数据的类别中心，发现彼此间相似度都很高。用这些类别中心初始化分类器权重，用特定人种数据进行训练，随着训练的进行，这些权重彼此间慢慢远离，即慢慢张开到充满整个特征空间，这时特定人群的特征就更容易区分了。

为了减少预训练用数据，即亚裔人群数据在微调阶段信息丢失，用这些数据配合非分类的损失函数进行训练。即在微调阶段，除了用特定人群的数据做分类损失的训练外，还引入如下的N-pair Loss损失函数：

（5）

每次输入网络的数据中，保证每个样本f至少有一个同类样本f +，该Loss的优化目标即让同类样本f和f +间的余弦相似度高于不同样本。使用非分类损失函数，可以在持续从亚裔人群数据中学习鉴别信息的同时，不对特定人种数据的特征分布产生不利影响。这是由于没有分类权重，不会推挤特征空间特定人群数据的分类权重。两种数据以相同的量被输入网络，特定人群数据因为总量小，每张图片被输入网络的频率更高，信息不会被稀释。

2.1.5  应用功能设计

运用特定外籍人群算法，创新特定外籍人员管控工作模式，需要应用平台落地。特定外籍人管理系统应该具备前端智能感知，可以整合接入前端智能采集設备，构建智感安防区域。以视频监控信息、人员信息、案件库信息、社会资源信息等作为原始信息流进入分布式消息总线，经过预处理的信息流再通过计算调度中心流向实时搜索引擎服务器、分布式存储计算服务器等进行深入学习，最后为分析研判、布控预警、业务处理等应用提供API接口。具备数据梳理清洗共享能力，可以基于大数据平台，梳理已有的各类特定外籍人员数据，通过算法分类获得特定外籍人员的信息，提供查询服务和图片检索服务接口。系统功能和人脸识别算法，可实现防控区管理、肤色分类、人员归档、轨迹检索、身份核查、预警研判等功能应用;人脸识别算法方面，以服务基层实战为出发点，通过持续的告警阈值的优化，不断提升算法识别的准确率和降低误报，可以引入多家人脸识别厂商的算法，达到较为准确的肤色分类和人脸识别率，在实践中指导实战应用。

2.1.6  实战试用情况

系统整体告警情况及优化。以服务基层实战为出发点，使用本算法8个月，共产生告警4586次，涉及告警人员841人，算法准确率85%。通过持续的告警阈值的优化，不断提升算法识别的准确率，降低误报，截至目前，算法已经历三个阶段优化调整：

第一阶段：第1个月，告警阈值设置为60%，产生告警总数1169次，涉及告警人员509人，告警准确率90%，误报率80%，误报较多，部分出现男女报错的情况。

第二阶段，第2个月，告警阈值设置为75%，产生告警总数3070次，涉及告警人员756人，告警准确率85%，误报率60%，误报有所减少，但数量还是比较多，达不到业务实际应用效果。

第三阶段：第3至8个月，告警阈值设置为94%，产生告警总数347次，涉及告警人员138人，告警准确率80%，误报率1%。

经实践得出，告警阈值设置在94%时，告警准确率相对较高，且误报、漏报较少，可指导实际应用。借助于本算法，通过路人抓拍照片，在与本地“一人一档”已知人身份库未比中情况下，通过调用移民局图片检索服务接口最终成功落地确认身份35人。在布撤控数据方面，目前通过人工撤控方式，成功更新18人数据信息，后续通过实现与业务单位数据的同步更新，确保系统内数据的鲜活。

3  结  论

到目前为止，特定外籍人群人脸识别技术已经实现在0.1%的误报条件下，识别准确率到达80%，该技术已经服务于公安外管应用，已能够成功识别出在监控范围内的特定外籍人员，为公安外管业务提供技术支撑。

参考文献：

[1] 徐剑，丁晓青，王生进，等.一种融合局部纹理和颜色信息的背景减除方法 [J].自动化学报，2009，35（9）：1145-1150.

[2] TAIGMAN Y，MING Y，RANZATO M，et al. DeepFace：Closing the Gap to Human-Level Performance in Face Verification [C]// CVPR’14 Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition，June 23-28，2014，IEEE Computer Society Washington，USA，2014：1701-1708.

[3] WANG F，XIANG X，CHENG J，et al. NormFace：L 2 Hypersphere Embedding for Face Verification [J/OL]. arXiv：1704.06369 [cs.CV].（2017-04-21）. https：//arxiv.org/abs/1704.06369.

[4] LIU W，WEN Y，YU Z，et al. Large-Margin Softmax Loss for Convolutional Neural Networks [C]// ICML’16 Proceedings of the 33rd International Conference on International Conference on Machine Learning，June 19-24，2016，New York，USA：2016：507-516.

[5] LIU W，WEN Y，YU Z，et al. Sphereface：Deep hypersphere embedding for face recognition [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），July 21-26，2017，Hawaii Convention Center，Honolulu，Hawaii，2017（1）：6738-6746.

[6] DENG J，GUO J，XUE N，et al. Arcface：Additive angular margin loss for deep face recognition [J/OL]. arXiv：1801.07698 [cs.CV].（2018-01-23）. https：//arxiv.org/abs/1801.07698.

[7] LIU Z，LUO P，WANG X，et al. Deep learning face attributes in the wild [C]// 2015 IEEE International Conference on Computer Vision （ICCV），December 7-13，2015，IEEE，Santiago，Chile，2015：3730-3738.

[8] RUDD E M，GÜNTHER M，BOULT T E. Moon：A mixed objective optimization network for the recognition of facial attributes [C]// Computer Vision–ECCV 2016：14th European Conference，October 11-14，2016，Springer，Amsterdam，The Netherlands，2016：19-35.

[9] SOHN K. Improved deep metric learning with multi-class n-pair loss objective [C]// 30th Conference on Neural Information Processing Systems （NIPS 2016），December 5-8，2016，Centre Convencions Internacional Barcelona，Barcelona Spain，2016：1857-1865.

作者簡介：李会永（1980.07-），男，汉族，河南太康人，副教授级高级工程师，硕士学位，研究方向：公共安全防范技术和应用;何卓峰（1980.12-），男，汉族，广东广州人，电子信息技术工程师，理学学士，研究方向：安防工程系统集成。