动态人脸识别在侦查工作中的应用

栾润生 刘国防 王超强

（1 安徽公安职业学院侦查系 安徽 合肥 230031；2 合肥市公安局视频侦查支队 安徽 合肥 230000）

1 前言

随着技术的进步和社会需求的发展，行业化、商业化推动了人脸识别的高速发展。随着公安系统、小区门禁、智能门锁、智能考勤、智能汽车、智能手机等一系列行业应用和智能家居、设备的普及、催生，越来越多的应用都将人脸识别这一固有的生物识别技术普及、应用、发展提高。在公安工作中，从我国刑事犯罪的发展与侦查治理来看，当前我国仍处于刑事犯罪的高发时期，刑事案件仍旧高位运行，刑事犯罪正在从“网下”传统接触式走向“网上”非接触式。诸如黑恶势力“网络化”、网络暴力、电信网络新型违法犯罪、网络贩枪和传统盗抢骗的有组织化、网络化、动态化等，正在形成新时代下刑事犯罪新形态[1]。而云取证、互联网+、物联网、大数据+、人工智能、智能家居、智能汽车、无人机等一批智能前沿设备的发展应用并逐渐成为主流的这一特征，使得人脸识别向自动化、智能化方向发展是必然的趋势。

人脸识别技术的应用始于20世纪60年代，国外对人脸识别技术的相关研究，限于当时的技术水平和应用领域，仅仅是在一般模式识别领域和人脸几何特征算法方面的研究[2]，主要是从认知、感知和心理学方向进行探索[3]，从面部轮廓曲线、基于面部的几何结构中提取特征。到20世纪90年代初期，人脸识别技术开始从人脸的面部弹性图特征匹配、灰度图像、形状分离及人脸模型可变等方面进行研究[4]，这一阶段的人脸识别较初期有了长足的发展，无论是在识别率上还是识别条件都有巨大改进和丰硕成果。随着计算机技术、信息网络、芯片工艺、光学成像等技术的发展成熟，到20世纪90年代后期，人们开始了人脸识别的主要行业落地应用，并建立了一些商业人脸识别系统，这一时期不仅在技术层面上有了很大的提升，诸如多维特征矢量法、局部特征分析法、弹性图标匹配技术等，而且随着人工智能的深入应用，人脸识别逐渐能够达到主动学习、自动识别的效果[5]。21世纪以来，人们不断探索，从硬件性能提升到软件算法改进，诸如人脸空间建模、人脸3D识别法、基于各种外部因素的人脸识别方法①各种外部因素算法包括：基于光照、拍摄角度、几何特征、人脸特征、地域特征、模板匹配、神经网络、隐马尔可夫模型、贝叶斯理论、支持向量机等。、深度学习、大数据、人工智能等理论，使得当前人脸识别达到空前热度和成熟度，基本达到快速、精准、误差的鲁棒性能等特征。一些关于人脸识别的技术综述有详细的阐述。

科学技术的突飞猛进使人脸识别得到了长足的发展，现在的网络信息化、大数据、高清视频的迅猛发展催生了大量对人脸识别的课题研究、论文发表、应用方向，很多知名理工大学、IT行业产业都有专门的研究组对这一领域进行大量深入的研究、探索，当前对人脸识别的研究应用几乎达到了“泛滥”的程度[6]。

纵观人脸识别的发展，其核心要素包括硬件设备，如芯片、处理器的运算能力和前端采集设备、线路端的图像传输设备，以及系统后端的数据存储、分析、控制、输出和显示设备等一系列硬件的集合；软件环境，如高报警准确率②报警准确率=报警正确数/报警数。的内核引擎、高响应度的应用系统和核心算法的优化升级等；基础数据，如数据的采集设施③数据采集设施包括可以产生人脸图片、视频数据的人脸抓拍机、高清网络摄像机、视频门禁、警务通、执法记录仪、认证采集仪、人脸闸机和卡口电警等。、一定量级和有价值的比对数据库等。只有同时优化提高这3方面的技术指标，才能保证人脸识别应用的准确性、高效性、实用性。因此，“人脸识别系统”集成了数据采集、机器识别、机器学习、模型理论、专家系统、图像处理、大数据分析、云计算与存储和人工智能等。并结合中间值处理理论与实现机制，可以说，它是当今生物特征识别技术应用领域的又一里程碑式的新突破。借助于高度集成与迅猛发展的信息化科学技术、立足于大数据采集分析、借助于5G网络高带宽传输，将共识算法、身份认证、智能合约、云计算、区块链等多类技术不断优化升级，定会推动并加快人脸识别应用由弱人工智能向中强人工智能深度应用时代迈进的步伐。

2 背景

随着国民经济的快速发展和城市化进程的加快，从20世纪80年代初到2015年，全国各地的城市人口大量涌现，中国的流动人口总数呈增长趋势。统计显示：2017年全国流动人口总量为2.445亿④根据国家卫生健康委员会发布的《中国流动人口发展报告2018》。。由于流动人口的规模导致了区域人员构成相对复杂，这对城市公共安全领域的人员安全防范与管控等方面提出了巨大挑战。按照原有的工作模式——仅凭传统的人工查看视频的方式，试图从海量非结构化视频数据中检索分析、逐一排查进行业务处理和案件办理，犹如大海捞针，费时费力、收效甚微，不论是从工作效率上还是对一线警情压力上，与当前社会的大数据理念和快节奏的生活、工作方式都是不匹配的。因此，亟需创新工作模式、改进传统工作方法，借力于当前科技发展和信息网络力量。一套成熟度高、可靠性好的人脸识别系统可以实现对人脸大数据的快速采集检索、秒级分析、联动研判、精准落地等高效应用，可以解决传统警务工作模式中的低效、延时问题，突破人员管控的瓶颈难题。2014年底，公安部下发的《关于做好公安“十三五”规划编制工作的补充通知》中明确提出：“十三五”期间，人员数据智能数据采集系统（简称“雄关计划”）的建设将在县级以上城市进行。在重点城市，重点关注重点区域和重要出入口，通过人员卡口、电子围栏、视频监控、移动卡口等前端设备建立多模式高通量人员特征信息采集与识别系统。加强预测和警告关键人员异常行为的能力。这指出了国家公安机关开展面对大数据建设的方向和要求。“前端智能采集+云端解析应用”人脸大数据研究与判断系统的建设必将把视频监控系统推向一个新的高度。

3 动态人脸识别的概念、特点和架构

根据公安服务的实际应用需求，动态人脸识别是一种利用人脸识别、深度学习、大数据和云计算的技术。设计了动态人脸大数据分析应用系统、结合实战经验、犯罪心理学、犯罪行为学等实践经验和理论研究。通过建立科学合理的数据分析模型，提供相应的数据或事件检索、关联、分析、比较、标签、存储等服务，发现隐藏在数据和事件之间的高价值数据或线索，并升级传统的“从案例到汽车，从汽车到人”检测模式，创新扩展到一种新的运作模式——“从案到人，从人到人，从人到身份，从身份到人”。

3.1 动态人脸识别的概念

按照人类对事物的认识规律，识别，即是人类通过感官系统（比如眼睛、耳朵等）对外界事物的信息接收与获取，然后将信息传递给大脑进行分析、识别、判断，最终决定采取相应响应动作的一个过程。动态人脸识别（DynamicFaceRecognition），就是把照相机、摄像机和图形图像采集等仪器设备作为我们的眼睛和耳朵，获取和接收人脸图像信息，通过传输，存储到后台服务器来执行实时特征提取和特征点比对分析。通过与既有数据库原型数据进行相似度识别判断，得出相似度数值并输出的过程。

动态人脸识别系统主要包括人脸检测、跟踪、特征值提取、识别等模块[7]。所谓动态，是相对于静态而言，它是在实时检测、采集到人脸数据的同时运行数据处理分析模块，采用深度学习算法和图形处理器（CPU）功能，一种面部结构数据系统，用于从诸如由前端设备收集的视频和图像的非结构化数据中提取面部属性和构建视频图像，通过实时和深度挖掘技术提取特征和构建模型，以形成可由机器快速识别的分析数据。并在各种、各级、各类已建在建资源库数据中进行检索比对实时预警的过程。动态人脸识别是建立在初期人脸识别概念、中期自动人脸识别研究和现阶段大数据实时采集、分析、处理、输出的一个系统，突出“动态”特性。

3.2 动态人脸识别的特点及技术实现

3.2.1 深度学习技术

深度学习是机器学习的重要分支，是传统神经网络的重要延伸。作为一个多层次的非线性神经网络模型，它具有强大的学习能力，结合大数据，云计算和GPU并行计算。它已广泛应用于图形图像处理、视觉、语音和生物识别等领域和专门行业[8]。自2007年以来，人脸数据库LFW（LabeledFacesintheWild）[9]作为权威人脸识别测试数据库，大量基于深度学习的人脸识别方法在LFW数据集上获得了突破性的结果。Face++提出的MegviiFaceRecognitionSystem[10]采用常规的深度卷积网络模型，训练数据是通过网络搜集的500万张人脸图像，训练后的模型在LFW人脸数据集上准确率达到了惊人的0.9950，超过了人眼0.9427～0.9920的识别精度。DeepFace通过额外的3d模型重构正脸头像，在LFW人脸数据集上达到了0.9735的精度[11]。百度的方法结合了util-patchdeepCNN和deepmetriclearning来提取人脸特征，训练数据为1.8万人的120万人脸图像，在人脸数据集LFW上达到了0.9977的超高精度[12]。

3.2.2 大数据技术

如今全球数据化时代，数据的产生和存储量在逐年增加。根据国际数据公司（IDC）跟踪分析显示：2012年全球产生的数据总量已达到1.8ZB①数据基本单位换算：1ZB=1024EB;1EB=1024PB;1PB=1024TB;1TB=1024GB;1GB=1024MB;1MB=1024KB;1KB=1024B;1B=8b(bit位).，预计到2020年将达到35ZB，其中约22%将来自中国[13]。借助大数据4V功能②大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。EB/OL-大数据是什么？大数据时代4个特点。https://baijiahao.baidu.com/s?id=1601445047342656382&wfr=spider&for=pcz.，结合公安管控业务的实际需求，基于分布式计算、全文搜索引擎等技术，解决并提供系统内海量数据的结构化、半结构化类型的存储、快速检索、分析统计等应用。通过大数据的深度学习、关联分析、聚类融合等技术手段，对事件（务）的发展趋势做出研判、预测并给予客观科学、可靠性决策建议。

3.2.3 高性能计算技术

对于传统的计算密集型应用程序，它通常适用于使用传统刀片集群的大规模多节点并行性。对于无法执行多节点跨节点并行性的多线程应用程序，内存、I/O（输入和输出）要求很高，即使具有特殊附加卡要求的应用程序也需要更高的单节点处理性能，更高的内存和I/O（输入和输出）可扩展性要求及附加卡可扩展性要求。通常，SMP胖节点配置为满足应用程序要求。同时，在图形领域，GPU可以提供更高的性能和更好的能效比，并配置大量的高密度GPU节点，以满足图形计算的需求（如图1）。

3.3 动态人脸识别系统架构

3.3.1 物理架构

图1 GPU加速工作原理和GPU+CPU组成模块并行计算架构

动态人像应用系统由视图接入系统、视图解析引擎、比对引擎、大数据分析引擎、应用系统、图片存储等部分组成。主要完成人脸抓拍机、网络摄像机、视频平台或者图片平台的接入和协议适配；解码、取景、面部追踪和视频的脸部捕捉；根据人脸所在位置、人脸大小、人脸偏转情况及光线环境等情况自动对人脸图片质量进行判断，屏幕并标记最佳质量的图像，用于特征提取，面部建模和数据结构化。搜索要实时比较的面部特征值流对并在单个目标库中搜索目标，为布控功能提供基础计算能力支持。

3.3.2 逻辑架构

动态人像应用系统及其周边系统从逻辑上由基础设施层（Iaas）、智能视频服务层（Paas）、智能视频应用层（Saas）、用户场景层组成。包括数据采集基础设施、网络传输基础设施、数据中心基础设施；人脸抓拍机、高清网络摄像机、视频门禁、警务通、执法记录仪、人证采集设备、人脸闸机、卡口电警；数据接入服务、基础服务，数据接入服务处理原始视图数据的接入、编解码、流媒体转发以及异构网络的摆渡服务等。视图解析引擎、大数据分析引擎、深度学习训练引擎、比对引擎四大引擎及一套视图分布式存储系统。通过对下层服务的抽象和封装、结合业务流程，对外提供包括基本的注册认证权限功能，以及人员轨迹研判、人员身份研判、重点人员布控、大数据技战法功能、数据统计功能等。支持通过SDK等方式与公安常见的业务系统，比如八大库、PGIS等进行交互，实现技战法的综合应用。

4 抓捕机制与实战效果

H市公安局视频侦查支队在人脸识别领域开拓创新，通过人脸识别技术，已经实现抓捕人数的大幅度增长，其中包含全国在逃人员（包括在逃10年以上）、本地三车人员、扒窃人员、吸毒人员等。在实际工作中，有许多实战经验输出，包括夜晚低分值预警研判追踪、历史预警追踪、戴口罩犯罪嫌疑人的研判抓捕、戴墨镜的犯罪嫌疑人的研判抓捕、模糊图片的人脸识别研判等经验总结，对开展人脸识别和犯罪嫌疑人抓捕工作具有重大突破。

4.1 H市视频侦查人脸识别抓捕机制

与传统历史预警，即通过对过去的视频数据进行分析研判，确定人员的同一性，再进一步研判、分析、跟踪，直到实施抓捕不同的是，实时预警是动态人像识别，实时判断目标动态人像相似度，利用系统比对加上人工适时干预，判断身份信息同一性并进行实时视频追踪，结合回溯相关历史视频数据进行梳理历史视频轨迹进行警力调配，实施抓捕的过程。

4.1.1 历史预警

针对历史预警信息，可以通过分析研判，判断预警信息是否为同一人，如果是同一人，可以通过图2流程图所示的信息进一步研判、分析、跟踪，直到实施抓捕。

图2 历史预警模型

4.1.2 实时预警

实时预警部分属于动态人像识别部分，是目前人脸识别技术应用最为广泛、直观的部分，对于打击犯罪、实时人员管控起到最为直接的效能。H市视侦在现有的人像识别技术中不断探索，深挖行业能力，通过实时预警实时抓捕犯罪数起，对打击犯罪、维护社会治安起到良好的作用。图3所示为H市视侦在贴合实战使用中不断探索的实时预警出警机制，通过一整套的系统融合、加上人工干预，充分发挥了人脸识别系统的强大功能。

4.1.3 戴口罩、戴墨镜、模糊图像研判分析

图3 实时预警模型

在实际案件中，犯罪嫌疑人反侦查意识能力越来越强，犯罪嫌疑人通常采用多种方式实施遮挡，包括戴帽子、戴口罩、低头等多种方式遮挡，导致人脸识别系统无法直接抓拍到人脸特征信息，针对这类人员，可利用衣着、体型、步态等特征进行“以图搜图”等方式，通过综合研判核实人员身份信息。目前，H市视侦在经过大量数据的整合、人像大数据的应用，目前针对戴口罩、戴帽子等遮挡面部人员已经可以实施有效打击，一年来针对这部分人实施抓捕多人，给社会治安作出重大贡献。遮挡、模糊图像的研判模型如图4所示。

图4 遮挡、模糊图像研判模型

4.2 实战效果及案例

4.2.1 预警追逃

在实时视频图像中捕获面部信息，并且与布控库内的面部数据进行比对，执行碰撞指令，并且相似性达到设定的预警阈值。

案例1：动态人像快速锁定潜逃5年命案逃犯

2018年6月某日下午14时50分许，人卡预警：疑似2013年5月某日因涉嫌故意伤害致人死亡被上海警方上网追逃的在逃人员周某某在某超市门口出现。综合多家科技公司人卡系统交叉比对和人工干预研判，均倾向于命案逃犯周某某，随同步推送至行动队对其进行现场盘查，随后结合其他认证比对信息，确认了其身份。

4.2.2 临时布控

针对辖区电瓶车、系列车内物品盗窃案件在时效性、破案追赃等方面困难重重。利用动态人像识别系统进行临时布控，各警种部门根据工作需求，申请视频临时布控。相对于其他技术手段，门槛低、时效性强，收效好。目前临时布控库共布控212人次，抓获180人次。

案例2：系列盗窃车内物品案

经对图侦库多起案件梳理串并，锁定两名犯罪嫌疑人。其驾乘车辆、衣着体型、鞋子高度相似，倾向于同一伙人。遂进行动态人像临时布控预警，视频侦查员立即开展视频追踪工作。一路追踪近3个小时，调阅上百个探头，截取上百张有效截图画面，于下午18时30分许，犯罪嫌疑人在某交叉路口伺机作案时，被早已在视频可视化指挥下的侦查员和附近特警巡控人员当场抓获。

4.2.3 智能管控

针对特定治安复杂区域、重大活动安保现场，建立连线划片，闭环人像触发网络，达到人像虚拟围栏的效果，是进行区域智能管控的有效手段。位于老城区内的二手车（三车）交易市场，道路错综复杂，治安状况较为恶劣情况，在架设探头基础上，增设专用智能人脸相机，形成人像虚拟围栏。做到三车前科人员进入该区域即触发报警，并及时对特定人员活动轨迹实施特定管控。同时，实现了基于人像识别的全市扒窃前科人员预警、抓捕、盘查和重点人员管控。动态人像识别能及时发现、掌握其活动轨迹，推送街面行动力量，由事后打击向事前预警转变。

4.2.4 同行伴随，揪出“隐形人”

对于一些有前科劣迹人员再次作案时，他们的反侦查意识不断增强，已经不仅仅是针对在摄像头下的简单遮挡了，他们作案后反而会“堂而皇之”“从容不迫”地出现在监控之下，而公安工作中却无法对其划定轨迹、定位落脚点。这一类犯罪嫌疑人称之为“隐形人”，而对于这样的“隐形人”，仅仅依靠视频检索分析、追踪定位是不够的，还需要使用其他方法来破解难题。而对他的同行人进行伴随分析，便能很好地关联出这个“隐形人”，如果继续深挖的话还能起到打击窝点、团伙的良好效果。这种“同行伴随法”针对多人、流窜作案的打击效果尤为明显。

案例4：动态分析同行人伴随出流窜惯犯

2019年5月上旬，家住黄山市某小区的叶女士报警称其被人实施了传统的“丢包诈骗”，犯罪嫌疑人为两人，均为男性，年长者年龄在50岁左右。民警遂通过受害人提供的线索及周边监控，通过循线追踪及受害人指认等方式获取了一张犯罪嫌疑人的监控照片（如图5）。但是该照片只有年长者犯罪嫌疑人且图形模糊，不具备比对条件。后通过动态检索获取了一张清晰照片（如图6），但对年长者进行查询没有任何轨迹信息，工作一度进入僵局。后通过对同行年轻者（白色长袖T恤者）进行多次动态检索，获取其清晰正面照片后并落地身份（如图7），经研判发现了该年轻人的活动轨迹信息，随进行伴随落地，并在该小伙登记住宿点将两人同时抓获。

图5 犯罪嫌疑人1

图6 犯罪嫌疑人1/2

图7 犯罪嫌疑人2

5.2.5 快破大案、多破小案

人脸识别系统除抓拍人脸外，还抓拍全身及全景图片，逐渐形成了视频大数据。通过对人脸数据、人体特征及伴随图像进行检索分析，实现了对犯罪嫌疑人员活动轨迹的掌控，为大要案侦破中情报研判和案件串并提供支撑。同时，视频大数据对盗窃三车犯罪嫌疑人员，可通过分析一人多次骑不同车辆（如图8），有效实现案件研判串并的破小案奇效。

案例5：动态分析快破伪装入室抢劫案

图8 同一人不同时间段频繁骑行不同型号电瓶车

2017年12月某日15时许，110接警中心接市民熊某报警称其遭入室抢劫。经过现场勘查等侦查措施在推动案件侦破过程中遇到瓶颈时，根据天网截图，展开视频大数据搜索分析研判。动态人脸卡口系统发现当日下午16时在步行街1名男子的衣着体貌特征与犯罪嫌疑人的特征极为相似。搜索分析，发现案发3天前18时许的视频显示，犯罪嫌疑人在徽州大道附近的图像，此时的犯罪嫌疑人是板寸头。从而推断其作案时佩戴的是假发。通过视频大数据分析，还原了犯罪嫌疑人作案前后的行为生活轨迹。获取了犯罪嫌疑人清晰的人脸截图，经工作得到两名犯罪嫌疑人的身份信息，并在相关部门的大力协助下，于1周内，分别在石家庄、H市将两人成功抓获。

案例6：盗窃电动车案

2017年12月某日，接受害人孟某报警称，昨晚将电动车停放在小区边，早上上班时发现电动车被盗。通过调取监控视频后，发现并锁定犯罪嫌疑人。犯罪嫌疑人戴口罩，连帽外套，通过视频大数据分析，对进出区域周边所有盗窃三车前科人员进行梳理。发现三车前科人员韦某某经常出现在受害人居住小区附近区域，且衣着特征明显。视频大数据分析进一步发现，韦某某曾在一周内连续驾骑7辆不同颜色、型号的电动车出现在二手车交易区域。经推送巡特警盘问和其他证据证实了韦某某的系列盗窃电瓶车事实。

5 存在的问题及发展方向

5.1 存在问题

当前的动态人脸识别系统，在案件预警、实时追踪、历史回溯等事前、事中、事后方面已经有了长足的进步和提升，但是在系统建设、应用管理、统筹任务等方面仍存在一些不足，有待提高。一是在系统权限管理、账户分配、保密推送上要逐渐精细化。当前阶段，视频图像分析软件、企业如雨后春笋般发展，如何整合利用好各家优势，系统在预警推送上努力达到精准、精细化；将使用权限严格管理，避免滥用；将大要案件的视频预警推送信息密级提升、按规合规。二是视频图像存储时间短，识别算法参差不齐。现在的系统视频数据的存储时间30天左右就将覆盖删除，而有些案件侦办需要更长时间视频数据支撑。在实战应用中多家科技公司对同一张图片进行识别分析时会有不同的结果，有的还相差甚远，加入大量的人工干预进行辅助分析，所以应在光照、姿态、遮挡等方面进行算法突破，提高预警准确率，降低误判率。三是多数据交叉智能化碰撞分析能力需提升。当前视频侦查仅在人脸图片的碰撞比对，而对于其他数据的交叉碰撞缺乏探索与融合。

5.2 发展方向

未来发展，结合各要素、多系统、互关联数据建立视频动态立体防控网的理念尤为重要。一是设计铺设一定量级的普通摄像机，组成“综合治理防控网”，实现对区域面积的治安防控全覆盖；二是根据城市区域环线构建多重防控圈的实体卡口、微卡口的“车辆特征捕获网”，实现对进出城市区域车辆信息的采集、比对无遗漏；三是架设多路重点点位的人像识别摄像机和后端人脸处理机的“人员特征采集网”，实现对人脸采集、识别的精准化和快速反应；四是架设高空摄像点位机和警用无人机的机动空中监控点位的“高空立体防控网”，实现高低搭配的立体防控；五是架设一定数量的WiFi信息采集点的“WiFi信息采集网”，实现网络信息与视频等资源的关联联动；六是充分利用内外网、专网等信息资源，整合视频图像、基础信息、虚拟信息（网络空间信息）的“大侦查综合研判网”，实现大数据的碰撞、聚合的全方位综合治理新格局。

当前，一个人的身份存在很多结构化、半结构化和非结构化形态，比如人脸数据、网络电子数据、WiFi数据等等，若能将这些形式多样、结构复杂的数据打通、融合、筛选、提取，才会向智能化侦查迈出一大步。随着物联网、云计算、移动互联、大数据和人工智能的深入推进，利用大数据技术，推动“智慧公安”、转型升级侦查治理手段，必将成为新时代推动公安事业发展的必由之路[14]。