基于Spark平台的人脸图像检索系统

陈新荃,陈晓东,蒋林华

(1.中国科学院上海高等研究院,上海 201210; 2.中国科学院大学,北京 100049; 3.上海理工大学,上海 200093)

0 概述

网络带宽的增长和移动互联网的兴起促进了大数据时代的到来。越来越多基于图片和视频内容的应用得到普及,如Facebook、Instagram等。这类应用的发展促进了基于目标的图像检索技术[1]的发展与应用。该技术在人脸检索领域有丰富的应用场景,如公安刑侦人脸识别、失踪人口调查、相似明星脸搜索等。随着图像数据的爆炸式增长,现有人脸图像检索技术在处理海量图像数据的过程中,在实时性、扩展性、并发性和准确性等方面面临严峻的考验。

Spark[2]是一个开源的分布式大数据处理平台,算法框架基于MapReduce[3]算法实现分布式计算。不同于Hadoop[4]大数据处理系统,Spark基于内存计算,同时还提供多种数据处理接口和有向循环图(Directed Acyclic Graph,DAG)调度策略,在复杂计算场景下编码更方便,计算效率更高。

随着图像应用的迅速发展,人脸图像数据爆炸增长,因此,需要一种能够处理海量数据且具有良好可扩展性、并发性和准确率的人脸图像检索方案。本文以此为目标,提出基于Spark分布式计算平台的人脸图像检索系统。

1 相关研究

随着人脸图像检索应用的不断发展,许多研究人员针对图像检索技术进行了研究。文献[5-6]考虑了人脸在二维图像中的空间分布特点,分别通过图像分割法和特征权重法抽取人脸中的显著视觉信息,目的是降低视觉特征规模。文献[7]指出传统视觉词袋模型聚类过程缓慢的问题,考虑了局部特征之间的空间信息,运用二进制哈希与空间金字塔生成视觉词典。……