基于无监督深度学习的跨模态数据目标检索

纪 冲，刘 岩

(内蒙古农业大学计算机与信息工程学院，内蒙古 呼和浩特 010018)

1 引言

移动设备、社交网络以及自媒体平台的蓬勃发展，图像、文本、音频以及视频等多媒体数据出现了指数级的上涨趋势，但这些具有差异性的数据往往可能是在对同一事件或者主题进行描述，所以，用户迫切希望在海量多媒体数据中，通过其中一种模态检索到其它相关联的模态数据，此类检索也叫作跨模态检索。当前的检索技术分为单模态与多模态检索，前者的检索目标必须为相同模态种类，而后者则通过融合不同模态，依据模态的互补信息，达成检索目的，该检索阶段中必须确保查询集和检索集两者之一具有相同模态，该方法虽然可以处理多种模态数据，但是无法完成不同模态间的跨模态检索。近年来，跨模态检索技术得到了众多相关学者的广泛关注，并成为学术领域的研究热点。

文献[1]提出的异构哈希网络下跨模态人脸检索方法，利用图像与视频分支，在一个公共空间中进行人脸图像与人脸视频映射以及非线性哈希函数学习，应用Fisher、softmax以及三元排序等损失函数对哈希网络进行训练，通过设定Fisher为公共空间判别力，softmax指代空间表达的可分性，将三元排序用于检索性能提升，完成人脸视频数据集合的跨模态人脸检索；文献[2]为了获取更加真实精准的物体材质分析结果，构建了一种表面材质的跨模态检索方法，经过梅尔频率倒谱系数特征提取，利用卷积神经网络取得图像特征，通过典型相关分析达成特征与子空间的映射操作后，根据欧氏距离得到检索结果；……