基于多级语义的判别式跨模态哈希检索算法

刘芳名，张 鸿

（1.武汉科技大学计算机科学与技术学院，武汉 430065；2.智能信息处理与实时工业系统湖北省重点实验室（武汉科技大学），武汉 430065）

0 引言

随着网络的应用和普及，多媒体数据在信息交互过程中急剧增长，这些多媒体数据种类多样、数量庞大，通常表达形式各异但描述的是同一事物［1-2］。现实中用户在查找某一个事物的相关信息时，渴望返回的结果有价值且全面丰富。因此，实现从一种模态数据（如文本）检索出其他的模态（图像或音频）中与之相关数据的跨模态检索得到研究者的关注。由于数据的规模和维度的增长，对大规模数据集的检索时，大部分的跨模态检索方法遭受到高昂的存储代价和时间损耗。跨模态哈希能够将高维度数据映射为紧凑的二进制哈希码并保留数据之间的相关性，此外跨模态哈希采用哈希码表示高维数据，在降低检索时间的同时提高了检索效率。因而跨模态哈希逐渐成为研究热点，尽管跨模态哈希检索方法不断突破，但是由于跨模态数据表达不一致导致的异构鸿沟［3］和不同类型数据在语义描述上存在差别所导致的语义鸿沟［4］是跨模态哈希检索的难点。

为了解决跨模态数据间的异构鸿沟，一些无监督哈希方法通过潜在的语义信息学习统一哈希码。尽管消除了异构差异，但是缺乏标签语义监督信息，不能较好地提高检索性能。有监督的跨模态哈希方法，如文献［5］提出的判别性跨模态哈希（Discriminative Cross-modal Hashing，DCH）算法将标签信息嵌入到哈希码学习过程使得类内数据彼此靠近，但明显忽略了数据类间关系。……