融合双注意力与多标签的图像中文描述生成方法①

田 枫,孙小强,刘 芳,李婷玉,张 蕾,刘志刚

1(东北石油大学 计算机与信息技术学院,大庆 163318)

2(中国石油天然气股份有限公司 冀东油田分公司 信息中心,唐山 063004)

图像是目前信息传播的主流媒介之一,随着成像设备的普及,图像数据量增长迅速.然而图像以像素的形式存储,这与用户对图像的解读之间存在巨大的差异,高效地对海量图像资源进行检索和管理极具挑战性.如何使计算机依照人类理解的形式对图像进行描述,已是目前图像理解领域的研究热点.

图像描述(Image Caption,IC)[1,2]是指计算机针对给定的图像,自动地以符合人类语法规则的句子将该图像的画面内容进行转换.句子不仅可以作为图像检索的元数据,从而提升对图像资源的检索和管理效率;而且相比词汇标签能更形象、直观地传达图像内容,因此图像描述任务吸引了众多研究者关注.现有的图像描述研究可分为3 类,分别是基于模板的图像描述生成方法[3]、基于检索的图像描述生成方法[4]以及基于翻译的图像描述生成方法[5–10],其中基于翻译的图像描述生成方法借助深度学习端到端的训练特性,通过在大规模图像句子对应数据集上进行学习,模型生成的描述句子更为新颖.现有的图像描述工作[3–10]以研究如何为图像生成英文的描述句子为主,显然此项研究不应该受限于语言,将图像描述研究扩展到母语使用人口最多的中文环境,具有更为重要的现实意义.

相比英文描述……