图像标题生成中的人物类名实体填充方法研究

张家硕，洪 宇，唐 建，程 梦，姚建民

(苏州大学 计算机科学与技术学院，江苏 苏州 215006)

0 引言

图像标题生成任务是为给定图像自动生成含义和内容对等的标题。这一标题也称为图注(caption)。面向图像的标题自动生成技术有着广泛的应用前景，例如助残机器人、跨媒体信息处理和认知智能。同时，这一任务也是跨领域的研究课题，对于图像处理和自然语言处理技术均有较高的依赖性。

现有基于端到端(图像—语言)架构的跨媒体生成技术已经取得了瞩目的研究成果，借助图像特征的编码和语言特征的解码过程，能够将一个图像自动“翻译”为一条基本符合人类语言规范的语句。此外，注意力机制的引入使得模型性能获得了较大幅度的提升。然而，大量的数据观测显示，这类标题虽然有着较为流畅的可读性，但在表意层面却相距真实标题甚远，表达力明显的欠缺。其中，实体信息匮乏是目前标题生成最为明显的短板之一。

对于图像中的具体命名实体(人、物、机构、地点和时间)，现有标题生成技术无法给出精确且贴切的命名，例如，针对图1中的人名实体，现有技术仅仅会输出“一名男子”或“一个运动员”，而无法输出其真实的姓名“费德勒”。其原因在于现有数据集本身即缺少有形的实体标注。如微软图像标注数据集(MSCOCO)[1]和雅虎图像标注数据集(Flickr)[2]等。而真实的图像标题含有确切的实体信息，因此，本文前期工作为采集维基百科页面上的图像与真实标题数据对，构造包含实体信息的数据集，并基于此数据集训练得到图像标题生成系统。……