吴越
(四川大学计算机学院,成都610065)
随着日常生活的数字化程度的逐步加深,数字图像的数量也在飞速增长,而人们利用图像的能力与图像的增长速度却不匹配,从图像生成文本即图像标注旨在为计算机赋能,使其具备“看图说话”的能力,能够自动地从图像获得描述性的文本,可以帮助人们从海量的图像数据中获取所需要的信息,在视觉问答系统、以图搜图、视频内容理解等任务场景都有着重要的应用,在商业、军事、教育、生物医学、数字图书馆等领域都有良好的发展前景。
近年来,随着人工智能浪潮的翻涌,越来越多的专家和学者投入到神经网络的研究中来,其中以文本方向的自然语言处理(NLP)和图像方向的计算机视觉(CV)最为火热,而从图像生成文本即图像标注作为这两个方向的结合,得益于两者的快速发展也取得了坚实而长足的进步。从图像生成文本的方法大致可以分为基于模板、基于检索和自动生成三种,目前效果最好的模型几乎都是采用自动生成的方法,本文的主要关注点在自动生成中基于神经网络的编码器和解码器结构的算法,这也是目前主流的方法,以下分别从三个方面进行阐述:基于编解码器从图像生成文本的神经网络模型、生成过程中的重要研究点以及网络模型的性能评价。
基于编解码器[1]从图像生成文本的神经网络模型包括三个主要部分:骨架网络、编码器和解码器。……