基于多特征提取的图像语义描述算法

赵小虎，李 晓*

（1.矿山互联网应用技术国家地方联合工程实验室（中国矿业大学），江苏徐州 221008；2.中国矿业大学信息与控制工程学院，江苏徐州 221008）

（∗通信作者电子邮箱ts18060032a31@cumt.edu.cn）

0 引言

图像语义描述一直是人工智能领域中最重要的研究方向之一，是图像理解的高级任务。它首先需要识别图像中的对象和场景，描述目标类别、属性以及对象和其在场景中位置之间的关系，然后将描述信息转化为一个有一定的语法结构和语义的句子，这样人们可以在没有看到图像的情况下很快地理解图像内容。因此图像的语义描述设计了多种模型，根据句子生成方法的不同，可分为基于模板的方法［1-4］、基于检索的方法［5-8］和基于神经网络的方法。目前，基于深度神经网络的图像语义描述方法在这一领域取得了重大突破，尤其是卷积神经网络（Convolutional Neural Network，CNN）与递归神经网络相结合的语义描述生成模型。此模型生成的句子与人工标注的句子非常接近，在多个数据集上都取得了良好的效果。

Mao 等［9］创造性地将卷积神经网络和递归神经网络相结合，解决了图像描述和句子检索等问题。自此之后，基于深度神经网络的图像语义描述方法得到了广泛的发展。Kiros等［10］率先将编码-解码框架引入图像语义描述研究，利用深度卷积神经网络对视觉信息进行编码，同时利用长短时记忆网络对文本数据进行编码。Szegedy 等［11］提出了一种基于GoogLeNet 和长短时记忆（Long Short-Term Memory，LSTM）网络的图像标语义描述模型，该模型只需要将整个图像特征放入LSTM 的初始时间步长，以此降低模型的复杂度。……