基于关系感知双重注意力融合的视觉问答技术

张 伟

(常州开放大学理工学院, 江苏 常州 213001)

深度学习在图像和文本研究中已取得突破性进展,对图像完成识别、分割、检测等任务,对文本中完成情感分类、多轮会话、摘要提取等任务.但在生活场景中无法仅由单独领域模型完成视频生成对应字幕、视觉和问题研究、零样本分类等任务.如今,图像和文本跨模态的研究受到越来越多的关注.视觉问答技术(visual question answering,VQA)可对输入图像和自然语言形式问题进行理解,回答对应的问题.例如,输入香蕉图像和香蕉颜色、形状等自然语言表达形式的问题,模型将输出与图像和问题相对应的答案[1].

现在大部分VQA将图像和文本形式问题联合并以矩阵形式表达，进行融合[2-3].在模型中以目标检测算法(YOLO)为基础框架识别图像中的相关目标;用循环神经网络对文本形式问题进行矩阵化;将得到的不同模态结果进行一致性融合,使目标区域和文本形式问题一致;将两种模态融合的结果输入到模型中预测对应答案[4].

采用传统方法完成VQA的任务效果不错,但是无法解决图像和文本相同语义之间的距离问题.例如,传统YOLO网络识别图像中黑色和白色像素,但是很难识别出物体之间关系;熊猫和竹子之间吃的动作在现有网络中无法辨识[5].

传统VQA框架、传统目标检测框架已经无法满足从图像全面信息中获得不同对象之间相关关系的需求.需要获取的关系包括从空间角度中获取不同对象之间依赖关系和从语义……