多模态视觉语言表征学习研究综述*

杜鹏飞 ,李小勇 ,高雅丽

1(可信分布式计算与服务教育部重点实验室(北京邮电大学),北京 100876)

2(北京邮电大学 网络空间安全学院,北京 100876)

模态是事情经历和发生的方式.我们生活在一个由多种模态信息构成的世界,包括视觉信息、听觉信息、文本信息、嗅觉信息等等,当研究的问题或者数据集包含多种这样的模态信息时,我们称其为多模态问题.研究多模态问题,是推动人工智能更好地了解和认知我们周围世界的关键.对于多模态问题,我们需要充分利用多种模态间的互补性和冗余性,充分挖掘模态之间的信息,从而消除数据的异构问题带来的挑战.多模态机器学习的应用很广泛,比较早期的应用可以追溯到1989 年提出的一个视听语音任务[1],借助隐马尔可夫模型[2],通过视觉模态补充听觉模态信息.另外就是情感识别研究领域目前已经从单模态识别逐步转向多模态识别的研究,多模态情感的研究的主要是借助视觉、语音、文本、脑电等模态信息对情感状态进行识别,从输出上来看可分为分类问题(输出愤怒、高兴、悲伤等不同情感)和回归问题(输出一个到情感空间的映射值),相应的研究数据集有Busso 等人[3]通过诱导方式录制的基于情感分类的IEMOCAP 数据集、Mckeown 等人录制的基于连续值的SEMAINE 数据库[4].另外,比较常见的应用包括媒体描述、事件识别、多媒体检索、视觉推理、视觉问答等等.

Baltrušaitis 在多模态机器学习综述[5]一文中,将多模态机器学习研究分为几……