融合语义特征和分布特征的跨媒体关联分析方法研究

刘忠宝，赵文娟

（1.北京语言大学语言智能研究院，北京 100083；2.泉州信息工程学院云计算与物联网技术福建省高等学校重点实验室，泉州 362000）

1 引 言

随着大数据时代的到来，互联网上涌现了海量的文本、图像、视频、音频等多种媒体数据。这些数据来源广泛、结构各异，从而导致“语义鸿沟”问题的出现，严重地影响和制约了多种媒体数据语义一致性的学习和表示。事实上，人类通过语言、听觉、视觉等多感官认识世界，如何借鉴人类认识世界的方式实现多种媒体数据的语义理解，是进行跨媒体一致性表示的关键。解决该问题的常见做法是建立一个统一的语义空间，将各种媒体数据映射到该空间得到一致性表示，通过比较各种媒体数据之间位置、距离来确定数据之间的关联关系。

目前，现有文献采用的方法中大多数是针对文本和图像两种媒体数据展开的研究。尽管可以通过“两两组合”的方式将面向两种媒体数据的跨媒体关联分析研究扩展到多种媒体数据，但这种做法忽略了各种媒体数据之间的共存性和互补性，导致利用现有方法获得的语义信息不够完备，这直接影响了跨媒体关联分析的效率[1]。此外，现有方法往往是通过最大化成对各种媒体数据之间的关联关系建立优化问题，并未考虑各种媒体数据的上下文信息，这些媒体数据的统一表征缺乏丰富语义信息的支持[2]。因此，本文融入多种媒体数据的语义特征和分布特征，来对跨媒体关联分析方法进行深入研究，以期在一定程度上提高多种媒体数据的语义表征能力，并有效地提高跨媒体关联分析的效率。……