面向科技文献的多模态语义关联特征提取与表达体系研究＊

□王睿佳 刘 耀

面向科技文献的多模态语义关联特征提取与表达体系研究＊

□王睿佳 刘 耀

科技文献资源是一种多模态数据，除文本信息外，还包含丰富的图像、表格、公式、音频、视频等多种模态的信息，有利于用户充分理解科技文献资源中的知识。该文把多模态思想引入科技文献的语义表示方面，对科技文献中的图像、表格和公式信息进行语义分析，与文本信息共同表示文献语义内容，通过科技文献中多种模态信息的语义表示及相互关系完善科技文献内容的语义化表示，发展刻画科技文献对象多态性的表达体系。

多模态 科技文献 语义相关性 语义关联特征

＊ 本文得到国家科技支撑计划项目（2011BAH10B04），国家社科基金项目（12BTQ006），中国科学技术信息研究所预研基金（YY－201125）的支持。

1 引言

科技文献资源是一种多模态数据，具有多态性，往往包含着丰富的图像、表格、公式、音频、视频等多种模态的信息，这些多模态的信息与占据主导地位的文本信息相互说明、互为补充，帮助用户充分理解科技文献资源中的知识。

具体来说，用户通过“阅读”图像来理解所表达内容的速度比单纯阅读文字来理解相同内容的速度快，而且在某些情况下，图像可以传递文字所不能表达的内容；表格和公式是科技文献中不可缺少的部分，可以使内容的表达更加直观、严谨；音频和视频资料使科技文献资源中表达的知识具体化、可视化，有助于用户的充分理解。

在科技文献……