基于跨语言神经主题模型的汉越新闻话题发现方法

杨威亚，余正涛，高盛祥*，宋 燃

（1.昆明理工大学信息工程与自动化学院，昆明 650500；2.云南省人工智能重点实验室（昆明理工大学），昆明 650500）

0 引言

随着互联网的发展，不同国家之间的联系日益紧密，共同关注的事件也越来越多。汉越新闻话题发现就是将汉越新闻报道进行聚类再发现相关的话题［1-2］。这帮助人们更容易了解同一事件中越两国不同的话题讨论。

汉越新闻话题发现任务可以看作是对双语新闻聚类的问题，其主要难点在于克服中文与越南文新闻报道之间的语言差异，将两种语言表征到同一语义空间下进行新闻事件聚类。以往跨语言话题发现方法主要分为基于翻译的方法和利用双语词典或平行语料训练双语词嵌入的方法。Leek 等［3］采用机器翻译的方法将不同语言的文本翻译成同一种语言进行计算；Yang等［4］则是利用概率主题模型抽取文本的主题词，通过翻译主题词的方法计算不同语言文本下的主题分布的相似度进行聚类。但由于机器翻译效果受翻译工具性能影响巨大，在低资源语言场景下，跨语言话题发现相关模型的性能下降十分明显。后续的研究中大多学者通过借助一些双语资源进行语义分析的方式来完成跨语言特征空间的构建。基于双语词典翻译的跨语言话题发现策略主要方法是把文本中的词对译成另一种语言的词以此代替机器翻译系统，Mathieu 等［5］和Pouliquen 等［6］提出使用双语词典翻译代替机器翻译的方式，使用汉英词典对译的方式将新闻文本中的词汇进行翻译，利用命名实体（人名、地名和组织机构名）的对应关系比较中英新闻文本的相似程度，系统检测准确率得到很大提升；……