基于GRU算法的音乐和词语的情感语义匹配算法

朱星浩，胥 备

(1.南京邮电大学 计算机、软件、网络空间安全学院，江苏 南京 210023；2.江苏省大数据安全与智能处理重点实验室(南京邮电大学)，江苏 南京 210023)

0 引 言

情感是人们所能表达的一种语义信息。音乐和文本是人们描述情感语义信息的两种符号系统。人们常常需要建立这两个符号系统之间的语义对应关系，来实现对两种系统所描述情感语义信息的储存、检索、分析和创作，并由此提出了若干音乐-文本应用。

一种典型的音乐-文本应用是通过关键词进行音乐检索[1-3]。但是目前的音乐检索系统缺乏针对音乐内容情感语义的检索机制，无法满足用户的个性化需求。例如，当用户输入词语“悲伤”时，用户希望在音乐的旋律、节奏等情感要素上与检索词匹配，而不希望从类别名称、音乐名称或者歌词等方面检索。在缺乏预标注信息的前提下，当前的音乐系统因缺乏对音乐内容的分析而较难满足上述需求。另一种音乐-文本应用是音乐自动标注[4]。音乐自动标注是一项从音频信号[5]中预测音乐标签的任务。现有工作主要集中在音乐中音频特征的提取，将文本作为类别，忽略了音乐和文本在情感语义上的联系。例如，在情感标注任务中，有的工作用光谱图[6]来表示音频信号，然后把光谱图按类别进行分类和标注。其他的应用，例如音乐推荐[7-8]，也主要基于协同过滤或基于深度学习使用音乐附带文本分析，忽略了文本和音乐的内在语义关联。

上述音乐-文本应用技术的缺陷在于没有建立音乐内容和文本的情感匹配。……