基于信息熵的文本语句整体褒贬倾向的识别方法

张冠东， 杨琛， 詹晓琳， 方红， 王继芬

(1. 上海第二工业大学 文理学部， 上海 201209; 2. 武汉大学 经济与管理学院， 湖北 武汉 430072)

0 引言

在大数据时代，人们依靠大量的数据来发现事物的规律和本质。随着科技的发展，数据分析已经越来越离不开计算机的支持。在所有现有的数据类型中，文本数据是最普遍存在也是最容易获得的数据。因此，文本数据分析已经逐渐成为数据分析领域一个重要的研究方向。在中文的文本分析领域中，研究方向有很多，包括文本分类、文本排序、情感识别等。在这些研究方向上，文本的情感识别是一个比较热门的研究方向，因为它能够迅速识别所研究的目标文本，为后续的深入分析打下基础。这是因为目前微信、微博和各种社交媒体已经成为公众关注社会状况的一种重要途径。在这些社交媒体中，文字或者文本表述是它们主要的表现形式。由于中文词汇丰富，由中文所组成的文本语句能够用于表达作者的情感、观点等信息，因此这些文字信息能够让读者了解作者的意图和想法。因此我们可以通过对文字所包含的褒贬信息进行判断，推测出作者的意图从而了解作者的喜好。

先前的文本语句褒贬研究是依托于词汇的褒贬进行的，这种研究适用于词汇的褒贬意义，但是对于文本整体而言，无法根据褒义或者贬义词汇的多少来判断该文本是褒义还是贬义的意思。此外，如果仅仅是计算褒贬词汇之间的比例，也会因为忽略文本整体的信息量而使得研究结果缺乏一定的价值。……