词性对新闻以及微博网络话题检测的影响研究

缪俊芳

（河源广播电视台，广东河源 517000）

话题检测是一项信息处理技术，它所关心话题是某个具体事件。其目标在于对新话题进行检测，然后对后续报道进行收集。随着互联网飞速发展，话题线索往往会散布在各类网络平台上，而不同网络平台线索特征不同，传统新闻文本检测方法不能完全适用于各网络平台，需用词性检测方法来适应现代网络发展。

1 词性标注与数据处理

1.1 词性标注

进行实验需选取相对权威的标注集，目前我国比较权威的词性标注集主要有北京大学、复旦大学以及中国科学院的文本词性标注集。根据收集的数据情况，本文选取的是复旦大学汉语文本词性标注集。然后，需用此标注集标注微博语料与新闻语料。基于命名实体自身特征，本文将其标记为特殊词性。微博中常用特殊符号有“@”等，为了探究这些符号对话题检测是否有影响，本文也将这一类符号作为特殊词性特征。细分词性有利于文本深层处理，但是词性特征过细也会影响话题检测，因而本文处理合并了以上词性，合并后的词性如表1所示。

1.2 处理数据过程

根据实验目的，主要选取新闻和微博两个数据集作为研究对象。新闻数据集来自于搜狗实验室，新闻篇数为953，其中108个话题经过了人工标记。微博数据集主要来自数据堂，微博篇数为4 257，其中16个话题被人工标记。新闻语料选用搜狐2008年版本中特别版相关数据进行研究，从而构建新闻数据集，数据集只包含文本内容。……