基于社交网络中非平衡文本聚类方法的研究

吴锡坤 刘洋

摘 要：社交网络中的文本种类数量存在极大的差异，不同领域的话题分布极不平衡，而在社交网络文本数据中进行文本聚类对经济生活具有重要意义。该文针对文本聚类展开研究，结合非平衡文本的特点、文本特征的提取、聚类常用的算法进行实验。

关键词：社交网络 非平衡文本 聚类方法

中图分类号：TP393 文献标识码：A 文章编号：1674-098X（2016）05（a）-0090-02

随着信息技术的飞速发展，网络已经广泛深入现代社会的工作和生活之中，据第36次《中国互联网络发展状况统计报告》显示，截至2015年6月，我国网民规模达6.68亿，互联网普及率为48.8%；社交网络作为互联网中最活跃的角色之一每天产生数以亿计的数据，主要是文本数据。社交网络中的话题有的可能在短时间里积攒成千万甚至亿级别的热度，而同时同一类别的某个话题可能只有不到10万的热度，针对社交网络中话题体现出的非平衡性进行聚类研究具有很重要的意义，有助于提供更接近真实的汇总信息，更便捷地使用网络资源。

1 非平衡文本聚类的研究方法

文本聚类是自然语言处理的一个重要领域，聚类分析原来是统计学机器学习领域研究的课题，近几年随着数据挖掘的兴起，将文本挖掘引入数据挖掘的概念中。文本分析主要分为聚类和分类两种分析方法。文本聚类是根据文本数据的不同特征，按照事物间的相似性，将其划分为不同数据类的过程。聚类和分类是人类认识自然的基本方法，人类经过生活经验和社会活动形成对大千世界的认识观，比方说我们将很自然地将天空中的鸟分为鸽子、燕子、老鹰等，这是对生活经验的总结是典型的分类行为。……