云计算平台上两种中文分词算法的实现对比研究

周寅 龙广富

摘要：现如今，常用的中文分词算法为IKAnalyzer（简称为：IK）和ICTCLAS（简称为：IC）两种，这两种算法也可以说是如今的主流中文分词算法，为了能够更好的研究两种算法的性能，本文首先利用理论对两种算法在单机环境下的性能进行分析，而后通过Hadoop分布式文件管理系统（简称为：HDFS）、Hadoop集群和并行处理大数据集的MapReduce所共同组成的系统框架，并将算法优化后，通过开展大量的实践性实验对两种不同算法在分布式环境下对大数据集进行处理后的表现进行比较，而后得出具体的分析结果，希望能够为相关人士带来帮助。

关键词：云计算;IKAnalyzer;ICTCLAS;Hadoop;比较

中图分类号：TP3        文献标识码：A

文章编号：1009-3044（2021）09-0191-02

开放科学（资源服务）标识码（OSID）：

对于中文分词法来说，该方法最初被北京航空航天大学的梁南元教授所提出，属于一种在查字典分析方法基础上的分词方法，近些年来，由于我国经济水平和社会发展的速度越来越快，中文在整个世界舞台中所占据的地位也越来越重要，并且吸引了更多学者加入中文分词法的研究中，现如今已经实现了基于多种词典和概率统计的中文分词算法，而在面对这些大量的中文信息时，必须要确保文本分词结果，在满足本身词义的基础上，尽可能延长词组长度，而现如今的中文分词算法种类非常多，但是可以将其大致分为三种，分别为基于字符串匹配的分词、基于理解的分词以及基于统计的分词，在这种情况下也出现了多种分词算法产……