基于统计的云搜索中文分词算法

曾田日，王晋国

(1.深圳大学图书馆，广东 深圳 518060;2.长安大学理学院，陕西西安 710065)

随着云计算技术的发展，基于云计算的垂直搜索也逐渐成为搜索引擎发展的一个重要方面，国内外许多研究人员都开展了基于云计算的垂直搜索引擎研究工作，并取得了相应的研究成果，如基于阿里云的图书馆搜索系统［1］、分布式企业搜索引擎［2］、云平台的水利垂直搜索引擎［3］、基于云计算的定向搜索监控系统［4］等。

云搜索引擎研究一般基于开放的云平台，目前大部分云平台的云搜索对于中文分词算法普遍比较简单，都是常用正向最大匹配算法或者逆向最大匹配算法，如百度云搜索主要采用正向最大匹配算法，阿里云搜索采用最大正向匹配算法，偏重于电子商务和网购方面的分词，其他一些云平台搜索也主要采用正向最大匹配算法。

简单和片面的分词算法必然会影响分词的准确性，从而影响搜索的准确性和结果的可靠性。本文针对这个问题提出了一种基于统计的云搜索中文分词算法，以改善现有的云搜索简单分词算法，提高中文分词的准确性。

1 基于统计的云搜索分词算法设计

1.1 最大匹配算法存在的问题分析

常用的中文分词算法包括正向最大匹配算法和逆向最大匹配算法，算法简单，容易实现。但是有研究结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245［5］。造成这种错误的原因是中文句子的歧义，如词组: