基于分词算法的用户个性化推荐系统设计

隋在娟

（三星电子（中国）研发中心，江苏 南京 210012）

近年来，随着电子商务与互联网的发展以及人工智能的发展，用户个性化推荐成为学术研究的热点，它建立在大量的数据挖掘基础之上，会通过用户的个性化需求给他推荐符合其需求和感兴趣的内容。很多产品如：购物网站，音乐网站，读书网站已经实现根据用户每日浏览的内容推送相关的内容供用户浏览，实现千人千面。本文是在分词算法的基础上实现的用户个性化推荐系统，该系统合理稳定，适用于用户浏览文章时的个性化推荐。

1 中文分词

1.1 分词算法

中文文本之间没有界限，所以中文的语义理解的第一步是进行专门的分词处理。由于基于字符串的分词法简单高效，应用较广，所以我们本文使用字符串匹配分词法。该种方法是机械地将文本与一个初始的足够大的字典进行匹配，因此叫机械分词法，它也被称为字典分词法。

MMSeg分词法是一种常用的、效率较高同时错误率较低的中文分词算法，它在传统算法之上加入词长等考虑以解决某些分词歧义问题，算法从句子最开始位置，每次匹配出三个词为一个小组，并且设计了四个新的去歧义的筛选规则：

（1）词块长度最大，即三个词的词长之和最大。

（2）词块平均词长最大，即词长分布尽可能均匀。

（3）词块的词长变化率要最小。

（4）单字的出现词自由度最高。

以上规则符合人们说话的基本习惯，所以四项规则是合理的。下面就“研究生命特征”这个短语展示使用MMSeg进行分词的过程。……