向 宇 郭云龙 徐 潇 曾维刚 李 莉
(西南大学计算机与信息科学学院 重庆 400715)
多策略中文微博实体词消歧及实体链接
向宇郭云龙徐潇曾维刚李莉*
(西南大学计算机与信息科学学院重庆 400715)
在社交网络迅猛发展的今天,如何对有歧义的微博实体进行消歧和如何将微博实体连接到知识库已成为当今研究热点。对实体消歧和实体链接提出了多种策略方案。首先利用ICTCLAS对微博文本进行分词处理,利用百度百科、实体专家库对实体进行规范化处理。然后利用由爬虫爬取的百度百科信息、微博数据、网络词语构建了消歧文本数据库,再结合TF-IDF算法和Fast-Newman聚类算法对实体进行消歧和链接。使用第二届自然语言处理与中文计算会议(NLP&CC 2013)中的中文微博实体链接任务给的数据进行测试,测评中准确率为84.99%,继续改进模型后准确率达91.40%。
中文微博 实体消歧TF-IDFFast-Newman聚类
微博作为新生的社交网络平台在快速发展,其规模、用户人数及产生的数据量急剧增长。据2015年2月3日中国互联网络信息中心发布的《第35次中国互联网络发展状况统计报告》,截至2014年12月,我国网民达6.49亿,互联网普及率为47.9%。其中微博用户达2.49亿。微博己成为网民频繁使用的社交主流应用,庞大的用户规模巩固其网络舆论传播的中心地位。微博的内容简短,每条微博内容不超过140个字符,使得用户频繁发表。但微博巨大的信息量使用户很难在短时间内准确获取微博中命名实体的含义,又因微博中充斥大量网络用语、口语、缩略语,实体名称往往具有歧义性,给识别带来了很大挑战。……