基于网络数据采集与LDA主题模型的ofo用户评论挖掘

阮泽楠　王慧

【摘 要】 随着共享经济热潮的发展，以ofo为代表的共享单车出现在城市的各个角落。为了挖掘用户在使用共享单车过程中关注的问题，以提高用户体验，本文针对用户评论进行分析。以ofo小黄车为例，抓取了百度ofo贴吧的相关文本数据，并进行文本预处理。通过TF-IDF算法检验文本预处理的效果，同时构建所需语料库以及建立DTM文档—词项矩阵，最终通过LDA主题分析模型，将用户评论分为若干主题，由评论文本提取的用户潜在关注主题对ofo经营发展给出适当分析与建议。

【关键词】 共享单车 ofo 爬虫应用 文本挖掘 LDA主题分析

1 引言

随着信息技术的发展以及国家对共享经济的支持，从2016年底起，以共享单车为代表的共享交通行业快速发展。但是随着用户数量以及竞争对手的增加，用户对共享单车的需求层次也越来越复杂。以ofo为例，复杂的运营环境给自身的发展带来了巨大的成长空间和机遇，而如何抓住机遇是关键所在。本文认为通过文本挖掘发现用户关注祝主题，有针对性的进行单车质量改进以及营销，会提高消费者的用户体验，有助于在错综复杂的市场环境中脱颖而出。

文本挖掘主题模型分析是自然语言处理的重要应用领域之一[1]。文本挖掘主要是是指从大量无结构文本信息中发现潜在数据模式，并抽取有价值知识以更好地组织信息的过程[2]。主题模型，即刻画主题的数学模型，是对主题进行形式化描述的方法。Deer wester 等人于1990年提出潜在语义分析（LSA）模型[3]，LSA模型用高维的向量空间模型表示文档，并通过SVM（奇异值分解）对矩阵降维分解，映射到低维的潜在语义空间中，文本分析的研究不再局限于传统的词频统计分析。……