基于NOSQL的微博图数据管理存储平台设计与实现∗

包从开 黄永峰 廖旺坚 余辉

（1.清华大学电子工程系信息认知与智能系统研究所北京100084）（2.清华大学信息科学与技术国家实验室北京100084）（3.中国科学院大学北京100084）

基于NOSQL的微博图数据管理存储平台设计与实现∗

包从开1，2黄永峰1，2廖旺坚1，2余辉3

（1.清华大学电子工程系信息认知与智能系统研究所北京100084）（2.清华大学信息科学与技术国家实验室北京100084）（3.中国科学院大学北京100084）

近年来，以微博为代表的在线社交网络得到迅速普及和发展。这些规模庞大，内部关联复杂的图结构数据给传统数据库的存储管理带来了挑战。论文详细分析微博社交网络数据结构特点，结合上层应用需求对数据存储模型进行设计，实现了一套基于NoSQL的微博数据管理存储平台。该平台设计为RAW数据存储、图模型映射、NewSQL转换三层，较好地解决海量微博图数据存储的可扩展性和实时、易用性问题。通过实验对平台入库、查询性能进行了评估，验证了其在实际中的有效可行性。

NoSQL；微博；大图数据；存储管理平台

Class NumberTP311

1 引言

近年来，以微博为代表的在线社交网络得到迅速普及和发展。作为当下最流行的社会信息传播平台，微博对突发事件的发生发展产生着重要影响，面向微博数据的分析挖掘等显得十分有意义［1］。

然而，微博社交网络规模庞大，内部关联复杂，是典型的大图关系数据。据报道，2015年6月新浪微博月活跃用户数为2.12亿，单月微博产生总量达30亿以上。假设以微博用户作为顶点，用户间互相的关注、好友等关系作为边来构建图数据结构，则仅用户间关注边超过十亿，如果进一步考虑用户与微博间关系以及历史数据，则微博数据量可达上百TB。……