一种关联感知的大数据导入方法

公怀予，徐劲松，王攀

（1.中国电信股份有限公司济源分公司，河南 济源 454650；2.南京邮电大学，江苏 南京 210003）

一种关联感知的大数据导入方法

公怀予1，徐劲松2，王攀2

（1.中国电信股份有限公司济源分公司，河南 济源 454650；2.南京邮电大学，江苏 南京 210003）

针对现有数据库向大数据迁移的背景，Apache推出了Sqoop作为关系数据库向大数据迁移的主要工具。Sqoop简单地将数据表切分并随机存储到不同的节点上。针对Hadoop的这种存储方式带来的关系查询的低效率问题，设计了一种关联度感知的数据导入预处理方法。将关联度较高的表尽量存储在相邻的虚拟机节点，以降低关联数据查询带来的网络传输时延，提高系统的性能。对比实验表明，将关联性较强的数据表存放在相同或相邻节点上，可以成倍提高数据查询的性能。

大数据；Sqoop；Hadoop；NoSQL

1 引言

大数据从最初为Google、Facebook等公司解决大量数据的存储问题，到现在被越来越多的企业应用。目前，对于大数据的解决方案，主要有商业解决方案和Hadoop生态系统解决方案两种。商业解决方案具有使用方便、集成度高以及性能稳定的特点。但Hadoop生态系统多样、灵活、高扩展性等优势吸引了中小企业的注意并成为其主要的大数据解决方案。

大数据应用中，数据主要源于互联网和已有的结构化数据两者。其中，互联网数据催生了各种各样的大数据创新应用。而结构化数据是已有应用的保障，在我国，7成以上的大数据来源都是结构化数据［1］。为了实现关系型数据……