面向复杂来源的大数据分析架构研究

摘要：大数据时代数据的大不仅仅在于数据量的多少，更为复杂的是数据结构的多样性。本文首先介绍了研究背景和研究目的。然后分析了大数据可能的来源，从这些来源初步可以判断出数据形式的复杂。紧接着对不同类型数据进行了特征分析，重点在于地理数据及人类反馈信息。基于对复杂数据的特征分析，随后给出深度数据分析的工作流程，提出基于聚类算法模块的全局架构设计方案。

关键词：聚类分析，GIS，人类，时空，维度

前言

对于一个社会来说，信息获取由三大部分组成，一个是物理，一个是人类本身，一个是信息。当今大数据趋势呈不断上升趋势，除了物理传感以外，时空数据的感知渠道新增了许多。首先是互联网，像Facebook、微博、微信等有大量的信息每天都在网上，这些信息大量反映社会发展的现状，也包括人文的一些理解和信息，以及包括人的相关观点模型。

数据很“大”不仅仅是数据很“多”。事实是，大数据的类别、数据间关联的复杂才是真正的“大”。处理海量的复杂的数据，首先要弄清楚这些数据的来源。来源不同的数据造成了数据的积累、数据结构复杂度的提升。

1.大数据来源分析

1.1现实社会大数据的产生

首先当今许多行业的日常工作几乎都是在互联网上进行，关键词搜索、各官网平台数据交互、数据通信等。

第二是智能手机，智能手机更多地反应了个人在社会经济中的行为，如在线申报、及时通信、各种APP等。

第三是导航设备，包括实时的交通、路况各种信息，都是由导航设备得到的。……