大数据技术体系及发展趋势探析

黄小华

进入二十一世纪以来，以计算机技术、网络技术等为代表的新技术应用，深刻的改变了人类社会的方方面面，尤其是近年来，伴随着5G技术的应用、物联网技术的突飞猛进，万物互联、一切皆可数据化似乎正从梦想走向现实。目前，数据已经渗透到了每一个行业领域并成为重要的生产因素，数据规模也正以惊人的速度呈膨胀式的增长，大数据正成为这个时代最为显著的标签。大数据概念的提出，颠覆了我们对传统数据的认识，同时也引起了数据获取、存储、分析、挖掘以及可视化等技术的变革，大数据以及其相关技术的发展正在成为改变人类生产以及生活方式的重要基础。本文基于对大数据内涵的认识，就其技术体系进行一些探讨并分析其未来发展趋势，以期能够对相关研究提供一些参考与借鉴。

大数据内涵分析

大数据的概念一经提出便受到了学界的广泛关注，但到目前为止，对于大数据还没有形成一个统一的定义。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。维基百科則将大数据定义为：利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间限制的数据集。中国科学院院士徐宗本则将大数据定义为：不能够集中存储、并且难以在可接受时间内分析处理，其中个体或部分数据呈现低价值性而数据整体呈现高价值的海量复杂数据集。……