大数据及可信技术初探

刘畅

摘  要：随着信息技术的不断发展，数据产生途径越来越广泛，数据量日益增加，人们对于“大数据”的研究越来越深入，但数据的有效性、安全性和可信性方面的保证技术却不是特别完善。本文阐述了“大数据”的相关概念、特征和数据产生的渠道，详细介绍了“大数据”的处理技术以及数据的可信技术。

关键词：大数据;可信技术;分布式;云计算

中图分类号：TP391;TP311           文献标识码：A

1   引言（Introduction）

从2010年开始，信息领域的词汇越来越丰富，“物联网”“云计算”等被人们所熟知，随着这些技术的不断深入“数据”也被“大数据”一词取而代之。“大数据”（Big Data）也有人称其为“海量数据”，它是一种数据巨大的非结构化或半结构化数据。首先，在数量上对于当前的数据库系统处理能力来说，是无法在合理的时间内对此类数据进行撷取、管理和处理的;其次，由于“大数据”不再是结构化数据，所以对于数据分析工作来说花费的时间会更加无法想象。

2 “大数据”是信息时代的必然产物（"Big Data"is

the inevitable product of the information age）

随着物联网、云计算等技术的推进与发展，数据的产生途径越来越多样化，数量也在以人们无法想象的速度不断增长和堆积。当数据级从TB跃升至PB时，说明大数据时代已经来临。在咨询公司麦肯锡的报告《大数据时代到来》中首次提出了“大数据”的到来，报告中称“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来[1]。……