大数据技术与应用研究分析

付雯 李星俊 唐志宾 彭玉岚

摘要：如今21世纪，计算机网络技术发展迅速，网络发达，随着大数据时代的来临，大数据正在不停地深入到各行各业，海量的数据资源渐渐的成为各个行业竞争的资源宝藏。此文从分析和阐述了大数据的基本概念和较为关键的技术要求，以及指明了大数据应用的几个重要的类型，目的在于进一步完善和优化大数据技术与应用技术。

关键词：大数据 应用 分析

1.背景

如今互联网、云计算技术和物联网技术发展迅猛，全球已经进入了一个数字化、信息化的時代[1]。庞大的信息资源加上庞大的市场，大数据在这个过程中不断的被创新，大数据资源竞争也愈来愈烈。人们的思维方式，行为模式，及市场的商业模式日新月异。

2.大数据技术概述

2.1大数据的基本含义

大数据研究机构认为：“大数据”是需要处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义为：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征[2]。

2.2大数据的特征

（1）海量的数据

信息技术的高速发展，伴随着数据的爆发性增长，如今数据的主要来源分别为以下几处：社交网络（QQ、微信、微博、推特、脸书及各个交友APP）、移动通讯、各种智能系统、视频软件，购物软件。淘宝全球近四亿的用户每天产生的交易数据约为20TB;脸书约十亿用户每天产生的数据超过300TB[3]。如此庞大的数据，急切需更加智能的算法和强大的数据处理平台来对其分析处理

（2）数据的高效性

数据通过算法进行非常快速的逻辑处理，可以非常快的从各种类型当中快速获得高质高量的信息。如今我们已经迈入了5G时代，绝大部分人的生活都离不开互联网，所以每天我们每人都在产生大量的数据。如此庞大的数据如果不进行及时的处理就会付出很大的成本代价，所以基于此情况，大数据处理速度有极为严格的要求，做到实时分析，实时更新。

（3）数据的多样性

数据是非常多样的，对于个人需要有各种各样的信息，对于社会需要有各个领域的信息数据。数据来源，决定了数据是否具有多样性。任何数据可产生作用，就如当下应用最广泛的推荐系统。举个简单的例子，如果用户逛完淘宝，点开抖音，它就会给用户推相应的广告宣传视频。

（4）数据的高价值性

数据的价值是大数据的核心特性。大数据最大的价值就在于可以通过从海量的数据中挖掘提取出有需要、有价值的数据可以对这些数据进行一个更深入的分析和较准确的未来趋势预判。大数据的应用更多的在于人工智能上，可广泛的云用于工业、农业、教育、医疗等各个领域提高生产效率的同时，也提高了质量。

3.大数据的关键技术

大数据本身是一种资本，而不仅仅是一种技术，它是信息技术飞速发展的必然结果[4]。对大数据采集技术、大数据预处理技术、大数据储存及管理技术、大数据分析及挖掘技术、大数据展现与应用技术。进行进一步完善优化可更好地实现一整套大数据技术。

3.1大数据采集技术

通过RFID射频数据、社交网络交互数据、传感器数据及移动互联网数据等方式进行数据采集从而获得各类型的结构化、半结构化及非结构化的海量数据，这是大数据知识服务模型的根本[5]。重点是要突破分布式高速可靠的数据爬取或者采集、高速数据全映像等大数据采集技术;突破高速数据解析、转换和装载等大数据整合技术;大数据采集通常被分为大数据智能感知层和基础支撑层。

3.2大数据预处理技术

大数据预处理技术主要完成对已接收的数据进行辨析、抽取、清洗等操作。

3.3大数据储存及管理技术

大数据存储及管理需要使用存储器把采集到的数据存储起来并建立其相应的数据库，通过存储器对数据进行管理与使用。大数据存储与管理技术其重点在于解决复杂结构化、半结构化和非结构化。主要解决大数据的可储、可表示、可处理和可靠性等问题。

3.4大数据分析及挖掘技术

大数据分析技术是整个大数据处理的核心技术，通过对数据的分析才能使数据可利用，对趋势有更准确的判断。数据挖掘就是从大量的、不完全的、随机的数据中提取其中隐含的信息。起技术方法有很多，可根据挖掘任务分为分类和预测发现、数据总结、聚类等等。对于挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据库、多媒体数据库、 异质数据库、遗产数据库和环球网web。根据挖掘的方法可以大概分为机器学习法、统计方法、神经网络方法及数据库方法。

4.大数据展现与应用

大数据技术可以把隐藏在海量数据中的信息挖掘出来，为人类的社会经济活动提供依据提供方向，从而有效的提高各个行业的运行效率，可极大的提高社会的集约化程度

4.1决策辅助

数据经过数据分析与挖掘可以为政府企业指引一个大概的发展方向辅助其决策，为决策这提供一个直观、精准的数据支撑有利于业务的开展和高效进行。

4.2商业推广

使用大数据技术对用户的习惯需求进行分析，可以精准的获取消费者的理念习惯，从而实现更加精准的商务推广。

4.3预测

预测的作用在于在海量的数据信息之中找到相互的关联、规律，对这些规律做出预判。比如基金股票、天气。

5.总结

如今世界发展迅速，信息流通、科技发达。大数据这个高科技时代产物，在未来的各个行业，都会产生海量的数据，就需要大数据技术与应用互相促进、共同发展，应用于这些商业模式中，提高数据的价值。数据的采集、存储、管理、处理、分析和可视化的进步更是有助于我们处理更加复杂的数据，发掘更用价值的信息。这对于一个国家、企业、人民都是一个极具价值的工具，利用好这把利剑，造福人类。

参考文献：

[1]于艳华 宋美娜 大数据[J].中兴通讯技术，2013（1）：57-60.YU Yan-hua，SONG Mei-na.Bigdata[J].ZTECom-municaiton，2013（1）：57-60.

[2]https：//baike.baidu.com/item/大数据/1356941#2

[3]https：//baijiahao.baidu.com/s？Id= 160144504734265 6382&wfr= spider&for=pc

[4]李雨航.大数据应用研综述[J]-科技前沿 2017年8期