基于分布式数据库的大数据平台动态页面数据生成技术

苏莉娜

(江苏省第二中医院， 江苏 南京 210019)

0 引言

随着网络技术和计算机科学的发展，我国的计算机网络用户数量不断攀升，根据2019年《中国互联网络发展状况统计报告》显示，截止到2019年底，我国互联网用户数量达到了9.87亿，比2018年同期增长约9.4%[1-3]。互联网用户数量增长的背后是网络数据爆发式增长，如何使网络用户在海量数据中集中筛选有用信息，节省时间提高上网查询效率是一个突出问题，其次，现有的数据结构由传统的嵌入式HTML 网页静态数据变成了以语音、视频等为载体的动态数据，相比于静态数据，其筛选难度更大[4-5]。因此，本文结合动态页面特点，建立了动态页面脚本提取系统，在分布式数据提取基础上对动态页面的脚本信息进行提取，最后对系统的功能进行了测试分析。

1 分布式数据处理

MapReduce是一种建立在分布式数据存储基础上的数据云计算方法[6-7]，它是将分布式数据库中的大量数据进行分解，将数据库逐渐分解成需要的目标节点，之后从整合的目标节点中寻找需要的数据并将数据汇总。MapReduce数据处理流程如图1所示。

图1 MapReduce数据处理流程

由图1可知，首先在数据输入端将分布式数据库中的数据分解为几个splite集合，之后根据map函数对splite集合中的数据进行匹配计算，匹配后的数据经过middle result数据整合后以函数形式输出结果，最后数据经过函数反解，以规定的表现形式输出结果。

数据处理的前提是数据的安全性问题，为此本文专门开发了符合数据库特点的数据安全访问流程，如图2所示。……