基于Web的大型数据预览系统的设计与改进

贺晓勇

（中国人民公安大学，北京　100038）

基于Web的大型数据预览系统的设计与改进

贺晓勇

（中国人民公安大学，北京100038）

由于传统的大型数据预览系统无法有效掌控复杂多变的大型数据，数据预览效果差。因此，提出基于Web的大型数据预览系统，该系统由大型数据预览模块、大型数据监管模块、统计报表模块和计算机组成。大型数据预览模块由浏览器、服务器和大型数据库组成，用户选择所需查询数据的标题后，浏览器会将该标题的指令传输给服务器，服务器根据指令进行大型数据的压缩处理，并反馈到浏览器中进行显示。大型数据监管模块可将大型数据预览模块中抽象的大型数据变换为直观图像进行调整，调整后的图像会被转换成大型数据格式并传输给统计报表模块，统计报表模块将整个系统的大型数据汇总成各类报表并显示在计算机上。系统的软件设计部分给出了大型数据节点分布的调节算法和流程，以保证Web大型数据预览系统的正常运行。实验结果表明所设计的系统具有较高的稳定性和准确性。

Web；数据预览；数据显示；系统设计

0　引　言

大型数据预览系统可以增强网络的实用性，使用户能够准确获取到所需信息。随着数字技术的迅猛发展，用户对大型数据预览系统功能的需求与日俱增［1⁃4］。由于大型数据具有复杂多变性，传统的大型数据预览系统无法对其进行有效掌控，用户满意度较低［5⁃6］。因此，构建出稳定性和准确性较高的大型数据预览系统，已成为目前国际数字技术协会的重点研究项目。

以往研究的大型数据预览系统均存在一定缺陷，如文献［7］提出CBL大型数据预览系统，该系统以生物实验室大型数据预览系统为基础，在大型数据库中合并了其他学科的大型数据。此系统的稳定性虽高，但大型数据库的针对性却不强，准确率较低。文献［8］提出仿真大型数据预览系统，利用仿真技术模拟用户需求，以实现用户对所需大型数据的预览，但其模拟出的仿真大型数据占用内存率较高，影响了整个系统的稳定性。文献［9］提出AMT大型数据预览系统，该系统可为用户提供多种服务，极具创造性，用户可根据自身特点自主定制所需功能。但由于系统开放性太大，用户隐私无法得到保证，因此用户满意度并不高。文献［10］提出了集成大型数据预览系统，该系统能够不断整合网络共享资源并完美匹配用户需求，但其开发经费较大，不利于大规模推广。为了解决以上问题，提出了基于Web的大型数据预览系统，该系统能够实现用户对所需大型数据的自主查询，并通过算法软件完善系统大型数据的节点分布。实验结果表明，所设计的系统具有较高稳定性和准确性。

1　基于Web的大型数据预览系统的设计

1.1系统总体结构设计

Web大型数据预览系统由大型数据预览模块、大型数据监管模块、统计报表模块和计算机组成，其结构图如图1所示。

图1　系统总体设计结构图

该系统能够实现用户对所需大型数据的自主查询，并加入了各种调节组件，使得系统运行中产生的问题能够在第一时间得到改进。由于Web大型数据预览系统所需处理的大型数据量较为繁重，故需要Web控制人员在后台进行实时监控，令整个系统能够安全稳定的运行。

1.2大型数据预览模块

大型数据预览模块可使用户熟悉Web大型数据预览系统的整体功能，并能够对所需大型数据进行准确查询。大型数据预览模块由浏览器、服务器和大型数据库组成，如图2所示。

图2　大型数据预览模块工作原理图

图2是大型数据预览模块工作原理图，其工作流程为：浏览器作为Web大型数据预览系统的最初工作端，是整个大型数据预览模块的核心，其可以实现大型数据的形态变换、解析、镜面化以及预览，兼容性较高，为用户与Web控制人员提供了极大的便利。用户输入所需查询的数据后，浏览器会给出该数据的初始标题，当用户选定某一标题，被选定的标题会变换颜色，以防止用户进行不必要的重复操作。由于浏览器对大型数据的存储量有限，无法满足用户需求，故用户所选择的标题数据会经由浏览器生成指令并传输于服务器进行处理。

服务器首先将浏览器下达的指令转化为大型数据，由于大型数据所占内存量较大，故服务器为大型数据提供了压缩功能。当浏览器单次传输指令达到特定数值时，服务器将对大型数据进行压缩，存储于大型数据库的特定区域，并从大型数据库端获取访问权限，访问权限提供给服务器随时调用大型数据的功能。同时，服务器也会将查询到大型数据存入大型数据库，其存储位置与压缩大型数据的存储位置并不相同，进而防止数据量过多而产生乱码。由于用户没有权限查看服务器中的大型数据，故需将处理后的大型数据反馈至浏览器，该反馈方法称为大型数据镜面化。大型数据镜面化的内存占用率非常小，不会影响浏览器的稳定性。

大型数据库也为服务器提供了浏览页面的个性化缩放和移动变换操作功能，这些功能都将通过大型数据镜面化的形式反馈至浏览器，以供用户查看。由于大型数据库中的大型数据过于繁杂，不利于Web控制人员对其进行有效监管，故在将大型数据反馈到服务器之前，需事先将其交由大型数据监管模块进行处理。

1.3大型数据监管模块

大型数据监管模块是整个Web大型数据预览系统的管理层，其工作内容直接受用户委托，即用户需要系统提供的功能均可在此模块设定并实现。大型数据监管模块能够实时调用大型数据预览模块中的大型数据，并为大型数据提供合理规划，以提高整个Web大型数据预览系统的工作效率，图3是大型数据监管模块工作原理图。

图3　大型数据监管模块工作原理图

由图3可知，大型数据监管模块的工作原理为：首先对大型数据传输来的大型数据进行分类筛选，其筛选类别包括教育类、体育类、娱乐类等，随后进行大型数据的图像转换操作。图像能够更为直观的将Web大型数据预览系统中的大型数据缺陷呈现出来。图像转换操作开始后，不同类别的大型数据将进入不同的转换页面，在转换页面中，大型数据会根据自身的存储大小自动到达指定坐标进行转换。由于图像转换的工作量较大，因此大型数据监管模块会提前设定好图像转换工作故障状态下的故障调节指令，当调节指令无法将系统恢复成正常状态时，大型数据监管模块会将故障信息发送给Web控制人员以进行故障排除，进而确保图像转换工作的平稳进行。

图像缺陷被调节到理想状态后，大型数据监管模块会将理想状态下的图像转换成大型数据的原始格式，并回传于大型数据预览模块，实现对大型数据的监管。同时，大型数据监管模块会将监管后的大型数据备份并传输到统计报表模块，以进行大型数据的再分析。

1.4统计报表模块

统计报表模块是Web大型数据预览系统的后期数据处理模块，整个系统的大型数据均在该模块中进行汇总，并以报表的形式显示在计算机上。该模块由用户大型数据解析、进程大型数据解析和调节大型数据解析三部分组成。其中，用户大型数据解析主要由用户指标解析、用户反馈解析和用户等级解析等组成；进程大型数据解析主要由变异系数增减解析、变异系数年度解析、进程调节方式解析和进程调节综合解析等组成；调节大型数据解析主要由调节指标解析、调节案例解析和调节等级解析等组成，如图4所示。

图4　统计报表模块结构图

Web控制人员在统计报表模块中能够获取到各种类型的信息，包括编码和大型数据的名称、分类、时间以及评估标准等，并可以通过建立函数表达式的方法对该模块中未提供的报表进行二次生成。统计报表模块拥有记忆功能，Web控制人员的历史查询信息均会在历史报表中汇总。统计报表模块中的大型数据也可以输出成Excel，PDF等文件，方便Web控制人员不断改善Web大型数据预览系统的性能。

2　系统软件设计

合理安排大型数据的节点分布是实现Web大型数据预览的关键。若大型数据节点间的分布距离不合理，Web大型数据预览系统便会对用户大型数据过于依赖，导致系统无法进行故障的自动调节。利用C++软件对大型数据的节点分布层次进行了定义，图5是大型数据节点分布调节流程图。

图5　大型数据节点分布调节流程图

图5给出的调节流程是基于二维空间的节点调节。从初始大型数据开始，向水平和垂直两个方向分别进行节点数量统计，并通过计算确定大型数据的节点中心。以节点中心为原点进行二维空间预览，构建母、子节点，确定母、子节点的各自中心点，大型数据节点将围绕母、子节点的中心点进行排列，进而实现大型数据节点的平均分布。软件给出的节点分布算法如下：

3　实验分析

为验证基于Web的大型数据预览系统的准确性和稳定性，实验构建了粒子群模型（粒子数量即为用户预览过的大型数据群，一个粒子表示1 000个数据）。

实验在不存在干扰因素情况下，对本文系统与仿真大型数据预览系统分别进行实验，通过对比粒子分布规律与粒子量分析两种系统的数据预览效果。

图6和图7分别是仿真大型数据预览系统粒子分布规律图和本文系统粒子分布图。图6、图7中黑色实心圆表示用户节点，空心圆表示标准粒子，也就是用户预览的数据节点。经分析可得：仿真大型数据预览系统的粒子分布规律较为杂乱，每个标准粒子与用户节点粒子距离均不相同，单片排列区域内粒子数量最大值和最小值分别是3和0，即系统为每个用户所分配的大型数据量不平均，用户的数据预览效果较差。而本文系统的粒子分布规律则较为合理，且与每个粒子与用户节点粒子的距离大致相等，说明本文系统为每个用户分配的大型数据量均衡，确保用户对大型数据进行平稳预览，预览效果较好。

图6　无干扰情况下仿真大型数据预览系统粒子分布图

图7　无干扰情况下本文系统粒子分布图

为了排除上述结论的偶然性，实验再次引入了6个干扰粒子，图7和图8分别是有干扰情况下，仿真大型数据预览系统粒子分布图和本文系统粒子分布图，图8、图9中虚线空心圆即为实验中加入的干扰粒子，也就是干扰数据。

理论上，后加入干扰粒子应分布在标准粒子之后，也就是干扰数据应在合理数据后，确保向用户提供合理数据。由图8可看出，仿真大型数据预览系统在加入干扰粒子后，粒子的分布规律并不合理，干扰粒子未完全排列在标准粒子之后，导致用户预览到干扰数据，使得数据预览准确性降低。而图9中的干扰粒子分布较为平稳，并且都在标准粒子后面，确保用户能够预览到合理数据，数据预览准确性较高。

图8　有干扰情况下仿真大型数据预览系统粒子分布图

图9　有干扰情况下本文系统粒子分布图

4　结　论

本文提出了基于Web的大型数据预览系统，该系统由大型数据预览模块、大型数据监管模块、统计报表模块和计算机组成。大型数据预览模块由浏览器、服务器和大型数据库组成，用户选择所需查询数据的标题后，浏览器会将该标题的指令传输于服务器，服务器根据指令进行大型数据的压缩处理，并反馈到浏览器中进行显示。大型数据库为浏览器和服务器提供大型数据的存储、调用和个性化操作功能。大型数据监管模块可将大型数据预览模块中抽象的大型数据变换为直观图像进行调整，调整后的图像会被转换成大型数据格式并传输于统计报表模块，统计报表模块将整个系统的大型数据汇总成各类报表并显示在计算机上。系统的软件设计部分给出了大型数据节点分布的调节算法和流程，以保证Web大型数据预览系统的正常运行。实验结果表明，所设计的系统具有较高稳定性和准确性。

［1］杨永语，戴毅茹，王坚.基于Web的能耗数据管理系统部分设计与实现［J］.机电产品开发与创新，2015，28（1）：78⁃80.

［2］王祥，仲梁维，黄政，等.基于Web的建筑设计数据协同管理系统的设计与实现［J］.通信电源技术，2015，32（6）：132⁃134.

［3］徐鹏，王杰，付先武，等.基于Web的切削数据库系统设计［J］.工具技术，2014，48（2）：48⁃52.

［4］张倩，李明昊.基于Web服务和MOM的数据交换系统设计与应用［J］.指挥信息系统与技术，2015，6（1）：70⁃74.

［5］朱飞虎.基于WebService的自动贴标机数据交互系统的设计与实现［J］.工业控制计算机，2015，28（6）：53⁃54.

［6］景永霞，苟和平，朱亚玲.基于Web Services的数据挖掘系统设计与实现［J］.兰州文理学院学报，2014，28（2）：54⁃57.

［7］戴贵龙，谭新华，龙明雄，等.基于Web技术网络数据库端系统的设计研究［J］.九江学院学报（自然科学版），2015，30（4）：61⁃63.

［8］杨春来，李剑锋，李帅华，等.基于STM32和Web服务的数据监控系统设计［J］.河北电力技术，2015，34（5）：43⁃45.

［9］张慧明，姜秀杰，陈志敏.基于Web技术的探空火箭试验任务可视化设计［J］.电子设计工程，2014，22（11）：141⁃144.

［10］施荣华，严恺，彭春华.基于Windows Azure云计算的移动医疗健康系统［J］.电子设计工程，2015，23（5）：37⁃40.

Design and improvement of large data preview system based on Web

HE Xiaoyong
（Chinese People′s Public Security University，Beijing 100038，China）

Because the traditional large data preview system cannot effectively control complicated large data，and its data preview effect is poor，a large data preview system based on Web is put forward.The system consists of large data preview mod⁃ule，large data monitoring module，statistics report module and computer.The large data preview module is composed of brows⁃er，server and large database.While a user selects the title of query data required，the browser will transmit a query command of the title to the server，the server compresses the large data according to the instruction，and then feedback to the browser for display.The large data monitoring module converts the abstract large data in large data preview module into visual image for ad⁃justment.The adjusted image is converted into large data format and transmitted into statistics report module.The statistics re⁃port module makes the large data summarization of the whole system into all kinds of report forms and displays them on the com⁃puter.As for the system software design，the distribution adjustment algorithm and process of the large data nodes are given to ensure the normal operation of large data preview system based on Web.The experimental result shows that the system has high stability and accuracy.

Web；data preview；data display；system design

TN911⁃34；TP393

A

1004⁃373X（2016）18⁃0017⁃04

10.16652/j.issn.1004⁃373x.2016.18.005

贺晓勇（1973—），男，内蒙古人，中国人民公安大学图书馆馆长，硕士。主要研究方向为图书情报、大数据应用。

10.16652/j.issn.1004⁃373x.2016.18.007

2016⁃01⁃09

北京市自然科学基金（4151001）