基于大数据技术的计算机软件系统开发与应用

欧阳之光

【摘要】大数据技术是当前计算机软件系统开发过程中应用优势较为显著的技术之一。文章以基于大数据技术的计算机软件系统开发与应用为核心，阐述了大数据技术时代计算机软件系统开发机遇，从总体架构、软件逻辑分层、软件设计、软件开发几个方面，论述了大数据技术在计算机软件系统开发中的应用方案。并从应用环境、系统集成、应用测试几个方面，探究了基于大数据技术的计算机软件系统实践应用措施。

【关键词】大数据技术;计算机软件系统;逻辑分层

中图分类号：TN92                       文献标识码：A                 DOI：10.12246/j.issn.1673-0348.2021.22.030

近几年，大数据技术的应用逐渐成为产业升级的重要力量。以Spark、Hadoop为代表的大数据处理平台的出现，为异构数据的有效应用提供了充足支持。与此同时，互联网成为社会发展的基础构件，社会各个行业对计算机软件的应用需求日益增加，以往计算机软件系统面临着动态变化数据无法有效管理、异构数据共享难度大等问题。基于此，以大数据技术的应用为基础，分析计算机软件系统的开发与应用方案具有非常重要的现实意义。

1. 大数据时代计算机软件系统开发机遇

传统计算机软件开发方法存在缺陷，无法满足各行各业对应用软件功能的延伸需求，加剧了长周期、高成本计算机软件开发与用户高质量软件应用需求之间的矛盾。而通过应用大数据技术，以数据为核心，以数据逻辑揭示传统计算机软件系统中的业务逻辑，解决当前计算机软件系统开发过程中遇到的难题，壮大计算机软件系统开发方法体系。同时基于大数据技术计算机软件系统开发方法，可以面向计算机软件系统实践应用，将确定的方法应用到软件系统开发中，将方法可行性检验贯彻到需求调研、系统拓展、设计开发、信息共享等多个环节，缩短计算机软件开发周期的同时，降低计算机软件开发成本，解决软件开发与用户需求之间的矛盾。

2. 大数据技术在计算機软件系统开发中的应用方案

2.1 总体架构

基于大数据的计算机软件系统是一种立足于大数据环境下，用于繁琐数据管理、复杂系统构建的有效解决方案。其核心为“数据”，包括数据注册中心、数据服务云、数据异常控制中心、数据权限中心、多终端通用浏览器等几个部分。

核心部件——数据注册中心负责完成系统数据的统一标识、定义、管控，并通过数据权限中心进行数据使用权、所有权的系统管理。同时向数据端提供计算机软件系统运转所需的多种类别数据集。软件系统用户可以通过数据注册中心完成数据的登记注册，由数据注册中心直接将已登记的数据转化为逻辑数据资源池，为后期数据的快速查找、定位提供支持。若中心元数据注册信息量较大，可以自动引入分布式部署方式，提高软件运行效率。

数据服务云包括数据存储云、网络数据云、物理世界采集云几个部分，负责根据计算机软件系统运转需求，进行不同类型数据集的提供。数据异常控制中心主要负责数据的异常检测、完备性检测、维护恢复、异常控制。在计算机软件系统内出现不正常事件、冲突时，数据异常处理中心可以立足分布式环境，进行冲突问题的及时处理，并完成数据冗余时的一致性管理任务，保证多数据节点负载均衡。

数据权限中心除了与数据注册中心协同开展数据合法性鉴定、用户身份认证、用户授权、应用授权、数据加密解密、数据权限分级等数据权限管理外，还可以对用户软件系统注册数据进行合法性检测，并进行数据访问权限、等级的自动标识，保证用户通过软件系统访问的数据均为“属主授权”数据，从源头解决软件系统数据所有权保护问题。

多终端通用浏览器负责子模块协同、数据共享，并通过客户端聚合服务模式进行图像计算、处理、存储。多终端通用浏览器又可称之为数据应用单元，需在数据资源池上建立。并根据用户功能需求差异，进行不同数据单元的应用。比如，数据服务单元、数据可视化单元、数据加密解密单元等。

2.2 软件逻辑分层

在基于大数据技术的计算机软件系统总体架构确定后，需要进行软件功能的逻辑分层。即以信息传输信息为对象，进行与网络端口对接层面提取。进而根据信息分类别存储端口、数据提取端口、网络传输端口对接需要，进行逻辑数据库的建立。具体包括提取海量数据、跟踪海量数据两个环节。

在提取海量数据环节，软件系统开发者需要立足大数据技术应用环境下文件处理需求旺盛这一特点，以海量数据信息处理任务为对象，利用模糊处理方法，预先判断海量数据安全性，及时将潜在风险数据划定到细化分析模块进行二次深入分析，保证最终数据抽取结果与计算机软件系统运行逻辑需求相符。逻辑层结构中文件流提取程序为：被索引文件→词法分析逻辑→查询语句;而字节流提取程序为：词法分析逻辑→查询语句语法分析逻辑→索引查找逻辑→评分排序逻辑→查询结果。

在跟踪海量数据环节，软件系统开发者应立足大数据技术应用环境下的网络安全目标，引入数据跟踪定位程序，结合前期分析获得的数据安全性结果进行数据来源自动搜寻。同时以逻辑层数据库为对象，进行风险数据跟踪定位，缩减数据处理、任务分析范围，剖析数据跟踪环境中风险源及其对网络安全影响，自动形成安全性较高的软件系统控制方案。

2.3 软件设计

基于大数据技术的计算机软件系统设计包括系统数据库设计以及若干应用功能模块设计。在数据库设计时，需要进行数据集、数据类与数据项、数据的设计。其中一个数据集表包含若干个数据类表，而一个数据类表包含若干个数据项表，一个数据项表则包含若干个数据表，每一个数据表均具有对应的数据字典。比如，数据集表的数据字典局部为如下：

表1：数据集表的数据字典（局部）

数据项名 数据项含义 数据类型 取值含义

projectCode 项目代码 Varchar（100） 平台子系统代码

flag 项目标志 Int（11） 0/1，表示禁用/启用

在计算机软件系统数据库设计时，可以利用三级码表，阐释表之间的从属关系。同时选定一个系统的参数运算节点，依据数据排列特征，进行文本提取阶段参数节点的选择。考虑到节点使用阶段大数据技术环境时刻遭受网络安全威胁，应从数据节点、管理信息节点两个方面，布置网络串口，以便实现远方数据读取、文件存储问题的高效率解决。在数据库设计完毕后，需要进行数据注册中心、数据服务云、数据异常控制中心、数据权限中心、多终端通用浏览器。各模块设计思路大体一致。以数据注册中心为例，其功能包括数据集、数据项、数据类、数据注册以及元数据管理。设计时，可以借鉴面向对象的程序设计思路，直接引入手动注册方式，录入原始数据信息，由数据表直接与导入数据关联，对表中数据所有者信息进行手动录入。注册序列为：数据所有者注册——登录验证——验证成功——登录——获取元数据信息。

2.4 软件开发

在软件开发时，需要以大数据技术环境下信息快速提取判断为目标，在Windows 10系统中进行脚本测试代码的构建。在脚本测试代码构建时，需要综合考虑技术环境中待开发软件与系统自身防御系统兼容性、代码与系统程序文件兼容性以及海量运算任务处理等因素，在网络环境中划定常规数据范围，促使软件投入运行后可在网络环境下自动更新。在具体开发过程中，可以利用QVT-R进行数据变换过程描述。即以中间层语言Midcore作为媒介，从QVT-R生成Midcore代码。部分如下：

Domain customerJoinOrder{

Source Customers {

...

Format=“CSV”

}

考虑到软件开发时所选择语言为高抽象层次声明式描述语言，而中间层语言描述数据变换过程具有命令式特点，需要利用若干个操作命令算子组合进行转换过程描述。因此，可以直接将开发语言特定表达映射为对应的操作算子。比如，开发语言中的“key”定义数据的唯一性，通过将“key”语句映射转化为中间层语言的去重操作，就可以避免抽象的声明式对应关系向具化、固定数据操作转化难题。

3. 基于大数据技术的计算机软件系统应用实践

3.1 应用环境

在基于大数据技术的计算机软件系统应用实践前，需要配备CPU达到Xeon E5-260、频率超2.0GHz的硬件，硬件内存为16G+2TB。同时准备jdk1.7.0_15版本的Red Hat Linux 64bit软件，进行系统操作。

3.2 系统集成

在基于大数据技术的计算机软件系统应用实践过程中，需要利用數据注册中心对已达成的应用功能模块进行注册记录。同时通过数据注册中心，进行应用的禁止使用/启动操作，完成计算机软件系统的“搭建”。或者通过对单一应用系统进行禁止使用/启动，完成计算机软件系统的“插播”。比如，对计算机软件系统进行启用，完成信息系统到数据注册中心的集成。进而对计算机软件系统下的应用功能进行启用，实现软件系统应用功能单元的集成。

3.3 应用测试

在计算机软件系统中，创建一个用户名，并赋予用户软件管理员角色，为其添加角色类型与密码信息。同时进入数据权限中心，授予管理员用户数据访问权限。进入软件注册页面，输入管理员信息，选择不同功能单元查看信息并选择，确定功能无误后，点击注销并退出当前用户登录。

现有计算机软件系统无法应对大数据时代信息的爆炸式增长，面临着异构数据分析难度大、海量数据管理难度大、动态数据挖掘难度大等问题。而通过大数据技术在计算机软件系统开发中的应用，可以有效解决上述问题。因此，计算机软件系统开发者可以根据系统应用需求，合理应用大数据技术，进行软件逻辑分层，完成计算机软件的科学开发，从根本上解决海量数据特别是异构数据管理难题。

参考文献：

[1]赵德明.基于大数据时代背景探讨计算机软件技术应用开发面临的机遇和挑战[J].信息系统工程，2019（11）：57-61.

[2]李天爽.计算机软件开发技术的发展及运用[J].电脑编程技巧与维护，2021（04）：30-31.

[3]刘洁.基于计算机软件开发的Java编程语言分析[J].电子技术与软件工程，2021（09）：41-42.

[4]吕志峰.不同编程语言对计算机软件开发的影响研究[J].无线互联科技，2021（12）：32-33.

[5]张士刚.计算机软件开发中数据库安全设计的应用实践分析[J].发明与创新（职业教育），2021（07）：238-239.

[6]庄委功.大数据背景下计算机软件开发技术的应用及发展趋势[J].科技创新与应用，2020（29）：147-148.