大数据时代智慧档案信息服务平台智能分析系统设计与实现

摘  要：档案信息大数据平台在实际的应用过程中，会产生大量的价值数据包括用户行为特征数据，合理开发利用现有的数据，可以更加精准提升平台服务体验。本文利用大数据分析相关技术，对平台数据维度进行深入分析，利用ABP技术对平台进行搭建，设计出可以提供多维度、多指标的交叉分析能力的智能可视化分析系统。智慧档案信息服务平台利用该智能分析系统，可以满足用户个性化数据分析的需求，从而提升了平台用户的满意度，进而为平台服务效率的提升提供了依据。

关键词：档案数据;档案信息资源;共享平台;智能分析;系统设计

Abstract：  In the actual application process of the archival information big data platform， a large amount of valuable data will be generated， including user behavior characteristic data. Rational development and utilization of the existing data can more accurately improve the platform service experience. This paper uses big data analysis related technologies to conduct in-depth analysis of the platform data dimensions， using ABP technology to build the platform， and design an intelligent visual analysis system that can provide multi-dimensional and multi-index cross-analysis capabilities. The intelligent archives information service platform utilizes the intelligent analysis system to meet the needs of users for personalized data analysis， thereby improving the satisfaction of platform users， and thus providing a basis for the improvement of platform service efficiency.

Keywords：  Archive data; Archive information resources; Sharing platform; Intelligent analysis; System design

大數据时代，物联网、大数据、移动通讯、云计算等新一代信息技术在各个领域得到了广泛的应用，催生了更多的数字化信息。智慧档案信息服务平台的构建就是以“用户为本，利用至上”为宗旨，以“智能管理”为手段，以“智慧服务”为目标，通过研究基于微服务架构的新一代档案信息服务管理平台为核心，构建大数据时代智慧档案信息服务平台，实现档案线上线下服务的全网络、全终端、全资源的深度融合，实现档案信息资源的共享共用，推进档案信息化建设的进程。设计智慧档案信息服务平台的智能分析系统，能够合理配置档案资源，全面实现个性化、精准化的智慧服务，提高档案信息资源的利用率。通过对档案信息资源数据深度分析，挖掘数据之间的关联关系，利用数据之间的关系得出合理的推论。对于用户而言，可视化的图表操作，可以帮助其挖掘更多的价值信息，通过图表化的分析，让数据朝着用户设定的方向进行。档案信息资源数据不同于一般的移动互联网社交信息数据，在数据分析的过程中要加强信息的保护，数据的可视化访问权限需要提前做好策略管理。[1]设计平台的智能分析系统，能够实现个性化数据分析可视化展示，[2]及时调整平台服务的相关举措，使平台在大数据时代得到充分的应用。

1 智能分析系统概述

智慧档案信息服务平台智能分析系统主要利用平台中不断增加的档案信息资源数据，对数据使用的用户行为进行挖掘并做关联分析，进而分析平台运行状态与档案服务质量，提供面向用户和面向档案管理者的数据决策支持。为了更好地利用档案信息资源数据，在数据处理过程中需要重视待分析数据的清洗工作，以确保待分析数据的正确性，[3]在智能分析系统实际使用过程中，由于移动互联网技术的成熟，移动智能设备的普及，除了可以在传统的PC端进行数据分析，还可以在移动端，如手机、pad端进行查看，让最终用户可以不通过PC就方便地用手指触摸的方式查看各种可视化报告。移动智能设备的利用，还可以挖掘出更多的用户特性，进而为平台的优化提供客观的数据参考。

在系统的实现过程中，对数据的描述性分析、线性回归分析、方差分析、主成分分析等数据分析方法进行了综合研究，按照需求分析、概念结构分析、逻辑结构分析、物理结构分析等步骤建立了数据分析模型，系统主要提供如下几方面的分析功能[4]：（1）建立面向档案管理人员的分析模式;（2）建立面向档案业务的分析模式;（3）建立面向档案管理系统的分析模式。

2 智能分析系统设计

在前期数据调研的基础上，从系统的设计目标、系统的总体架构、系统实现的关键技术以及系统功能几个方面对智能分析系统进行设计。[5]

2.1 系统总体设计目标。智能分析系统最终目的是满足不同类型用户对智慧档案信息服务平台进行数据分析，系统无法从现有的平台中分析出高价值信息，可以通过合并不同领域不同年份的平台数据。大体量的信息分析出来的报告更具有参考价值，最终形成个性化的图表可视化界面。[6]在具体实现过程中，需要综合考虑平台用户群体的特性，考虑在用户角色、角色权限管理方面具有友好的设置页面，在用户进入平台进行数据分析时，需要做好不同类型数据进入系统进行综合分析，选择不同的模板与不同的外观进行展示。在移动互联网技术不断发展的背景下，平台的设计需要考虑智能终端移动设备的兼容，由于用户来源的多样性，在系统安全性方面需要加强配置控制。具体的目标主要体现在以下几方面。

2.1.1 安全认证。档案具有私密属性，安全认证是保障档案文件不被泄露、窃取、盗用的首要保护机制。在档案智能分析系统安全风险防护设计中，既要科学设置服务器规则、路由协议、防火墙安全参数，也要注重软件层面的安全防护，配置系统文件加密机制、管理员账户加密机制、用户档案加密机制，详细记录管理员权限设置、档案修改、档案上传、档案删除、档案审核、档案检索，用户上传档案、用户检索档案、用户浏览档案，系统自动编辑修改档案与文件的日期、时间、操作员工号等信息。

2.1.2 檔案信息的存储。针对档案信息存储制定规范的制度和标准有助于提高档案信息资源存储质量。在该方面，构建快捷高效的档案上传接口，设置档案批量高速上传、档案资源外部导入、元数据导入、数字档案与文字档案转换、多类型档案批量载入、档案资源安全性鉴别、档案使用权属管理等功能能够大幅提升档案存储管理的便捷性，加强档案信息存储安全。

2.1.3 档案信息的组织。档案信息组织的目的主要是编排资源库中的档案序列，根据不同档案的逻辑关系构建一个层次分明、关系逻辑清晰的系统知识体系。智能分析系统在信息资源组织方面需要针对不同部门、主体、领域、责任者的关联档案进行分类，用关联词组描述不同档案的上下位类联系、语义联系，为同类型档案的聚类组织管理创造便利条件。

2.1.4 档案信息的检索与传播。关键词检索与分类检索在多系统资源检索中的应用非常广泛，检索中得到的档案资源信息具有一定的内在关联，能够使用户更加高效地查找与自身需求相符的档案信息。为确保档案信息的安全性，有必要在为各类系统档案设置专用权限字段的基础上，通过针对性开放模式使不同机构的保密档案在特定时段内有限制地开放，以提高针对性信息与共享性信息的可用性。

2.1.5 用户评介与互操作服务。智慧档案管理系统配置用户评价功能与互操作功能的目的主要是为了给用户之间、不同系统之间、用户与系统之间的信息共享交互提供一个高效的互动平台。其中，用户在与系统交互的过程中的身份为系统帮助者，可提出系统操作问题、运行问题、使用感受，或对各种系统问题进行解答，而系统会自动收纳相关问题和答案，并生成系统问题解决提示，使用户在遇到系统问题时可通过检索的形式快速找到解决方法。此外，用户评价功能与互操作服务功能还能帮助档案信息平台更加及时准确地掌握档案信息使用情况，并根据用户的档案信息检索偏好生成快捷检索词，使用户在无需输入所有档案信息的情况下，仅需要通过特定词汇即可查找目标档案，但该程序的实现以多系统互联为前提。

2.2 系统总体架构。智能分析系统在总体架构设计上，考虑了档案管理人员、平台用户、平台系统管理员等角色，同时需要考虑移动智能设备的数据分析功能的兼容性，在数据库兼容性上需要考虑关系型数据库，非关系型数据库也需要做到兼容，平台最终呈现给用户丰富的可视化界面应用。分析系统是属于智慧档案信息服务平台的数据分析模块，需要实现平台之间数据集成，这方面采用单点登录的方式实现平台之间的身份验证互通，对于用户角色权限方面，需要建立统一管理中心，系统总体架构如图1所示。

2.3 系统实现关键技术。智能分析系统关键技术主要体现在数据采集、数据预处理、数据分析挖掘以及数据分析结果预测。[7]技术维度方面需要采用知识获取技术、知识表示与组织技术、自然语言处理技术、人机交互技术、新型计算机技术与深度学习技术。[8]在系统实现过程中，商业智能技术势必不可缺少，商业智能技术通常被理解为将现有的数据预处理为知识，对档案信息资源数据预处理后得到的倒排索引文件进行特征选择，实现特征降维，[9]得到的数据特征集合为辅助决策者做出决定的依据。

2.4 系统功能设计。从功能结构上分为数据服务层、应用层、展示层。

数据服务层主要用于档案信息资源数据的读取、操作及统计汇总;档案信息资源数据的数据层面的应用均通过API进行，应用层实现管理用户配置和权限体系，同时将系统的角色权限、访问控制、运行监控的服务放在这一层进行处理;个性化可视报告的展示，包括页面展示、图表及数据导出等功能在展示层得到处理，展示层作为对外服务的核心应用，主要用于档案信息资源数据在前端展示。系统功能结构如图2所示。

3 智能分析系统实现

3.1 系统实现过程。系统实现包括两个部分，第一部分是智能分析系统自身的构建，系统将采用ASP.NET Core技术构建，ASP.NET Core是一个跨平台，高性能，开放源代码框架，用于构建现代的，支持云的、互联网连接的应用程序，在前端展示方面，将采用HTML5与CSS3技术，结合Bootstrap框架技术，[10]这样可以兼容传统的PC和移动智能设备，后端数据库支持将采用SQL Server 2016，该数据库将提供更好的数据安全性能，事务性能方面有较大的提升，分析系统数据操作采用存储过程以确保性能与数据安全性。[11]第二部分是系统模型框架的构建，为了支持系统灵活配置数据分析条件及展示数据，需要对后端数据分析进行合理的监控，包括服务器自身的硬件状态，如内存、CPU等，个性化的应用越强，对不同的配置信息进行备份还原操作也需要支持页面层级的维护，另外对日志相关的数据也需要进行完善，如用户访问平台数据、用户行为数据、性能监控数据、系统出错数据等都需要纳入系统的实现当中。

3.2 数据分析系统技术实现。数据分析系统在技术框架上采用ABP，它是“ASP.NET Boilerplate Project（ASP.NET样板项目）”的简称，该框架是一个开源应用程序框架，[12]专注于基于ASP.NET Core的Web应用程序开发，使用该框架可以便捷地架构智慧档案信息服务平台智能分析系统，基础框架通过在程序包管理控制台输入ABP提供的创建项目命令，即可自动生成智能分析系统的解决方案，生成的解决方案已为系统构建了展现层、应用层、领域层、基础设施层、分布式服务层，其中展现层主要用来提供用户界面，实现用户交互操作，应用层主要是进行展现层与领域层之间的协调，该层不包含具体的业务逻辑，领域层包括业务对象和业务规则，这是分析系统程序的核心层，基础设施层主要用来提供通用技术来支持更高的层，例如数据仓储可通过 ORM 来实现数据库交互，为了使系统的实现更具有灵活性，该解决方案提供了分布式服务层，它用于公开应用程序接口供远程客户端调用，采用 ASP.NET Web API 来实现，这样确保每一次服务调用都是统一的，保证数据分析操作的一致性。[13]ABP框架技术支持Redis选项，可以利用缓存技术来提升数据分析效率，[14]因为该框架采用了领域驱动设计的思想，在此基础上可以快速地根据用户进行个性化定制数据分析报告。图表分析功能展示借助了Highcharts相关图表功能，它是一个用纯JavaScript编写的图表库，能够很简单便捷地在智慧档案信息服务平台的智能分析模块添加有交互性功能的图表。

3.3 数据分析模型构建。在进行档案信息数据智能分析之前，需要先准备好数据，就数据本身而言，除了现有内容本身，还有数据的扩展标签，以便于后续实现数据可视化分析的选项更加丰富，[15][16]这项工作一般由档案管理人员提出要求，由系统管理员进行创建，需要在智慧档案信息服务平台与智能分析系统之间创建数据连接桥梁，以便于对平台数据做数据分析，这相当于平台数据映射，智能分析系统智能利用智慧档案信息服务平台的现有数据而不能修改其中的信息。在数据准备好之后，需要对数据进行权限分配，主要包括目录权限、数据权限、分级权限、管理系统权限、人员权限等。为档案管理人员以及用户分配好权限后，平台用户可以创建数据权限分配范围内的数据集，根据业务需求对原数据进行再加工处理，再处理的操作包括选择指定字段、过滤指定条件数据、分组汇总、新增逻辑列、字段名称设置、排序等。在用户数据集创建以后，平台用户就可以利用数据进行可视化分析了，数据可视化包含了数据创建表格组件、图表组件、过滤组件等等，有了这些待分析的档案信息资源数据之后，在此业务基础之上建立分析模型，并结合模型采用多种分析手段对数据进行分析，[17]还可以对数据分析结构展示一系列的设计优化，使之更美观。

3.4 数据分析效果展示。智能分析系统可以根据用户的需求，配置出各种可视化图表信息与个性化仪表面板，图3以某智慧档案信息服务平台2021年的用户行为数据作为源头数据，来设计可视化的看板信息。源头数据中包含如下信息：用户访问地点、访问时间、访问时长、访问页面、页面停留时长等平台使用信息，同时可以监控平台当前使用的客户端样本信息，最终可以设计成首页大数据分析看板页面。

4 数据分析系统测试

4.1 测试环境准备。为了更好地模拟档案信息资源数据分析效果，需要准备两台服务器，一台用户存放档案信息资源数据以及源头数据检索用户行为数据，服务器硬件采用华为（HUAWEI）2288H V5 服务器主机，操作系统采用Windows Server2016，智能分析系统数据库采用SQL Server 2016，另一台用于共享平台智能分析系统的应用程序的部署，硬件服务器同数据库服务配置，需要安装Microsoft Visual Studio 2019，并配置好IIS（Internet Information Services 互联网信息服务）信息。

4.2 数据准备。智能分析系统待分析的数据包含的信息如表1所示。

以上信息将根据用户的个性化要求配置。系统可以根据用户的需求，配置出各种可视化图表信息与个性化仪表面板，通过智能分析系统WebAPI自动拉取到可视化分析平台中，利用某智慧档案信息服务平台2021年的用户行为数据作为源头数据，形成用户易于理解的各种图表分析报告，相关效果如图4、图5所示。

4.3 数据测试结果。通过数据智能分析系统的部署以及系统自定义分析需求的构建，可以顺利拉取出动态可视化图表分析报告。在分析用户信息访问行为方面，通过统计分析模块可以了解到平台页面的使用频率，有助于智慧档案信息服务平台研究方向和科研需求，更好地开展档案信息知识化服务工作。另一方面，通过访问地域信息的统计，可以发现平台用户群体的区域信息，这样便于制定针对性用户服务需求。[18]通过效果展示，分析系统在实际的易用性、可靠性与可维护性方面具有较高的质量。

*本文系2017年国家社科基金年度项目《大数据时代智慧档案信息服务平台构建与创新研究》（项目批准号：17BTQ074）研究成果之一。

参考文献：

[1]Cheung Ming，James She.An analytic system for user gender identification through user shared images.ACM Transactions on Multimedia Computing，Communications，and Applications，2017，13（03）：30.

[2]冉波.大數据下视频智能分析系统的应用[J].通讯世界，2019（09）：173-174.

[3]卞咸杰.智慧档案信息服务平台数据处理流程研究[J].档案管理，2018（06）：33-35.

[4]郭孔梁.网络智能分析系统的设计与实现[J].电信工程技术与标准化，2013（04）：29-32.

[5]王智鹏.基于移动教学APP的学习状态预警系统的研究与实现[D].沈阳：辽宁大学，2019.

[6]Tom Krenzke，Jane F.Gentleman，Jianzhu Li，and Chris Moriarity.Addressing Disclosure Concerns and Analysis Demands in a Real-Time Online Analytic System[J].Journal of Offcial Statistics，2013，29（01）：99-124.

[7]翁俊河，李湘丽，林燕斌等.基于大数据挖掘的网络舆情智能分析系统关键技术研究[J].通讯世界，2019（09）：116-118.

[8]化柏林，李广建.智能情报分析系统的架构设计与关键技术研究[J].图书与情报，2017（06）：74-83.

[9]马梅，刘东苏，李慧.基于大数据的网络舆情分析系统模型研究[J].情报科学，2016，34（03）：25-28+33.

[10]卞咸杰.大数据时代智慧档案信息服务平台前端框架的构建[J].档案与建设，2017（10）：11-15.

[11]卞咸杰.大数据时代智慧档案信息服务平台性能优化的研究[J].档案管理，2016（06）：18-20.

[12]金秀凤.基于ABP框架的智慧档案信息服务平台模型构建[J].档案管理，2020（04）：64-65.

[13]卞咸杰.大数据时代智慧档案信息服务平台数据交互服务的研究[J].浙江档案，2018（11）：15-17.

[14]金秀凤.大数据时代智慧档案信息服务平台数据处理的优化[J].档案管理，2018（06）：29-32.

[15]Richard Gruss，Alan S.Abrahams，Weiguo Fan，G.Alan Wang.By the numbers：The magic of numerical intelligence in text analytic systems.Decision Support Systems，2018，113：86-98.

[16]James S.Walker，Mark W.Jones，Robert S.Laramee，Owen R.Bidder，Hannah J.Williams，Rebecca Scott，Emily L.C.Shepard，Rory P.Wilson.TimeClassifier：a visual analytic system for the classification of multi-dimensional time series data.The Visual Computer，2015，31：1067-1078.

[17]王卫锋，杨林.基于Hadoop的邮政寄递大数据分析系统设计与实现[J].中国科学院大学学报，2017，34（03）：395-400.

[18]陈广.基于Fiddler代理程序的电子资源使用统计分析系统的设计与应用[J].图书情报工作，2018，62（13）：30-36.