大数据技术下项目档案管理系统设计研讨

侯红祥 金凤

摘要：介绍了基于大数据构建的项目档案管理系统。首先从项目档案本身的属性出发阐述系统建设的必要性，然后介绍大数据的特征，接着从流程分类、系统功能架构、系统业务流、分级利用和归档流程方面描述了如何结合大数据流程来构建项目档案管理系统，最后总结了系统的重难点和特点，并展望了引入云计算和人工智能的设想。构建的项目档案管理系统具有全面、先进、规范、灵活和安全的特点，大数据分析能从档案数据中挖掘数据价值。

关键词： 大数据;档案管理;方案设计

中图分类号： TP302.1        文献标识码：A

文章编号：1009-3044（2019）20-0053-02

开放科学（资源服务）标识码（OSID）：

Abstract：  The project file management system based on big data is introduced. Firstly， this paper expounds the necessity of system construction from the attribute of project archives itself. Then it introduces the characteristics of big data. And how to build project archives management system with big data process is described from the aspects of process classification， system functional architecture， system business flow， hierarchical utilization and archiving process. Finally， it summarizes the difficulties and characteristics of the system， looks forward to the introduction of cloud computing and artificial intelligence. The project archives management system is comprehensive， advanced， standardized， flexible and safe. Big data analysis can mine data value from archives data.

Key words： big data; archives management; scheme design

随着社会的进步和科技的发展，计算机已经在各行业普及使用，企业管理活动中60%以上都是项目，而在项目管理中各种类型的电子文件大量产生，传统纸质文件的档案管理模式已明显不适应现代项目管理的要求[1]。项目管理过程中产生的项目档案其本身具有大数据特征，如果结合大数据技术构建基于大数据的项目档案管理系统，不但能提高项目档案管理效率、降低失误率，而且能通过大数据分析从档案数据中挖掘数据价值[2]。

在项目可行性分析、招投标、施工实施、项目验收和运行维护等阶段产生大量的档案，从管理上一般分为售前、售中、售后三个大阶段，三个大阶段又由多个小环节组成。一个项目从可行性分析到项目验收多的要历时一两年，少的也要几个月以上。项目档案都散落在各个环节项目经理手上，某个重要文档彻底丢失是常有的事情。项目中变更不可避免且非常频繁，变更引起的记录会对原先文档中的项目信息进行更新，缺少变更记录会导致项目信息失真。项目档案泄密，特别是售前阶段的文档被竞争对手窃取，往往会导致项目失败，造成企业成本浪费，严重时会造成名誉或重大利益的损失。由于历时长、环节繁、人员多、变更频造成项目档案经常丢失，企业在年终审计时造成人为误解，项目档案泄密可能对企业造成的损失难以承受，故建设项目档案管理系统十分必要。

1 大数据的特征

麦肯锡在报告中给出的大数据定义是：大数据是超出常规的数据库工具采集、存储、管理和應用能力的大型数据集[3]。有关专家给大数据用四个特征来定义，即大规模（Volume）、高速性（Velocity）、多样化（Variety）、高价值（Value），所以大数据的“大”包含了容量上的“大”、流动速度上的“快”、样式上的“杂”和价值上的“值”四个含义，如图1。

大规模（Volume）：一般企业级处理的大数据容量都达到TB级，甚至达到PB级，一个形象的对比是美国国会图书馆收录藏书1.6 亿册，对应的电子数据容量是251TB。

高速性（Velocity）：即指数据更新的频次高，又指数据采集的速度快[4]。孤立的数据是没有价值的，更新频率越高的数据蕴含更丰富的信息，数据相互融合，才能通过大量的数据发现其中的规律。从海量的数据中提取数据的速率又是一个重要的课题，客户体验在秒级，如果应用的响应速度达不到秒级，其商业价值就会大打折扣。

多样化（Variety）：数据种类和格式多，来源广。数据种类可分两类：结构化与非结构化，数据格式包括：数据库数据、日志数据、文本数据、图数据、流数据、多媒体数据等，而这些数据可以通过各种方式产生。

高价值（Value）：通过数据的关联关系，分析过去已发生的数据，从中掌握事物的规律，从而根据规律来预测未来发生的事情。数据是无价之宝，但并不是所有的数据都有价值，海量活性的融合数据具有更高的商业价值。

2 系统设计

2.1 系统功能架构

本文依据大数据流程设计[5]的项目档案管理系统的功能架构主要有八个模块，分别是档案利用、系统管理、信息中心、归档管理、业务管理、档案管理、文件管理和人事管理。

档案利用包括借阅、统计和专题三个功能，主要实现项目档案的借阅审批、统计分析和专题编研等。

系统管理包括组织、日志和介质三个功能，实现系统的组织管理、日志备份和审计、软硬件介质调度等。

信息中心包括新闻、公告和消息等功能，实现用户之间的信息分享、通知和实时联系等。

归档管理包括接收、整理、归档和退回等功能，实现档案的接收、预归档规范、整理修改、正式规定和退回补充等。

业务管理包括编码规范、安全策略和结构定义等功能，为不同的业务设置相应的编码规范、安全策略和数据结构自定义等。

档案管理包括库房保管、脱机保管、机密销毁、数据备份和传输等功能。

文件管理模块中设置在线扫描、批量导入、移交、变更、回滚等模块，实现数据采集生成原始数据。

人事管理模块中设置部门、职务、岗位和员工四个小功能，将系统的权限分配给岗位，职务限制对文档的查阅权限，根据部门职能分配不同的功能模块，从而实现文档在有限范围内使用。

2.2 流程分类

从上面两节来看，如果把项目档案看作难以用常规数据库工具采集、存储、管理、利用的数据集合，那么项目档案就是大数据，那么我们可以依据大数据的流程来设计，如图2：

2.3 系统业务流

本系统的业务流按大数据流程来设计，涵盖数据的采集、存储、管理到利用整个大数据流程[6]，如图3。数据采集阶段业务系统、在线扫描和批量导入产生原始数据。

通过预归档管理和文件管理功能将这三类源数据在数据存储阶段在存储介质上保存下来。

经过存储后的文档在数据管理阶段通过整理归档，按数据按规范记录进档案全文数据库，完成归档动作。

在数据利用阶段主要包括档案利用的专题编研、数据导出、统计分析和查询调阅，档案全文数据库平时需要数据备份，防止数据丢失，无价值档案要进行机密销毁，数据备份和机密销毁属于数据管理阶段。

2.4 系统特点

本文基于大数据设计的项目档案管理系统中，非结构化数据调用过大时影响系统性能[8]，本系统采用分级利用的方式来提高效率。非结构化数据传输受网络瓶颈限制严重，本系统采用本地暂存、断点续传、二级缓存等技术，提高数据传输的效率。

本文介绍的系统主要有以下几点特点：

全面：用于对各种业务文档、收发文、图片、照片、音视频等数据信息进行计算机管理的综合系统，涵盖档案业务采集、存储、管理、利用的全过程。

先进：采取先进的功能和技术解决系统难点，系统稳定。

规范：统一权限管理、统一利用管理、统一条目分类。

灵活：界面可配置，支持各种自定义、外部数据交互。

安全：系统权限控制有限访问、系统操作日志审计以及系统实时管控保证项目档案的安全。

3 展望

本文介绍系统设计灵活，使用方便，在将来推广到不同的企业，形成广泛的应用后，可以与云计算技术结合[7]，在积累了大量数据以后，引进智能算法，经过样本训练后，挖掘出更有价值的数据。

参考文献：

[1] 高梅. 工程档案管理系统的设计与实现[J]. 工程建设与设计， 2006（11）：48-50.

[2] 金光明， 袁定莲， 沈晔， 等. 与OA集成的企业档案管理系统研究與实现[J]. 档案与建设， 2014（11）：21-24.

[3] MANYIAK J. Big data：the next frontier for innovation，competition，and productivity[EB/OL].http：//www.mckinsey.com/insights/business technology/big data the next frontier for innovation.

[4] 刘凯悦. 大数据综述[J]. 计算机科学与应用，2018，8（10）：1503-1509.

[5] 王珊，王会举，覃雄派，等. 架构大数据：挑战、现状与展望[J]. 计算机学报，2011（10）：17-40.

[6] 张常淳.基于MapReduce的大数据连接算法的设计与优化[D].合肥：中国科学技术大学， 2014.

[7] 刘晓光. 非结构化档案信息及档案异构数据库管理系统的研究[J]. 中国档案， 2010（9）：66-68.

[8] 廖玉玲. 用云计算搭建阳光信息工程——深圳市建筑工务署项目建设信息智能在线监管服务平台介绍[J]. 中国档案， 2014（8）：54-55.

【通联编辑：王力】