试论大数据背景下的知识管理

/北京航天发射技术研究所

大数据浪潮汹涌而来，这不仅仅是信息技术领域的革命，更是全球范围内加速企业创新的利器，不少公司已经意识到这是一个难得的机遇，都开始采取积极的行动。近年来，中国运载火箭技术研究院通过以战略纲要为依据，以课题研究为牵引，以知识梳理为核心，以系统建设为支撑，以标准制度为保障，推进知识管理工程，取得了较好的实施效果。那么，如何将大数据与知识管理工作相结合，提升知识管理系统的效用，促进研究院的发展，成为当前必须正视和思考的问题。

一、大数据及其特点

1.数据的历史和现在

数据的历史极为漫长。战国时期，著名的《商君书·画策》中将全国总人口按壮男、壮女、官吏、商人、读书人、残疾人等13类分别统计，这就是中国历史上的“强国知十三数”。古埃及在公元前3000年已经有人口、居民财产统计，尤其是每次修建金字塔之前都会进行全国性的人口普查，以计算可征调的劳动力。

随着社会的发展进步，人类的数据量不断增多。与此同时，数据的价值也得到更为广泛的认可。从20世纪开始到如今，美国政府对于数据的收集、发布、使用和管理，已经形成了一个比较成熟的框架和体系。著名华人历史学家黄仁宇先生说：“资本主义社会，是一种现代化的社会，它能够将整个的社会以数目字管理。”2011年，麦肯锡公司以2010年度各国新增的存储器为基准，对全世界大数据的分布做了一个研究和统计，结果表明：2010年美国新增的数据量为3500拍，欧洲为2000拍，日本400拍，而我国仅为250拍。

2.数据的存储单位

所有的信息都以数据的形式保存在物理存储器上。由于数据量不断增多，一些新的名词也被相应定义，如“太”（Terabyte），代表2的40次方。数据的存储单位见表1。

目前，一首普通MP3格式的流行歌曲大约4兆字节，一部电影大约1吉字节。而1艾字节，相当于13亿中国人人手一本500页书籍的信息量。截至2010年，人类拥有的信息总量大概是1.2泽字节。

3.大数据的概念和特点

大数据指那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、管理和分析的大容量数据。一般定义为：需要新处理模式才能处理，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，通常以“太字节”为单位；麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；在《大数据时代》中，大数据指不用随机分析法（抽样调查），而采用所有数据进行分析处理。

一是数据的爆炸式增长。

2001年，著名的高德纳咨询公司在研究报告中指出，数据的爆炸是三维的、立体的（见图1），这3个维度主要表现在：同一类型的数据量在快速增大；数据增长的速度在加快；数据的多样性，即新的数据来源和新的数据种类在不断增加。据估计，2000年人类新产生的数据量为1000～2000拍；而2020年仅全球企业一年新存储的数据量就超过7000拍，全球消费者新存储的数据量约为6000拍。图2为麦肯锡全球研究所对美国各行业2009年拥有的数据量估算。

表1 数据的存储单位

图1 数据的三维增长

图2 美国各行业数据存储量

二是大数据带来的挑战与机遇。

经由量变到质变，大数据呈现出许多新的特质。通过对海量数据的交换、整合和分析，发现新的知识并创造新的价值，带来“大知识、大科技、大利润和大发展”。麦肯锡在其2011年的报告中指出：“大数据，将成为全世界下一个创新、竞争和生产率提高的前沿”，“已经有越来越多令人信服的证据表明：只要实施正确的政策和激励，大数据将成为竞争的关键性基础，并成为下一波提高生产率、创新和为消费者创造价值的支柱。”

但是，大数据存在多源异构、分布广泛、动态增长，先有数据后有模式等特点，这些与传统数据的不同，使得大数据时代的管理面临新的挑战。2010年，美国政府部门向奥巴马和国会提交了《规划数字化未来》报告，该报告列举了5个贯穿各个科技领域的共同挑战，第一个挑战就是“数据”问题。报告说：“如何收集、保存、维护、管理、分析、共享正在呈指数级增长的数据，是我们必须面对的一个重要挑战。”2011年，新加坡成立了德勤数据分析研究所，目的是引领政府和企业对于数据的研究和应用。

三是小数据和最小数据集。

与大数据概念相对应，诞生了小数据和最小数据集的概念。

小数据的定义尚不统一，有人认为以前采用调查方法获得的抽样数据，或者是结构化的海量数据是小数据；也有人认为需要新的应用方式才能体现出具有高价值的、个体的、高效率的、个性化的信息资产是小数据。

最小数据集的概念起源于美国的医疗系统，由于其实用性在美国已经演化成一般性的概念，指代国家的管理层面针对某个业务管理领域强制收集的数据指标，其实质是一个业务管理过程当中最重要的数据指标。它在各个公共领域的定义和推广，成为这些部门在开发设计信息系统时最重要的一个参考，一旦核心的数据收集指标被确定，数据库的结构设计就成为一个水到渠成的过程。有些最小数据集，甚至直接就被引用并成为信息管理系统的数据结构。

4.大数据的发展趋势

数据的开放。在数据浪潮中，很多人认为无论是代码还是数据，只有开放，才能集聚群体的智慧、激发创新的力量、放射出更大的价值，真正推动社会的进步；同时，人民有权向政府索取各式各样的数据。由此，美国和英国先后兴起了数据开放运动，并得到时任美国总统奥巴马和英国首相戈登·布朗的大力支持和推动，美国政府数据开放门户网站与英国政府数据开放网站先后建立。2011年，美、英等国政府发起成立“开放政府联盟”这一致力于数据开放和创新的国际组织，其会员迅速增加到50个。

数据可视化。大数据的出现使得数据价值得到了空前的重视，各行各业都在对大数据分析提出需求，数据的分析结果也需要得到更多形式的展示从而被大众理解。数据可视化技术，可以通过图像在逻辑思维的基础上进一步激发人的形象思维和空间想象能力，以吸引并帮助用户洞察数据之间隐藏的关系和规律，大数据可视化分析逐渐成为潮流和趋势，乃至出现新一类的专业人才：数据科学家。

云计算和移动云处理。1997年，南加州大学的一位印度裔教授切诺柏正式提出“云计算”的概念。这种通过网络将计算能力组织起来的做法，可以实现经济学意义上的“规模化”和“专业化”，引发企业界前赴后继的尝试，并得到大规模的商业应用。2011年，美国政府通过云计算的应用，将全国的数据中心合并了137所，并将继续精简。随着4G网络的兴起及手机、平板电脑等移动终端的使用，移动云处理的概念应运而生，未来关于移动数据和移动云处理的研究将会不断处于热潮当中。

人工智能与深度学习。传统的数据表达模型和方法过于简单与浅层，而大数据能够支持更为复杂的模型。深度学习在计算机视觉、语音识别和图片识别上已取得巨大成功，未来深度学习和大数据结合仍会有长足的发展。

二、知识管理及其特点

知识管理简言之是企业内知识资产的管理，包括知识获取、知识交流、知识应用和知识创新等过程。知识管理系统的任务就是对企业的显性知识和隐性知识进行处理，并把这些知识用一种适合于用户及商业环境的方式表示出来，以提供给企业员工共享、吸收、利用。它以知识为核心，通过IT等辅助技术协助企业有效地获取、传播、共享、利用和创造知识，并为企业创造价值。

1.知识管理的特征

时代性。知识管理是在知识经济时代提出的关于对知识共享问题的管理，具有鲜明的时代性。知识创新是知识管理的目的，知识管理是知识创新的基础和手段，知识管理理念体现了社会经济发展向依靠科技进步和提高劳动者素质水平转移的趋势。

快速化。资料显示，20世纪末至21世纪初的十几年之间，人类所创造的知识总量比人类五千年历史创造的总量还要大。当知识更新的速度越来越快时，必须让知识管理的水平跟上知识更新的速度。

人本性。知识是由人创造出来的，习惯、经验、技术等隐性知识是由广大员工长期的工作实践积累下来的，而贡献知识、共享知识和贡献出知识的价值更与员工的意愿息息相关。员工对企业有良好的认同感和归属感，会不断主动提高自身的创新能力和创新动力，并将知识无私贡献给企业。从心理学以及企业文化的角度，关注个体构建开放共享型的文化，有助于企业知识管理。

2.知识积累与自主创新

中国航天事业的发展过程也是一个持续累积知识、推动创新的过程。研究院成立初期，各分院的设计部、研究室组织技术人员学习型号资料，下厂配合生产，选派技术人员跟随苏联专家学习，并把专家的讲解整理汇编、印发相关人员学习，大量的隐性知识通过苏联专家外溢给了中国本土的专家和技术人员。

1992年载人航天立项时，明确“长征”二号F火箭在“长征”二号E火箭的基础上进一步研制和完善。“长征”二号E火箭共进行了8次发射，经历了成功与失败的考验，但有了火箭关键领域的技术突破作基础，“长征”二号F火箭在进行1次零高度试验和4次无人飞船试验后，实现了“神舟”五号飞船首次载人航天飞行的成功。

三、大数据背景下的知识管理

大数据和知识管理是2个相对独立的领域，但数据是知识的源头，大数据的最终目的是提取知识，二者自诞生之日起就有着千丝万缕的联系。大数据背景下的知识管理，有着很多新的特点，这是知识管理本身更新换代的体现，也是大数据技术催生的知识管理革命。

1.关系到企业的核心竞争力

知识管理和大数据都通过提升技术以整合资源，前者着眼于在隐性知识向显性知识转化的过程中实现知识创新，后者凭借大数据的处理技术充分挖掘潜在规律。研究表明，数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关；对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%。数据逐渐成为企业的核心资产，并关系到企业核心竞争力。同样，知识已成为企业有效运作所需的基础性资源，以及企业运营管理中最有价值的资产。知识管理可以在一定程度上辅助决策，提升企业的创新能力。数据、信息和知识的区别与联系，如图3所示。

2.是把双刃剑

大数据带来种种便利的同时，也逐渐暴露出数据泄露的危害。资料显示，未来几年数据泄露的增长率也许会达到100%，每个财富500强企业都会面临数据攻击。数据开放过程中，个人隐私数据的保护和“信息过度窄化”等问题也浮出水面。知识管理虽然是企业发展的利器，但相当多的企业投入大量资金运作的知识管理系统并不成功，数据表明，仅有15%企业的知识管理运营成功。在研究和应用过程中，二者都需要摒弃误区，选择正确的应用策略。

图3 数据、信息和知识的区别与联系

3.知识管理系统需要应对数据量与信息量的多样化与激增

早期企业的知识管理，是以邮件及文档数据库为核心的办公业务自动化管理，其重点在文档管理，所面临的信息量和数据量并不多。同时，信息和数据结构多以结构化数据为主。

随着数据生产和存储技术的进步，企业产生和存储的数据激增且有加速增长的趋势。其中，迅猛增长的图像与视频等丰富格式的数据和信息大量涌现。总量大、流量大、格式多样及处理的及时性，要求企业的知识管理系统具备大容量、极高的运行速度和基于大数据思维的业务流程思考。

4.知识管理系统的智能化

被汇总的海量数据，其大部分都是机器自动搜集和组织的，且与传统人工进行的搜集相比，价值密度会降低。但因数据和信息量呈几何级数增长，海量数据中所蕴含的价值非常巨大，远超价值密度低所带来的负面影响。2014年，谷歌公司公布了在建的“知识库”，其通过算法自动搜集网上信息，并利用机器学习把数据变成可用知识。

大数据时代的知识管理，不仅能够替代人们自动地建设知识库，还能像人类一样具有智慧去思考和推理，并生产和组织知识。知识管理系统的智能化发展，将把人类从知识管理流程的低端阶段中解放出来，从而更专注于高级知识的生产和应用。

四、大数据和知识管理的协同

《孙子兵法》强调“不可胜在己，可胜在敌”。要做到“低成本、高效率”的运营以及决策正确，企业必须广泛推行以事实为基础的决策方法、大量使用数据分析来优化企业的各个运营环节。这种竞争，就是一种基于数据的竞争。数据是信息的载体、知识的源泉，基于知识的竞争，也将集中表现为基于数据的竞争。

1.研究院的“数据驱动”

按照研究院年度工作要点进行“两化”融合，加快构建数字化、智能化制造能力体系。未来研究院科研生产将从传统向“数据驱动”转型升级，建立从总装测试到零部组件制造全过程的容差分配体系；实现覆盖产品设计、生产、试验、测试全过程数据采集与管控；满足型号产品质量预判、问题快速定位、质量优化改进等需求。

从数据到知识。数据是对客观世界的记录，当我们对数据赋予背景时，它就成为信息；信息是知识的来源，当把信息提炼出规律的时候，它就上升为知识；知识是智能的基础，当电脑、网络能够利用某种知识作出自动识别，采取行动为人类服务时，机器智能就诞生了。

如何将数据、信息转化为知识。数据变成知识一般需要4个转化过程，如图4所示。

一是构建数据仓库，这是决策支持系统面临的一个“瓶颈”问题——多个不同运营信息系统产生的数据如何有机整合。通过专门的ETL（Extraction，Transformation,Load）工具,可以将来自企业内外的不同运行平台、编制语言、物理位置的系统，如财务、人力、客户管理系统等数据按照统一的格式提取出来，再进行清洗、转换、集成，加载进入数据仓库。

图4 数据的转化

二是联机分析，也称多维分析，是指把分立的数据库“相联”，进行多维度的分析。

三是数据挖掘，发现潜藏在数据表面之下的历史规律并对未来进行预测。数据挖掘把数据分析的范围从“已知”扩大到“未知”，从“过去”推向“将来”。

四是数据可视化，把海量数据中隐藏的知识展示出来，把复杂的数据转化为直观的图形，呈现给最普通的用户。

2.数据驱动的决策方法

技术变革推动了社会变革，大数据在很大程度上改变了商业领域和体育运动领域的决策过程，但其它领域的应用还处在一个开始的阶段。

企业要实施数据驱动的决策方法，不仅需要新的技术，还要改变目前的决策过程并施行制度创新。在大数据时代，传统层层授权的纵向分级制与环环相扣的流程管理，基于层级的社会控制手段将不再适用，基于流程的管理方法也有很大的局限性。开放的数据和每一位员工之间都是等距的，而且中间没有层级的过滤。数据的开放和流动，意味着知识的开放和流动、代表着权力的开放和流动，是多中心的、多水平的。用数据来决策、管理与创新，是一种进步，也是一种挑战。

3.基于大数据的知识共享和协同创新

大数据是知识管理绕不开的时代主题，基于大数据技术，需要重新定位知识管理的业务流程。积极应用大数据的各类实用技术，将推动知识管理提高综合集成水平，提升运行水平和效率。大数据与知识管理系统的协同，如图5所示。

1947年，卡内基梅隆大学的赫伯特·西蒙教授出版了《行政组织的决策过程》。他指出人类的理性都是有限的，因此所有的决策都是有限理性的结果。这位天才科学家继而提出，如果能利用存储在计算机里的信息来辅助决策，人类理性的范围将会扩大，决策的质量就能提高。

图5 大数据与知识管理系统的协同

质量管理专家戴明说：“除了上帝，任何人都必须用数据来说话。”现代管理学之父德鲁克说：“预测未来最好的办法，就是去创造未来。”大数据的时代，意味着更精准、更高效、更智能的管理革命。未来，数据兴则企业兴，数据强则企业强。▲