大数据时代企业竞争情报系统的评价指标体系研究

吴金红王翠波

（1．武汉纺织大学管理学院，湖北武汉430073；2．中南民族大学管理学院，湖北武汉430074）

大数据时代企业竞争情报系统的评价指标体系研究

吴金红1王翠波2

（1．武汉纺织大学管理学院，湖北武汉430073；2．中南民族大学管理学院，湖北武汉430074）

针对竞争情报系统评价没有体现出大数据特性的不足，结合大数据思维变化的3个方面，归纳大数据竞争情报系统应突出的特性。从竞争情报系统的构成出发，提出大数据竞争情报系统的评价思路，并从战略保障、运行状态和用户体验3个角度出发，建立了包括功能指标、技术指标和用户指标在内的大数据竞争情报系统评价指标体系，最后探讨了定量定性指标的度量方法。提出评价指标体系具有多层次多视角的特性，为建设大数据竞争情报系统提供参考。

大数据；企业；竞争情报系统；系统评价；指标体系

大数据正在改变我们的生活以及理解世界的方式，也在改变着商业组织和社会组织的运行模式。充分理解数据的价值，知道如何利用大数据为企业经营决策提供依据，目前已逐渐成为大数据时代商业组织应具备的最基本思维。在这种数据驱动决策的思维模式下，不少情报学研究者从对大数据竞争情报系统的模型、体系结构、运行机制等多方面进行了探讨。如2013年，中山大学黄晓斌教授率先提出了基于大数据的企业竞争情报系统模型，并分析了该模型的结构和作用［1］。同时，越来越多的企业，如IBM、亚马逊、谷歌、微软、沃尔玛等，开始重视大数据竞争情报软件系统的开发与建设的尝试，并且取得一定的成果。

然而，由于大数据的复杂性以及对大数据研究尚属于启动阶段，为确保大数据竞争情报系统的实用性和安全性，有必要建立一套面向大数据的竞争情报系统评价指标体系，引导企业在大数据时代建设竞争情报系统，提高竞争情报服务质量。本文根据竞争情报系统的构成，围绕大数据带来的思维变化和当前竞争情报系统面临的问题与挑战，研究大数据竞争情报系统的评价框架，战略、技术和人3个方面相结合，构建体现大数据思维的竞争情报系统评价指标体系，从功能覆盖、运行状态和用户体验等多角度出发，综合考察竞争情报系统，提升竞争情报系统的准确性和有效性。

1 竞争情报系统评价研究现状

随着竞争情报在企业战略管理中扮演的角色越来越重要，人们对于竞争情报系统及其带来的效益展开了多角度多层次的评价。从文献调查结果来看，国外对于竞争情报系统评价方面的研究成果主要集中在信息系统质量评价，提出了不少评价模型。如McCall模型［2］、Boehm模型［3］、Perry模型［4］和Gillies模型［5］，以及由国际标准化组织提出的一系列软件质量模型，如ISO/IEC9126、ISO/IEC25010模型等。而对于大数据系统的评价研究正在进行之中，其中影响较大的是围绕CAP理论展开的研究。2000年和2012年，Brewer提出并完善了CAP理论，认为分布式系统应具备3个特性：一致性（Consistency）、可用性（Availability）和分区容错性（Partition Tolerance），并且论述了这3个特性之间的关系和取舍［6］。此后围绕CAP理论展开了激烈的讨论。如Abadi提出在大数据时代，分布式系统除了有C.A.P特性之外，还应该考虑到系统的响应时间［7］。

国内对于竞争情报系统评价的研究成果主要集中在以下3个方面：（1）绩效评价。张翠英，张静等根据竞争情报系统绩效的影响因素选择相应的技术指标体系，构建企业竞争情报系统灰色模糊评价模型［8］；邱均平等基于预期效用理论构建了竞争情报系统绩效评价指标和评价模型［9］。（2）软件系统评价。如侯丽从决策与情报系统的互动角度出发，探讨了情报系统三大子系统的评价方式，并构建了相应的竞争情报系统指标体系［10］；胡桓构建了竞争情报系统软件可用性测评体系，并针对国内三大竞争情报系统软件进行了实际测评并使用层次分析法对测评数据进行分析［11］；（3）成果评价。如张志千，赵继伦在分析企业竞争情报成果的类型及特点的基础上，从内容性、可用性、应用效果、用户满意度4个方面构建包含11个二级指标的评价体系，对企业竞争情报成果进行模糊综合评价［12］。

总的来说，国外研究成果比较多，但是这些评价模型总是想要以单个的模型广泛地应用于所有软件和信息系统的开发，显然难以直接应用于业务性很强的竞争情报系统评价中。国内的研究比较具有针对性，但是从文献调查的结果来看，目前大数据竞争情报系统的评价研究欠缺。而大数据无疑会给竞争情报系统带来巨大的冲击，因此，如何针对大数据竞争情报系统建立合适的评价指标体系和评价模型依然是一个开放的课题。

2 大数据对竞争情报系统性能提出的新要求

维克托・舍恩伯格在《大数据时代：生活、工作与思维的大变革》中明确指出，大数据时代人们对待数据的思维方式发生了3个方面的变化：全数据而不是样本数据、接受混杂性而放弃精确性、关注相关性而放弃追究因果关系［13］。这些思维变化给竞争情报系统提出了新的挑战，突出表现在以下几个方面：

2.1 高性能

大数据带来思维的第一个变化是全局思维：对全数据进行考察，发现趋势和主流，而不是深入样本数据进行局部探索。这对竞争情报系统性能提出了挑战：一方面，要有足够的容量来存储和处理全数据；另一方面，流程整合、信息挖掘和实时工作等新应用系统对竞争情报系统的带宽、响应时间、吞吐量等提出了更高的要求。高性能是竞争情报系统在大数据环境中生存的基础，既需要大数据竞争情报系统升级硬件产品，在系统容量上实现提升，也需要采取更符合大数据处理应用的数据计算逻辑，增强系统的弹性，提高资源的利用率。

2.2 容错性

大数据带来思维的第二个变化是容错思维：忽略数据不一致带来的分析结果不精确性，快速获得研究对象的发展趋势比精确度更重要。这要求竞争情报系统有足够的容错性来应对数据处理过程中因磁盘故障、网络故障、服务器故障等带来的数据不一致性，容许一定程度的错误与混杂，用概率看问题，站在更高的层面来观察和分析数据，获得支持决策的知识和洞察力。

2.3 智能性

大数据带来思维的另一个重大变革相关思维：关注相关性而不是追究因果关系。这意味着更多的创新，跳出原有的思维定式，从关联事物中找到突破口，孕育新的事物。这使得竞争情报系统也要跳出线性思维的运作模式，提高系统的智能性，采用云计算、机器学习、数据挖掘等智能技术，对海量的数据进行统计性的搜索、比较、分析、归纳，并对事物发展趋势和前景进行主动、立体、逻辑地分析，帮助人们提前发现事物的规律，预测事物进展的趋势，早人一步提出创新性的决策。

2.4 安全性

大数据作为企业最宝贵的核心资产，它的安全需要强有力的保障，避免病毒、攻击、非授权的访问与泄密。目前对大数据安全的也受到人们越来越多的关注，如2013年澳大利亚政府明确提出了将个人隐私保护和安全性作为衡量大数据处理系统的一个重要标准。作为企业决策支持系统，大数据竞争情报系统必须做到对企业敏感数据的安全监管，包括企业交易数据、合同信息等隐私或者敏感数据，有能力保护企业的敏感数据不被有意或无意的泄露出去。

3 面向大数据的竞争情报系统评价指标体系

竞争情报系统是一个应用性很强的综合系统，除了上述对大数据思维的考虑之外，还需要考虑竞争情报系统实际运行情况、情报保障能力以及使用者的感受考虑进去。下文先从竞争情报系统的构成出发，探讨竞争情报系统的评价思路，然后将大数据的特性考虑进去，在综合其他文献提出的指标的基础上，设计出大数据竞争情报系统的评价指标体系。

3.1 大数据竞争情报系统的评价思路

企业竞争情报系统是以人的智能为主导、以信息网络为手段、以增强企业竞争力为目标的人机结合的企业竞争战略决策支持与咨询系统［14］。由此可见，竞争情报系统由战略、技术和人3个方面组成：①竞争情报系统要服务于企业战略，要满足或者超越企业决策支持的期望和需求。②竞争情报系统是建立在信息技术基础上的软件系统，要有足够的技术支持才能胜任竞争情报任务，尤其是在大数据时代。③竞争情报系统的服务对象是人，包括开发者、管理者和使用者。

建设竞争情报系统的目的是以人为本，采用适当的信息技术，构建功能强大的软件信息系统，为满足和超越企业战略需求提供足够的情报支持。因此，我们不能仅从系统的技术性能表现来判断系统好坏，而要从多个角度来综合衡量：

（1）战略保障角度。主要考察竞争情报系统是否能够根据企业战略的具体要求，搭建竞争情报系统的功能构架，提供足够的竞争情报能力，满足或者超越企业决策支持的期望和需求。

（2）运行状态角度。主要考察竞争情报系统的技术性能状态。技术是竞争情报系统运行的基本保障，尤其是在大数据时代，必须要有足够的性能表现才能应对海量的复杂数据。在评价时，要深入到技术层面，考察各个功能模块的性能表现，从细节上衡量竞争情报系统的好坏。

（3）用户体验角度。主要考察管理者和用户对竞争情报系统的使用感受。竞争情报系统是一个人机结合的智能系统，人的感受是决定其效用的一个重要方面，同样也是进行系统评价时必不可少的一个方面。

根据上述描述，我们对竞争情报系统的评价思路进行了归结，如图1所示：

图1 大数据竞争情报系统的评价思路示意图

从评价过程来看，采用由表及里、主观评判与客观测量的评价策略。先评价静态的东西，考察竞争情报系统的功能构成，然后深入到每个功能模块，测量其性能表现，再从用户的角度，根据用户感受对系统进行补充评价。评价的主要目的是要改善和提高竞争情报系统的质量，因此，在评价过程中有内反馈、外反馈和跨域反馈，如图中虚线所示。其中，内反馈是指前向的直接反馈，如功能评价后，发现问题，反馈到情报规划层，修改或补充系统功能；外反馈是指从评价结果到大数据情报系统的反馈；而跨域则是不同的领域之间的相互反馈，如根据用户评价的结果，调整系统的技术指标等。

根据图1可知，该评价思路中有3个评价过程：

（1）功能评价。评价纸面上的东西，即评价竞争情报系统所具备的功能、数据处理类型、提供的文档、制定的流程和安全管理的规范等。

（2）性能评价。性能评价是对竞争情报系统的运行情况进行评价，该过程需要统计系统日常运行的记录数据，包括网络流量、响应时间、故障恢复时间等。这些因素是系统在运行过程中表现出来的特质，是系统性能状态的数据表征，较为客观地反映了系统的真实质量。相对来说，技术性能视角的评价更为科学、客观和颗粒度更细。

（3）用户评价。用户评价主要是从情报系统的使用者和管理者的视角来考查系统的质量问题，由管理者和使用者根据系统在竞争情报业务流程中发挥的功能效用的使用体验，对大数据竞争情报系统的质量进行评价。

3.2 大数据竞争情报系统的评价指标体系

由上节提出的评价视角和评价过程分析，我们将竞争情报系统的评价指标划分为3类：功能性指标、性能指标、用户指标。在这3类指标中，我们力图突出大数据的特性，提出符合大数据思维的竞争情报系统评价指标体系，如表1所示。

表1 大数据竞争情报系统的评价指标体系

3.3 评价指标的度量

从上述对评价思路、评价视角的分析来看，大数据竞争情报系统的评价与一般的软件系统评价有很大的区别：3.3.1 评价指标多层次多视角

大数据竞争情报系统的评价涉及到多个阶段，从总体到细节，由外至里，划分为3个不同的评价过程。每个评价过程涉及的因素众多，指标体系呈现多视角、多层次结构。

3.3.2 主客观评价相结合

除了技术性能中部分指标之外，其他指标为定性指标，有一部分指标需要依靠主观评价得出，如用户体验视角的评价指标。

对于客观指标，主要的手段为专项测试，针对大数据竞争情报系统的某个属性，采用专业技术进行单项测试，检验系统在某个功能上的性能表征。如系统的TB可以通过测量系统的平均等待时间内响应次数，然后除以测量次数，即可得到客观的数据值。表2是部分三级指标的度量方法。

表2 部分定量指标的度量方法（部分）

对于主观指标，主要手段有两种：专家打分和问卷调查。专家打分邀请竞争情报方面的专家和有丰富经验的竞争情报工作者对系统的功能、设计进行评分，然后采用层次分析法、灰色评价法或神经网络法进行综合评判；问卷调查则是将设计好的问卷发送给竞争情报从业人员，让其回答问题，根据回答问题的结果进行评分。专家打分表部分如表3所示。

表3 专家打分表（部分）

4 结束语

本文从战略保障、运行状态和用户体验3个角度出发，结合大数据思维对竞争情报系统的影响，在宏观、中观和微观层面建立了大数据竞争情报软件系统的评价指标体系。本文提出的评价指标体系将业务、技术和人对竞争情报系统的要求相结合，提取出不同的评价指标，能够较为全面地反映系统质量的特点。由于大数据本身的复杂性，评价指标体系对于大数据的特性体现得仍然不足。在今后的工作中，将继续深入探究大数据的特性，进一步完善评价指标体系，增强量化评价的可操作性，同时，统筹兼顾各指标间的内在联系和相互制约，研究建立综合量化的大数据竞争情报系统评估方法。

［1］黄晓斌，钟辉新．基于大数据的企业竞争情报系统模型构建［J］．情报杂志，2013，（3）：37－43．

［2］J McCall，P Richards，G Walters．Factors in Software Quality［R］．Technical Report CDRL A003，US Rome Air Development Centre，1977，（1）：1106－1113．

［3］B W Boehm，J Brown，H Kaspar，et al．Characteristics of Software Quality［A］．TRW Serious of Software Technology Vol 1［M］．New York：North－Holland，1978．

［4］W E Perry．Quality Assurance for Information Systems：Methods， Tools and Techniques［M］．New York：John Wiley&Sons，1991．

［5］A Gillies．Modelling Software Quality in The Commercial Envi－ronment［J］．Software Quality Journal，1992，（1）：175－191．

［6］Eric A．Brewer．Toward robust distributed systems［C］．Proceedings of the Annual ACM Symposium on Principles of Distributed Computing，Portland，July，2000，（19）：7－10．

［7］D.J.Abadi．Consistency Tradeoffs in Modern Distributed Database System Design：CAP is only part of the story［J］．Computer，2012，45（2）：37－42．

［8］张翠英，张静．灰色模糊评价法在竞争情报系统绩效评价中的应用［J］．情报科学，2010，（1）：81－85．

［9］邱均平，谢辉，李进华．竞争情报系统绩效综合评价研究［J］．情报科学，2011，（4）：481－486．

［10］侯丽．基于决策的情报系统评价指标体系构建［J］．情报理论与实践，2009，（1）：105－108，104．

［11］胡桓．基于层次分析法的竞争情报软件可用性评价［J］．情报科学，2010，（3）：434－437．

［12］张志千，赵继伦．企业竞争情报成果模糊综合评价研究［J］．图书情报工作，2014，（4）：53－58．

［13］维克托・舍恩伯格，库克耶．大数据时代：生活、工作与思维的大变革［M］．盛杨燕，周涛，译．杭州：浙江人民出版社，2013．

［14］包昌火，李艳，王秀玲．竞争情报导论［M］．北京：清华大学出版社，2011．

（本文责任编辑：郭沫含）

Research on Evaluation Index System of Competitive Intelligent System in Big Data Era

Wu Jinhong1Wang Cuibo2
（1．School of Management，Wuhan Textile University，Wuhan 430073，China；2．School of Management，South－Central University for Nationalities，Wuhan 430074，China）

In view of the fact that methods of competitive intelligence system evaluation do not reflect characteristics of big data，characteristics of competitive intelligence system based on big data are summed up according to three changes of thinking pattern made by big data．Then，the train of evaluation thought of competitive intelligence system based on big data is put forward according to the constitution of the competitive intelligence system．Furthermore，the evaluation index system of the competitive intelligence system based on big data，including function index，technique index and the user index，is established from the views of the strategic security，operation status and user experience．Finally，methods to measure the quantitative and qualitative index are discussed briefly．The proposed evaluation index system has characteristics of multi－level and multi perspective，which can provide references for the construction of competitive intelligence system based on big data．

big data；enterprise；competitive intelligence system；system evaluation；index system

10．3969/j．issn．1008－0821．2016．02．001

G250.25

A

1008－0821（2016）02－0003－05

2015－11－20

国家社会科学基金青年项目“基于大数据的产业竞争态势动态预警机制研究”（项目编号：13CTQ033）和“基于实时大数据的潜在新兴技术敏捷预测机制研究”（项目编号：14CTQ017）研究成果之一。

吴金红（1974－），男，副教授，博士，研究方向：竞争情报、大数据挖掘与智能信息系统。