数据挖掘在财务危机预警的应用研究

禹久泓 ，王海平，汪 蓉

（1.苏州大学，江苏 苏州 215006；2.中国生产力学会，北京 100097）

一、研究背景

运用财务比率预测企业经营危机的研究始于 1930 年代的 Smith 和 Winkor（1930，1935）。此后依次出现了Beaver（1966）的单变量分析法，Altman（1968）的多变量分析法和判别分析法（MDA）、Ohlson（1980）的 Logit模 型 、Zmijewski（1984）的Probit模型、Coats和 Fant（1993）的神经网络技术等。

Altman（1968）基于部分财务比率之间有时会存在相关性并且对各个比率的重要性没有进行区分，对传统上使用所有可获财务比率来预测企业危机的方式提出了质疑。所以，Altman先利用判别分析法，从22项财务指标中提取出5项具有预测能力的财务指标（营运资本/资产总额，保留盈余/资产总额，息税前利润/资产总额，（普通股 +优先股市场价值）/负债价值和销售收入/资产总额），并进行建模分析。Altman的Z-score计分模型至今在国内外应用仍然非常广泛。曹明等（2006）通过实证发现决策树算法相对于Z-score计分模型对于财务危机预警有更高的准确率。

财务风险暴露往往已经是总体风险暴露的最后阶段，即所有潜在的问题都开始显现并通过财务风险的形式暴露出来。其实，通过数据挖掘可以在早期抓取出能预测到潜在的财务风险的数据，因为潜在的问题在早期通常显现在非财务指标或者是难以量化的指标（比如道德风险，代理成本）上，所以目前还很少有针对此类的研究。平衡记分卡思想是最早考虑到除去财务指标以外，非财务指标对公司也有着举足重轻地位的一套理论。

二、数据挖掘技术的方法介绍

数据挖掘技术是相对年轻的技术，尤其当下大数据和云计算日渐成为热门话题，数据挖掘技术得到了越来越的关注。1989年8月在美国底特律召开的第十一届国际人工智能联合会议IJCAI中，举行了世界上第一次关于数据库中的知识发现专题讨论，1991—1994年每年召开一次关于KDD（Knowledge Discovery in Databases）的讨论专题。第一届关于知识发现与数据挖掘国际学术会议于1995年在加拿大蒙特利尔召开。随后几年有关数据挖掘方面的会议和期刊逐渐增多，例如：Journal of Data Mining and Knowledge Discovery（1997）、1998ACM SIGKDD会议等。目前，数据挖掘逐渐成为许多知名国际学术会议和期刊关注的焦点，主要包括：PAKDD，PKDD，TKDD，SIAMData Mining，（IEEE）ICDM，数据仓储与知识发现（Data Warehousing and Knowledge Discovery），SPIEDM等等。

数据挖掘首先要对数据进行清理，去除其中的异常数据，然后对数据进行选择和集成，再通过适当的变换将数据转变为适合数据挖掘的类型，最重要的一步是选择合适的数据挖掘方法寻找数据中的规则，最后通过模式评估和知识表示将数据中隐藏的模式和规律展示出来。数据挖掘的方法主要包括以下几种：

1.分类和预测：分类挖掘是将大量数据按照建立的模型进行区分的方法，可以将数据分成多个类别；预测是通过建立连续值函数模型，对未来的数据的发展趋势进行预测的一种方法。决策树、贝叶斯分类、规则推理、遗传算法和神经网络都是数据挖掘中的分类算法。

2.聚类：聚类挖掘是根据实例属性值的相似程度自动汇聚后再按类别进行分析。

3.关联规则：关联规则挖掘是用于发现隐藏在事务数据集或关系数据集中对用户有用的或有意义的联系。

4.时间序列：时间序列挖掘是对不同时间重复测量得到的值或事件的序列对象进行挖掘，期望对数据的趋势性变化进行分析的方法。

5.其他：针对复杂数据类型如图形图像、视频、Web等进行的挖掘。

研究者们在财务危机预警方面已经作了大量的研究工作，使用的标准工具是判别分析和logit模型。在模式匹配的条件下，ANN的分类和预测能力可以改进相应的传统统计方法。Tam和Kiang还指出在适应性、稳健性和处理多峰分布能力等方面，ANN为分类技术提供了一个可选择的比较方法。此类运用还有很多，比如Altman、Macro和Varetto（1994）通过对 1982—1992年超过 1000家的健全、脆弱、不健全的意大利工业公司是否处于公司困境进行了判断，得出结论认为线性判别分析和ANN结合可以提高准确度并还具有其他有利特性。

三、企业财务风险

企业财务风险的概念包括广义财务风险和狭义财务风险，狭义财务风险是因举债融资而导致企业在未来无法偿还到期债务给企业财务成果带来的不确定性。广义财务风险是在企业的各项财务活动中，由于各种不确定因素的影响，在一定时期内使企业财务结果与预期收益发生偏离，因而造成企业蒙受损失的机会和可能。狭义财务风险主要是指企业的筹资风险，广义财务风险由于人们对它的认识不完全相同，包括的内容也不尽相同，一般包括以下内容：筹资风险、投资风险、现金流量风险、存货风险、利率风险、汇率风险等。

欧美方发达国家在企业风险管理的理论实践上已有一套完整的体系。对风险管理的重视始于20世纪初，欧美国家时常爆发经济危机，政府为了加强对宏观经济管控，开始研究并定期发布“经济晴雨表”。其中：美国哈佛大学教授珀森所编制的“哈佛指数”、巩固经济研究所编制的反映英国经济景气状况的指示器——“英国商业循环指数”、德国的经济景气研究所定期发布“德国一般商情指数”。“经济晴雨表”在20世纪初成为政府发展经济和管理企业风险的重要手段。随着战后经济复苏与腾飞，人们更加关注企业经营成果和对财务风险管理绩效评价，杜邦公司利用财务比率指标之间的联系，建立了全面评价企业风险并能够帮助企业作出决策的一套理论。1992年COSO委员会发布《内部控制——整体框架》专题报告，1994年COSO委员会又发布了增补报告。COSO报告为企业风险管理与内部控制提供了的完整的立体框架和评价标准，同时它将风险评估、信息与沟通作为基本构成要素引入内部控制领域。针对2001年前后美国安然公司、施乐公司等财务信息丑闻频发的情况，COSO委员会于 2004年发布了全新的《企业风险管理——整合框架》（Enterprise Risk Management-Integrated Framework）报告。至此，美国等西方发达国家在企业风险管理的理念、技术、方法和手段等方面已经有了一套完整的体系。

我国市场经济体制起步较晚，市场经济环境发育还不健全。然而随着经济全球化的发展，国内企业在市场竞争中将面对各种各样的风险，如何辨识、评估、监测、控制风险，已是我国企业发展道路上必须面对的问题。2006年国资委借鉴发达国家有关企业风险管理的法律法规以及国外先进企业在风险管理方面的做法，发布了《中央企业全面风险管理指引》，为我国央企制定风险管理手册，对于央企建立健全风险管理机制，促进央企稳步发展，防止国有资产流失，保护投资者利益，具有积极的意义。

企业财务危机预警是充分利用现代企业风险管理理论的研究成果和现代信息技术，以财务数据为基础资料，对企业日常经营管理活动中存在的财务危机信息进行收集、分析、判断，最后根据危机程度进行预警的一种技术。

企业财务危机预警的研究最早起源于20世纪 30年代的美国经济大萧条时期，Fitzpatrick（1932）运用单变量分析（Single Variable Analysis）对企业财务危机进行预测，他是运用单个财务指标进行预测，开创了财务危机预警实证研究的先河。60年代的美国学者阿特曼运用多变量分析模型（Multiple Variable Analysis Model）探讨公司财务危机预警，他运用Z-score模型建立多元线性函数公式预测财务危机。70年代Meyer和Pifer（1970）运用线性概率模型（Line Probability Model，LPM）分析银行业的财务危机预警，线性概率模型是多变量分析模型的一个特例，能估计企业破产的概率，后来 Laitinen（1993）等学者将 LPM运用于企业财务危机。随着计算机技术和人工智能技术（Artificially Intelligent，AI）的不断发展和企业市场竞争环境的变化，企业需要面对多变的市场竞争环境，财务危机预警模型必须随着企业的生产经营状况和财务状况作相应的调，从而保证预警模型的判别规则适合当前的市场环境，为此，一些学者开始使用AI方法构建财务危机预警模型。例如：朱怀意和高涌（2002）将人工神经系统引入了危机预警系统，设计了核心能力战略危机预警系统，用于及时发现和预见偏差以便实施控制，保证核心能力战略的可持续性和高效性。任华和徐绪松（2003）引用模糊优选和BP神经网络，对数据分析子系统和报警子系统进行了理论推导和设计，构建危机预警指标体系。刘恒江和陈继祥（2003）依据企业经营方向、外部环境和内部实力三维向量与战略及其效果的关联分析，建立战略危机预警指标及预警系统。何杰和丁智慧（2005）从财务危机发生前的前兆入手，在中小企业板块建立财务危机预警机制。陈晓（2000）是国内研究财务危机预测最早的学者之一，他基于国内资本市场的特殊性，在重新定义财务困境和数据源的选取的基础上建立逻辑回归模型进行财务危机预测。吴俊杰（2006）介绍了数据挖掘技术的另一种方法——决策树方法，同比较逻辑回归、神经网络和决策树在我国上市公司财务困境预测问题上的优劣发现决策树在预测准确率、波动性及可解释性上具有综合优势。

综上，现有的企业财务危机预警模型不足之处主要表现为以下三方面：（1）运用人工智能的方法存在限制条件多、结构不固定的缺点；（2）运用危机征兆分析方法，割裂了定性分析和定量分析，影响了预测结果的准确性；（3）模型的建立主要依赖财务指标，忽略非财务指标的领先预测作用。

面对日益激烈的市场竞争，传统的财务危机预警模型不能较早发现企业的危机信号，因此建立基于数据挖掘的企业财务危机预警系统将会是一件很有意义的事情。本文的主要贡献如下：（1）通过文献查阅介绍了在财务风险管理和数据挖掘方法已有的研究结果，经研究思考后将决策树算法运用到企业财务危机预警和风险控制；（2）提出了从项目的角度判断财务危机预警信号，通过数据挖掘提取并量化更多有效的非财务指标，并对此进行了决策树建模。

四、财务危机预警模型

一般说来，财务风险包括：资金结构与现金流风险、会计核算与流程的风险、会计及财务报告风险。本文主要研究的财务危机只考虑来自资金结构与现金流风险（或者流动性风险）。更具体的说，我们将会从项目的角度进行分析，如果企业的现金流少于某个临界值、无法及时获得贷款或者融资不够，为我们认为企业陷入财务危机。

对Holmstrom和 Tirole（1997）中的企业家模型稍作调整和扩展，建立扩展的固定投资模型：企业家（也叫“借款人”或者“融资人”，此模型中的企业为有限责任公司）有一个项目，在第0期时，项目需要固定投资I。企业家拥有初始资产（也可以称为“现有资金”或者“净资产”）A＜I。模型中，假定这些资产是现金或者股票，可以抵消投资的成本。企业家的现金即可以用来投资于项目，也可以用来消费。为了项目顺利实施，企业家需要从投资者处贷款或者融资I-A。

在第1期时，投资产生确定的可验证收入τ≥0。要持续经营，还需要再投资数量ρ，ρ在事前是不知道的，其累积分布函数记为F（ρ），密度函数为[0，∞]上的f（ρ）。这里，假定第1期的收入是确定的，而再投资需要是随机的。如果企业家没有再投资ρ，那么企业就要面临破产清算，清算值为0。

如果获得再投资，第2期项目实施，可能会成功：产生R＞0的可验证收入；也有可能会失败——不产生收入，即R=0。将项目成功的概率记为p。

此外，项目受道德风险约束。企业家可以尽职（“工作有效”、“努力付出”、“不谋私”）或者卸责（“工作无效”、“偷懒”、“谋私”）；或者企业家可以进行选择：其他条件不变，是选择成功率比较高的项目，还是选择成功率比较低但是他喜欢的项目（易于实施、对朋友或者亲属有利、将来能为企业家派生出更多副产品、产生在职消费，等等）。当企业家尽职时，成功概率为p=pH，此时企业家没有私人收益；当企业家卸责时，成功概率为p=pL＜pH（显然，企业家的卸责会降低原项目的成功概率），此时企业家有私人收益B＞0（以会计单位衡量）。记 Δp=pH-pL。

假设企业家和潜在的投资者（或“放贷者”）都是风险中性的；并假设投资者没有时间偏好，其预期收益率与其无风险收益率相同，为0。由于企业家受有限责任的保护，因此收入不可能为负。

关于贷款合约。合约首先需要确定，该项目是否进行了融资。如果是，合约需要进一步确认借款人和放贷者如何分享利润。企业家的有限责任意味着，如果项目失败，双方的收益为0（不考虑过去的投资和私人收益）。直觉上讲，规定放贷者对借款人进行正的转移支付没有意义，因为这种转移支付在风险中性的情况下没有任何保险收益，只能弱化激励。如果成功，双方分享利润R，企业家分得Rb，放贷者分得R1。

因此放贷者的净收益在项目成功的情况下为R1-（I-A）；在项目失败的情况下为 -（I-A）。企业家的净收益在项目成功的情况下为Rb-A，在项目失败的情况下为-A。并且为企业家设定如下的激励机制：项目成功，获得收益Rb；项目失败，获得收益 0。

假定放贷者的贷款利润为0，因此有：

假定贷款协议使得企业家选择“尽职”，名义利率r由下式给出：

我们不妨假设，只有在不存在道德风险的情况下，项目可行，即只有在企业家尽职的情况下，项目才具有正的净现值，亦即：

如果企业家卸责，企业家会获得私人收益，项目仍然具有负的净现值，即：

容易看出，则可以改写为：

因此，激励企业家卸责的贷款不会获得批准。并且，在企业家卸责的情况下，或者放贷者会预期到资金损失；或者企业家通过消费现金获得福利改善；或者以上两种情况会同时发生。

如果下式“激励相容约束”得到满足，借款人将会选择尽职：

从这一激励相容约束我们可以推断出，在不减少企业家激励的情况下，项目成功时能够保证给放贷者的最高收入为R-，于是，预期的可保证收入为：

为了使投资人愿意为项目投资，必须使投资人收支相抵，因此企业家获得贷款的必要条件是预期的可保证收入要大于放贷者的初始费用：

上式表示放贷者的个人理性约束。由上式，融资发生的必要条件为：

显然，企业家不可能在身无分文的时候获得信贷，因此我们假设：

从上式也可以看出，净现值小于必须留给企业家以激励期尽职的最小期望值。

因此，企业家必须拥有足够的资产，才能获得贷款或者融资。注意，如果A＜A，项目有正的净现值，但是仍然不能获得融资。在资产不足的情况下，企业家必须大量贷款或者融资，于是必须在项目成功的情况下获得的大部分收益进行抵押。因此，企业家只能保留货币收益的一小部分，也就失去了动力。从而双方无法达成既能促使企业家努力，又能使得放贷者收回投资的贷款协议。这就是信贷配给问题，即一个受到配给限制的企业家可能愿意将受益的大部分都给投资人，这等同于愿意支付高利率。但是，投资人或者放贷者不愿意借出这笔钱。

并且该利益会使他选择尽职。关于临界值A¯有一个自然的解释。如上式，pHB/Δp不过是所期望的留给企业家以激励的最小货币支付，这里称之为代理租金。企业家必须有一笔至少为A的初始投入，以便能将扣除初始投入后的代理租金，降低到最多等于项目的货币利润 pHR-I。

在τ=0，ρ=0，F取峰值时，运用放贷者的收支相抵条件（pHR1=I-A），我们得到，企业家获得的收益为：

ρ≠0时，假定初始合约可以规定对每个ρ的值，企业有继续经营或者破产清算两种可能性。直观上看，只要代价不高，持续经营是最优的：

其中，ρ*表示临界值。

由于投资者之间的竞争会导致他们无法获得剩余利润，所以我们这里令企业家的利润等于NPV。我们假定，在持续经营情况下，最优合约能够使得企业家尽职经营。于是，此时企业家的利润为：

其中，第一个方括号表示预期收入，第二个方括号表示总投资（初始投资加上预期再投资）。

五、基于决策树的企业财务危机预警

企业财务危机预警的理论是一个包含多学科的综合性理论，它是一个涵盖企业风险管理、项目投资管理、动态信息技术、数理建模等多学科的知识。企业财务危机预警的研究就是要针对财务指标的波动挖掘其中具有信任度高的规则，当指标波动超出一定的范围，系统就应该发出预警。首先，建立企业财务危机预警理论体系，内容包括：企业财务危机的界定、形成的路线图、企业生命周期理论、财务危机的发展趋势分析和企业财务危机的预警程序。其次，建立企业财务危机预警指标体系，危机预警指标体系不仅包括财务风险分析指标。鉴于基于财务数据的危机预警体系已经较为完善，本章将不再介绍和深入研究。本节将主要针对现金流，融资额度等项目投资相关的指标，进行数据重构得到适合数据挖掘的数据集，寻找财务指标之间的规则和预测危机企业的发展趋势。

决策树是一种由节点和又向边组成的层次结构，一般包含三种节点：（1）根节点：没有入边，但有零条或多条出边；（2）内部节点：恰有一条入边和两条或者多条出边；（3）叶节点或终结点：恰有一条入边，没有出边。

从树的根节点开始，将测试条件用于检验记录，在根据测试结果选择适当的分支。沿着这个分支达到另一个内部节点，使用新的测试条件，或者到达一个叶节点。到达叶节点后，叶节点多代表的类项名称就会被赋值给该条检验记录。

使用Hunt算法，Hunt算法是很多决策树算法的基础，包括ID3、C4.5和CART。在Hunt算法中，通过训练记录相继划分成较纯的子集，以递归方式建立决策树。设Dt是与节点t相关联的训练记录集，y={y1，y2，…，yn}是类标号，Hunt算法的递归定义如下：（1）如果Dt中所有记录都属于同一类yt，则 t是叶节点，用 yt标记；（2）如果 Dt中包含属于多个类的记录，则选择一个属性测试条件，将记录划分成较小的子集。对于测试条件的每个输出，创建一个字节点，并根据测试结果将Dt中的记录分布到子节点中。然后对于每个子节点，递归使用该算法。

本文主要从企业外部环境、道德风险和企业现金是否充足以及是否拿到足够融资四个层面判断企业是否处于财务危机状态。企业财务危机预警触发条件将会作为属性测试条件和节点嵌入模型中。

1.依据前文构建的扩展固定投资模型，首先考虑外部环境对企业状态的影响：

（1）好的状态（出现概率为pH）。外部环境因素很好，不管企业家付出多少努力，项目都会成功。

（2）坏的状态（出现概率为pL）。外部环境因素恶劣，即使企业家尽最大努力，项目都不会成功。

（3）中间状态（出现概率为 Δp=pH-pL）。不能保证成功，也不会注定失败，只要企业家付出努力，项目就有可能成功。

当外部状态转而变为坏的状态时，财务危机预警触发；其中pH、pL通过对众多企业的数据挖掘获得。

2.道德风险层面：一旦发现企业家卸责，财务危机预警触发。

3.现金流与流动性风险层面：当企业的拥有的现金少于临界值时，财务危机预警触发。

4.融资层面：当融得的资金小于临界值时，财务危机预警触发；其中函数通过对众多企业的数据挖掘获得。由此可见我们要构建的决策树除根节点外将一共有24个节点。

决策树的变量可以有两种：

（1）数字型（Numeric）：变量类型是整数或浮点数，如前面模型中的“现金”。用“＞=”，“＞”，“＜”或“＜=”作为分割条件（排序后，利用已有的分割情况，可以优化分割算法的时间复杂度）。

（2）名称型（Nominal）：类似编程语言中的枚举类型，变量只能重有限的选项中选取，比如前面例子中的“外部环境状态”，只能是“好”，“坏”或“中间”。使用“=”来分割。

决策树构建的基本步骤如下：（1）开始，所有记录看作一个节点；（2）遍历每个变量的每一种分割方式，找到最好的分割点；（3）分割成两个节点t1和 t2；（4）对 t1和 t2分别继续执行 2～3 步，直到每个节点足够“纯”为止。

最佳划分的度量：设k（i|t）表示给定节点t中属于类i所占的比例，有时我们省略节点t，直接用ki表示该比例。在两类问题中，任意节点的类分布都可以记作（k0，k1），其中 k1=1-k0。选择最佳划分的度量通常是根据划分后子节点不纯性的程度。不纯性的程度越低，类分布就越倾斜。不纯性的度量包括：

以上三种度量方式均是值越大，表示越“不纯”，越小表示越“纯”。实践证明三种公司的选择对最终分类准确率的影响并不大，一般使用熵公式。另外为了确定测试条件的效果比较父节点在划分前的不纯程度和子节点在划分后的不纯程度，两者的差值越大，测试条件的效果就越好。

六、本文结论与展望

针对传统统计工具需要诸多假设，对于海量数据无法充分利用并常常局限于财务数据；以及过去多数财务危机预警模型没有考虑财务指标的时间延续性从而无法跟踪财务指标的波动和变化趋势等问题。本文提出了从项目投资的角度进行财务危机预警方法，提出了从项目的角度判断财务危机预警信号，通过决策树算法找到该企业所在行业的参数值如pH，pL等，从而判断是否触发预警信号。根据时间序列建立动态维护的企业财务危机预警模型，对一段时间内的财务指标进行数据挖掘，对想要的挖掘结果进行调整，寻找符合要求财务危机预警指标频繁模式和规则数目，并分析最终挖掘结果，总结引起企业财务危机的真正根源。期待本文的研究工作可以为中小创业公司和上市公司管理财务风险提供参考。

[1]Smith Raymond F.，Arthur H.Winakor.A test analysis of unsuccessful industrial companies[J].University of Illinois，Bulletin 1930（31）：11.

[2]Smith，Raymond Frank，Arthur Henry Winakor.Changes in the financial structure of unsuccessful industrial corporations.University of Illinois，1935.

[3]Beaver，William H.Financial ratios as predictors of failure[J].Journal of accounting research，1966：71-111.

[4]Altman，Edward I.Financial ratios，discriminant analysis and the prediction of corporate bankruptcy[J].The journal of finance，1968，23（4）：589-609.

[5]Ohlson，James A.Financial ratios and the probabilistic prediction of bankruptcy[J].Journal of accounting research，1980：109-131.

[6]Zmijewski，Mark E.Methodological issues related to the estimation of financial distress prediction models[J].Journal of Accounting research 1984：59-82.

[7]Coats，Pamela K.，L.Franklin Fant.Recognizing financial distress patterns using a neural network tool[J].Financial Management，1993：142-155.

[8]Meyer Paul A.，Howard W.Pifer.Prediction of bank failures[J].The Journal of Finance，1970，25（4）：853-868.

[9]Laitinen L.A.，A.Laitinen，T.Haahtela.Airway mucosal inflammation even in patients with newly diagnosed asthma[J].American Review of Respiratory Disease，1993，147（3）：697-704.

[10]Holmstrom，Bengt，Jean Tirole.Financial intermediation，loanable funds，and the real sector[J].The Quarterly Journal of economics，1997：663-691.

[11]Froot，Kenneth A.，David S.Scharfstein，Jeremy C.Stein.Risk management：Coordinating corporate investment and financing policies[J].The Journal of Finance，1993，48（5）：1629-1658.

[12]禹久泓.中国私募股权投资决策财务统计论[M].北京：中国财政经济出版社，2014.