基于Logistic回归变量筛选的BP神经网络及应用

朱贺　张帆

摘要摘要：BP神经网络是一种使用非线性可导函数作为传递函数的前馈神经网络，具有较高的精确度，但过多的预测变量会影响BP神经网络的准确性。采用Logistic回归变量筛选方法能在一定程度上提高分类准确性，提高模型效率。对2013年沪深两市A股分类评级进行了研究，证明基于Logistic回归变量筛选的神经网络提高了两极类别分类的准确性。

关键词关键词：BP神经网络；Logistic回归；变量筛选

DOIDOI：10.11907/rjdk.151010

中图分类号：TP301

文献标识码：A文章编号文章编号：16727800（2015）004003504

0引言

人工神经网络的数据拟合是通过对输入和输出的分析，来更新各神经元间的连接权重，是一种非线性的统计模型，具有较高的精确度[1]。但是，对于多种因素共同决定的复杂问题来说，由于影响因变量的预测变量过多，将全部预测变量加入模型进行分析，一些重要性较低的变量噪声就会影响整个模型的精度，达不到分析效果[2]。由此，本文提出一种优化的基于Logistic回归变量筛选的神经网络分析方法。

1原理

1.1BP神经网络

BP神经网络是一种基于有监督的学习、使用非线性可导函数作为传递函数的前馈神经网络[3]。BP神经网络具有较强的非线性映射能力、较高的自学习和自适应能力、将学习成果应用于新环境和新知识的能力以及相当的容错能力[4]。

BP算法（Error Back Proragation）学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层[5]。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据[6]。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止[78]。如图1所示，向量X为输入层输入向量，向量Y为隐层输出向量，向量O为输出层输出向量，矩阵V为输入层到隐层之间的权值矩阵，矩阵W为隐层到输出层之间的权值矩阵。

1.3基于Logistic回归变量筛选的BP神经网络实现方法

使用IBM SPSS Modeler 15.0构建模型[11]。用Logistic回归分析方法拟合数据，提取出符合变量筛选条件的预测变量[12]。构建Logistic回归模型时使用分区数据并为每个分割构建独立的模型；选用多项式过程，变量提取方法使用步进法并使用主效应模型，目标基准类别使用第一类别，迭代次数上限为20次。挑选出满足给定显著水准的预测变量后，将这些预测变量加入数据流作为BP神经网络输入层变量，目标选择创建标准模型，并使用BP算法建立MLP神经网络模型，停止条件为最大训练时间10分钟，防止过度拟合集合设为30%。使用上述权值调整算法建立神经网络进行分类分析，具体模型如图2所示。

2实例分析

股票评级是股票资信评估的一个重要项目，它可以为投资者提供股票的风险信息，降低投资者的风险成本，是投资者决策的重要依据[13]。由于股票价格受到政治、经济、社会等多种因素影响，使用传统的模型拟合往往无法达到令人满意的效果[14]，本文提出的模型正好能解决此难题。

2.1数据准备

选取2013年度上证A股、深证A股所有股票，导出2013年1月4日至2013年12月31日间股票交易数据，并从锐思数据库、中国证券报网站、新浪财经数据中心等平台汇总上市公司四季度报（年报）数据。其中年报数据保留盈利能力（包括净资产收益等7项指标）、运营能力（包括应收账款周转率等6项指标）、成长能力（包括主营业务收入增长率等6项指标）、偿债能力（包括流动比率等6项指标）、现金流量（包括现金流量比等5项指标），共计30项财务分析指标。

2.2数据清理

由于样本含量足够大，将近2 500例，对于存在缺失值的实例，将整条数据删除，不作分析使用。

2.3数据变换及离散化

（1）考虑到个别股票在2013年度存在除权除息，如果直接按市场价格计算股票涨跌幅，就会偏离实际情况，因此对这部分股票需要按实际收益计算其涨跌幅度。

（2）计算出年度股票涨跌幅后，将其离散化处理，涨跌幅（-∞，-20%]，（-20%，0%]，（0%，20%]，（20%，+∞）分别离散为0，1，2，3四个数值。

2.4数据集成

将股票价格及涨跌数据，上市公司财务指标数据集成至一个数据库，最终得到有效数据1 856例。

2.5建立模型

构建Logistic回归模型，以步进法通过似然比统计筛选得到7个预测变量，如图3所示，再用此7个预测变量构建人工神经网络模型如图4所示。对照模型使用未使用变量筛选的人工神经网络。构建模型时，训练数据占80%，测试数据占20%。

2.6实验结果

评级总正确率较未使用变量筛选的模型，在培训和测试数据分区分别有了1.5和3个百分点的提高，分别为48.64%和50.52%；在评级=0时分别有了21和28个百分点的提高，分别为60.61%和64.63%，从ROC下方面积可以清晰看到这个变化，如图7、图8所示；在评级=3时培训分区有了5个百分点的提高，为82.8%，测试区没有提高。但在评级=1或者评级=2时正确率却有了不同程度的下降。

2.7实验结果分析

使用Logistic回归筛选变量后的BP神经网络在对股票进行评级时，其评级正确率在涨幅最大区域因原模型准确率已高达77%，提升幅度不是特别大，但在跌幅最大区域却有了显著提高。其原因在于筛选后的变量扩大了影响程度较大的变量的影响，缩小了原有影响程度较小的变量产生噪声的影响，使处于涨幅极端的两类因变量特征更加明显，其分类正确率自然会有提升。而对于处于涨幅中间区域的两类因变量来说，因其涨跌幅较小，各种自变量的影响相互博弈，删减自变量，对其正确分类必然产生较大影响，降低了分类正确率。但在实际生活中，人们关心的往往是如何使利益最大化，并尽可能减小风险成本。因此，本文所提出的模型价值显而易见。

3结语

股票分级实验证明，基于Logistic回归筛选变量后的BP神经网络在保证总体分类正确率稳步提升的同时在极大、极小分类正确率上也有了显著的提高。因此，在对极值分类有较高要求且预测变量较多的应用领域，此模型可作为一种分类参考，以提高分类效率。

参考文献参考文献：

[1]SONG Y P， PENG X Q. New structure adapting neural network and its training method[J]. Control and Decision，2010，25（8）：12651268.

[2]韩玲.基于人工神经网络—多层感知器（MLP）的遥感影像分类模型[J].测绘通报，2004（9）：2931.

[3]韩力群.人工神经网络教程[M].北京：北京邮电大学出版社，2006.

[4]LI Y， WANG Z， AO Z G， et al.Optimization for breakout prediction system of BP neural network[J]. Control and Decision， 2010，25（3）： 453456.

[5]LUENGO J，GARCIA S，HERRERA F.A study on the use of imputation methods for experimentation with radial basis function network classifiers handling missing attribute values： the good synergy between RBFNs and EventCovering method[J].Neural Networks，2010，23（3）：406418.

[6]卫敏，余乐安.具有最优学习率的RBF神经网络及其应用[J].管理科学学报，2012（4）：5057.

[7]LIU Y Y， STARZYK J A， ZHU Z. Optimized approximation algorithm in neural networks without overtting[J].IEEE Transactions on Neural Networks，2008，19（6）：983995.

[8]徐富强，刘相国.基于优化的RBF神经网络的变量筛选方法[J].计算机系统应用[J]，2012（3）：206208.

[9]石庆焱.一个基于神经网络—Logistic回归的混合两阶段个人信用评分模型研究[J].统计研究，2005（5）：4549.

[10]谢远涛，杨娟，王稳. Logistic与分类树模型变量筛选的比较——基于信用卡邮寄业务响应率分析[J].统计与信息论坛，2011（6）：96101.

[11]王国平，郭伟宸，汪若君.IBM SPSS Modeler数据与文本挖掘实战[M].北京：清华大学出版社，2014.

[12]徐璐.判别分析Logistic回归和BP神经网络在二分类问题中的模拟对比[J].中南财经政法大学研究生学报，2012（2）：5964.

[13]郑睿颖，伍应环.神经网络在股票价格预测中的研究[J].计算机仿真，2011（10）：393396.

[14]黄亦潇，邵培基，李菁菁.基于信息扩散原理运用人工神经网络识别股票级别[J].中国管理科学，2004（5）：611.

责任编辑（责任编辑：杜能钢）