基于Matlab语言的统计数据异常值检验

潘丽静

（1.渭南师范学院 数学系；2.渭南师范学院 统计科学与社会计算研究所，陕西 渭南 714000）

基于Matlab语言的统计数据异常值检验

潘丽静

（1.渭南师范学院 数学系；2.渭南师范学院 统计科学与社会计算研究所，陕西 渭南 714000）

从回归模型诊断的角度对统计数据中的异常值进行探测与分析，并基于Matlab语言，结合具体实例，给出回归诊断在统计数据异常值探测中的应用.

回归诊断；异常值；Matlab

评估统计数据的准确性是统计学研究的一个重要课题，在实际统计工作中遇到的数据常会出现下面的两种情况：一是单个变量的值过大或过小，明显偏离该变量大多数观测值；二是单个变量值虽未表现出异常，但却不符合变量间的结构和相关性，明显扰乱这种相关关系，我们称这种观测值为异常值[1].异常值是影响统计数据质量的一个非常重要的因素，因此如何发现和处理这些异常数据十分重要，文献[1-5]对统计数据质量的概念及统计数据质量评估的方法进行了讨论，本文利用Matlab软件采用残差分析的方法对统计数据中的异常值进行了检验.

1 残差分析理论

设线性回归模型为：Y=Xβ+ε，其中Y是由响应变量构成的n维向量，n×(p+1)阶设计矩阵，β是p+1维向量，ε是n维误差向量.

通过对残差和残差的置信区间进行分析，可以看出原始数据中是否存在异常点，若残差的置信区间不包括0点，可认为该组观测为异常点.

2 基于Matlab语言的回归诊断异常值检验程序

（1）调用regress函数作一元线性回归[b,bint,r,rint,s]=regeess(y,xdsta);返回系数的估计值、残差的估计值及估计值的95%置信区间、判定系数、F统计量的观测值和检验的p值.

（2）调用rcoplpt(r,rint)按顺序画出各组观测数据对应的残差和残差的置信区间.

3 应用举例

分析2010年全国31个主要城市的年平均气温与全年日照时数的关系，并分析异常值点.数据来源于中华人民共和国国家统计局网站2010年资源和环境统计数据.

经初步分析，可以建立以年平均气温为自变量，全年日照时数为因变量的一元线性回归模型，且该模型通过F检验，由程序输出结果知，常数项和回归系数项的估计值分别为3.138×103和-72.5957，从而得线性回归方程为Y赞=3031.8-72.5957x，回归系数的估计区间为[-102.1742,-43.0173].

其原始数据散点与回归直线图，原始数据残差及置信区间图和剔除异常值后的回归直线图如下：

图1

图2

图3

图1是原始散点及回归直线图，从图形上看，第22、23、24和26号样本点明显偏离其他样本点；图2是原始数据残差及置信区间图，从图形上看，有三个样本点的残差置信区间不包含0点，它们对应得观测序号分别23、24和26，可认为这三组观测数据为异常数据，这和从散点图上直接观察的结果基本吻合.它们分别是成都（17.0，689.0），贵阳（14.6，1021.5）和拉萨（10.0，3134.2），这可能是受到它们所处地理位置的影响；图3是原始数据散点、原始数据对应的回归直线和剔除异常数据后的回归直线，由于受异常数据影响，两次回归结果并不相同.

〔1〕赵慧,甘仲惟,肖明.多变量统计数据中异常值检验方法的探讨[J].华中师范大学学报,2003,37(2):133-137.

〔2〕王怀亮.回归诊断在统计数据异常值探测中的应用[J].黑龙江对外经贸,2011（2）:118-119.

〔3〕卢二坡,黄炳艺.基于稳健MM估计的统计数据质量评估方法[J].统计研究,2010,27(12):16-22.

〔4〕刘洪,黄燕.我国统计数据质量的评估方法研究-趋势模拟评估法及其应用 [J].统计研究,2007,24（8）.

〔5〕许永洪.统计数据质量的基本概念与数据质量评估的基本模型[J].商业经济与管理，2010（12）.

〔6〕李海涛,邓樱.MATLAB 程序设计教程[M].北京：高等教育出版社,2007.9.

O212.3

A

1673-260X（2012）11-0005-02

国家统计局项目（2011LY030），渭南市科技计划项目（2011YKJ-2）