最小二乘估计的性质

陈佳妮

(哈尔滨远东理工学院)

最小二乘估计的性质

陈佳妮

(哈尔滨远东理工学院)

估计线性模型中的回归参数的基本方法就是最小二乘法，鉴于最小二乘估计在实际生活中的作用及其地位，就最小二乘估计的性质进行分析.

线性模型；最小二乘估计；性质

0 引言

经典线性回归模型[1]自创立以来，无论是在医学，还是在科研中，亦或是实践中都得到了广泛的应用，并取得了相当大的成果.线性回归模型中的回归系数的估计问题一直是众多学者研究分析的课题，其中最原始也是最基本的估计方法就是“最小二乘估计”[2].最小二乘法是一种数学优化技术，又称作“小平方法”，它通过最小化误差的平方和寻找数据的最佳函数匹配，以达到最终解决问题的目的.作为回归参数估计的最基本方法，最小二乘估计在统计学、计算数学、运筹学以及控制论中都占有重要的地位.该文主要介绍最小二乘估计的基本方法，并对最小二乘估计的性质[3]进行研究.

1 最小二乘估计的原理

首先给出一个线性模型.因变量Y与对其有影响的m个自变量X1,X2,…,Xm具有如下的线性关系[4]：

Y=β0+β1X1+…+βmXm+ε

yi=β0+β1xil+…+βmxim+εi,i=1,2,…,n

其矩阵形式为：

将此矩阵简化等价于：

Y=Xβ+ε

那么估计参数β的最基本方法就是最小二乘法，其原理为使得‖Y-Xβ‖2达到最小，通过求偏导[5]得到参数估计：

2 最小二乘估计的性质

最小二乘估计具有很多优良的性质，正是因为如此，奠定了其在回归参数估计中的地位，本节主要介绍其几个重要性质.

(X′X)-1X′E(Y)=(X′X)-1X′Xβ=β

证毕……