基于密度核估计的最大熵方法改进探析

卢钰坤 宋向东

摘 要：基于最大熵方法的随机变量统计模型，可以确定出一个含有最少主观假定的分布。针对传统最大熵方法在拉格朗日优化计算中存在的全局优化困难、求解精度不高等问题，提出了一种基于“核密度+逐次叠加法”求解最大熵的方法。通过验证，对密度核估计最大熵方法的改进，不仅优于非参数方法中的密度核估计方法，也提高了传统最大熵算法的精度。

关键词：最大熵方法;密度核估计;逐次叠加算法;概率密度估计

中图分类号：TB 文献标识码：Adoi：10.19311/j.cnki.1672-3198.2019.28.093

0 引言

1948年香农（C.Shannon）提出了一系列关于信息的数学理论，信息熵的概念应运而生。信息熵用于描述随机变量的不确定性，不确定性越大，熵越大。最大熵原理，是指在已知信息不完备的情况下，选择出熵最大的一种概率分布模型。最经典的最大熵求解方法是拉格朗日乘子法，但由于拉格朗日优化函数的高度非线性，使结果不容易收敛，甚至有时会出现不严格可积现象。因此，本文提出基于“核密度+逐次叠加法”求解最大熵的方法，简化了经典求解方法中的优化问题。

1 最大熵方法概述

以最大熵原理为基础的技术已广泛应用于检测变量的随机性。Alwan、Das等人提出了通过最大熵方法构建控制图的思想。Soize利用最大熵原理有效构造了向量值随机变量高维概率分布。Bouzouba等人通过最大熵原理得出了真实模型阶数和真实噪声协方差的最小均方误差（MSE）。

1.1 经典型最大熵方法

1.2 基于密度核估计的最大熵方法

2 密度核估计的最大熵方法的优化算法

在数值求解方法中，初值的选择尤为重要。本文提出采用逐次叠加法进行优化求解。逐次叠加法是一種序列更新方法，是将矩约束逐次从低阶矩合并到高阶矩，并依次更新初值的迭代方法。由核函数性质，将权重αj做如下变换：

3 数值分析

利用四种典型分布验证改进的KDE-MEM法的有效性，包括正态分布和偏态分布。通过Monte Carlo方法生成随机样本，并与传统的KDE-MEM法和非参数分析中核平滑密度估计法进行对比分析。在模型计算过程中，矩的选择尤为重要。Abramov研究表明，建议使用4-6阶样本矩，因此本文选择前4阶矩。

3.1 改进的KDE-MEM法对常见概率分布类型的分析

本节利用正态分布、偏态分布的几种典型分布进行验证分析，样本分别服从于标准正态分布N（0，1）、对数正态分布LogN（0，0.252）、威布尔分布W（1.5，6）、卡方分布χ2（5）。取各分布的200个随机样本的前4阶矩，通过改进的KDE-MEM法进行参数优化求解，求得概率密度函数，并画出与理论曲线的对比图。

图1显示，在小样本情况下，改进的KDE-MEM法表现出很高的拟合精度，与理论概率密度曲线十分吻合，可见改进的KDE-MEM法具有通用性。

3.2 改进的KDE-MEM法与传统方法的精度对比

以对数正态分布和威布尔分布为例，对改进的KDE-MEM法进行具体计算分析。分别计算各参数优化的结果（表1），并画出对比概率密度图（图2）。

从图2中可以明显看出，不同方法计算的概率密度曲线的误差各不相同，为方便比较，表2列出不同方法计算的概率密度函数的均方误差（MSE），求解公式见式（9）。

核密度估计法是一种传统的非参数方法，采用核平滑密度估计法分别对这两个分布的随机样本进行核密度估计，窗宽分别取hLogN=0.0229和hW=0.0991，核密度估计图见图2，对比表明，改进的KDE-MEM法明显提高了传统核密度估计法的精度。

4 结论

（1）通过验证，改进的KDE-MEM法具有通用性和有效性。基于密度核估计最大熵方法的思想，引入逐次叠加法，通过实现逐次引入样本矩，实现了初值的更新迭代，与传统方法相比，优化过程更容易收敛，计算精度更高。

（2）密度核估计最大熵方法，用核估计pn（x）代替拉格朗日乘子法中的p（x），降低了拉格朗日优化法的复杂程度，提高了最大熵方法的适用性，同时保证了目标函数的收敛性，避免了求解过程中不严格可积的问题。

（3）核估计是非参数估计方法之一，本文将密度核估计和最大熵方法相结合，仅采用随机样本的前4阶矩进行逐级优化计算，更便于数据的记忆储存，同时提高了寻优过程的稳定性。

参考文献

[1]冯利华，李凤全.基于最大熵原理的灾害损失分析[J].数学的实践与认识，2005，35（8）：73-77.

[2]王惠娟，肖新平.基于最大熵原理的测量不确定度商概率建模及计算[J].数学的实践与认识，2016，46（13）：201-207.

[3]Alibrandi U，Ricciardi G.Efficient evaluation of the pdf of a random variable through the kernel density maximum entropy approach[J].International Journal for Numerical Methods in Engineering，2008，75（13）：1511-1548.

[4]吴福仙，温卫东.极大似然最大熵概率密度估计及其优化解法[J].南京航空航天大学学报，2017，49（1）：110-116.

[5]刘钰，韩峰，王玉恒.一种基于密度核估计的最大熵方法[J].工程数学学报，2011，28（3）：285-292.

[6]Alwan L C ，Ebrahimi N ，Soofi E S .Information theoretic framework for process control[J].European Journal of Operational Research，1998，111（3）：526-542.

[7]Das D ，Zhou S .Statistical process monitoring based on maximum entropy density approximation and level set principle[J].A I I E Transactions，2015，47（3）：15.

[8]Soize C .Construction of probability distributions in high dimension using the maximum entropy principle： Applications to stochastic processes，random fields and random matrices[J].International Journal for Numerical Methods in Engineering，2008，76（10）：1583-1611.

[9]Bouzouba K ，Radouane L.Image identification and estimation using the maximum entropy principle[J].Pattern Recognition Letters，2000，21（8）：691-700.

[10]Abramov，R.An imroved algrotithm for the multidimensional moment constrained maximum entropy problem[J].Comput Phys，2007，226（1）：621-644.