关于时齐马尔可夫链的一个极限定理的讨论

周茂俊，蔡晓薇，郑林，袁宏俊

（安徽财经大学统计与应用数学学院，安徽蚌埠233030）

关于时齐马尔可夫链的一个极限定理的讨论

周茂俊，蔡晓薇，郑林，袁宏俊

（安徽财经大学统计与应用数学学院，安徽蚌埠233030）

针对同一作者主编的两本随机过程教材中不一致的结论展开讨论，通过分类举例论证，得出时齐马尔可夫链的条件下，状态j为正常返时的结论应为，而不是。并在fij=d的特殊情况下，借助Stolz极限定理给出简捷的证明。

随机过程；马尔可夫链；Stolz定理；转移概率

近几十年来，随机过程无论是在理论上还是在应用上都有着蓬勃的发展，它的基本知识和方法广泛应用于工程技术、生物信息及经济领域等。马尔可夫过程是一类非常重要的随机过程，为了研究系统的长期趋势及稳定性，讨论马尔可夫链的极限情况就显得尤为必要。目前，关于时齐马尔可夫链的极限的相关理论已经相当成熟，多数学者转而研究非时齐的，且多侧重于中心极限定理的研究，如刘文，杨卫国[1]，王学武[2]，郭明乐[3]，李应求，王苏明，胡杨利[4]等。笔者基于教学过程中发现的研究时齐马尔可夫链的背景下同样的极限问题不同教材给出了不同结论为出发点展开讨论，搞清楚基本结论的对错，并在此基础上借用Stolz极限定理来加以证明。

1 问题的提出

1.1 马尔可夫链简介

马尔可夫过程是一类具有“无后效性”的随机过程，即知道过程现在的条件，其将来的条件分布不依赖于过去。该文只考虑离散时间离散状态的马尔可夫链，下面给出相应的定义及极限定理。文中的定义定理及有关记号均与教材[5-7]一致。

定义1当马尔可夫链的转移概率pij=P{Xn+1=j|Xn=i}只与状态i，j有关，而与n无关时，称之为时齐马尔可夫链；否则称之为非时齐的。

定义2称条件概率pij（n）=P{Xm+n=j|Xm=i}，i，j∈S；m≥0；n≥1为马尔可夫链的n步转移概率。

定义3以fij（n）=P{Xn=j，Xk≠j，k=1，2，…，n-1|X0=i}，n≥1记从i出发经n步后首次到达j的概率，令，若fii=1，则称状态i为常返状态；若fii＜1，称状态i为非常返状态。对于常返状态i，定义为平均回转步数。若ui＜+∞，则称i为正常返状态；若ui=+∞，则称i为零常返状态。

定义4若集合{n：n≥1，pii（n）＞0}非空，则称它的最大公约数d为状态i的周期。若d＞1，称i是周期的。若d=1，称i是非周期的。

定理1（1）若j为非常返或零常返状态，则对∀i∈S，有；

（2）若j为正常返状态且周期为d，则，∀i↔j，i∈S有。

1.2 提出问题

在文献[5]中，有一个极限定理如下：

定理2对于任意状态i，j∈S，有

在文献[6－7]中，作者对上述定理2的内容以推论形式给出：

推论1对于任意状态i，j∈S，有

教材中没有给出详细的证明过程，只提示说可直接由上文的定理1直接推得。

对比以上两本教材中定理2和推论1的结论，显然在状态j为正常返时结论不一样，从时间上比较，推论1出版得更晚些，到底哪个结论更准确呢?

2 问题的研究

针对以上提出的对同样的表达式求极限，同样的条件下极限值却不一样，下面分三种情形展开讨论。

情形1如果状态j是非周期的，即周期d＝1，且状态i与j互通，即i↔j，这种情况下两个结论相同。可以证明此时fij＝d＝1，因为状态j为正常返的，对于i↔j，则fij＝1，证明可用反证法，可参见文献[6]。并且此时定理2和推论1的结论可直接由定理1证得，但教材中并没有给出证明过程。笔者提供一种非常简捷的证明方法，就是利用Stolz定理来证明。

Stolz定理（Stolz公式）设数列{an}，{bn}，其中{bn}严格单调递增，且，若，则（其中l为有限，+∞或-∞）[8]。

情形2如果状态j的周期d≠1，但状态i与j互通，则两个结论中必有一个不正确。以下通过具体的马尔可夫链说明推论1的结论不正确。设马尔可夫链的状态空间S={1，2}，一步转移矩阵为，显然两状态互通，即1↔2，且周期均为d＝2。因不可约的有限马尔可夫链都是正常返的，因此，状态1与2都是正常返的。以状态1为例，先计算首达概率，f11（1）＝0，f11（2）＝1，f11（n）＝0（n≥3），因此，f11＝1，u1=2。而转移概率p11（1）＝0， p11（2）＝1，p11（3）＝0，p11（4）＝1，…以此类推。显然。因此，推论1的结论是不正确的。

情形3如果状态j的周期是1，但状态i与j不互通。当i不可达j时，fij＝0，pij（n）＝0，此时，比如上例中转移概率矩阵为；当i可达j，但j不可达i时，fij＝ 1，状态j的周期可以等于1也可以不等于1，但定理2的结论仍然成立，这样的马尔可夫链很多，不再举例。

关于定理2的严谨的证明可参见文献[5]，此处从略。

3 结语

通过具体的马尔可夫链举例说明了教材中的推论1的结论是不正确的，并且在状态为正常返非周期的条件下借助于Stolz定理简单明了的进行了证明，在周期大于1的条件下分析了不满足Stolz定理的原因。同时通过上述讨论也可以看出，定理1中状态j为正常返的结论中也包括极限值为零的情况，即i不可达j时。

[1]刘文，杨卫国.可列非齐次马氏链的若干极限定理[J].应用数学学报，1992，15（4）：479-489.

[2]王学武.有限非齐次马尔可夫链的强极限定理[J].南阳师范学院学报，2007，6（3）：14-17.

[3]郭明乐.马氏环境中马氏链的中心极限定理[J].应用概率统计，2007，23（1）：11-17.

[4]李应求，王苏明，胡杨利.马氏环境中马氏链的一类强极限定理[J].数学进展，2008，37（5）：539－549.

[5]张波，张景肖.应用随机过程[M].北京：清华大学出版社，2004：98-99.

[6]张波，商豪.应用随机过程[M].2版.北京：中国人民大学出版社，2009：103.

[7]张波，商豪.应用随机过程[M].3版.北京：中国人民大学出版社，2014：91.

[8]冯文娴，付艳芳.Stolz定理在求极限中的应用[J].价值工程，2013，26：279.

[9]方兆本，缪柏其.随机过程[M].2版.北京：科技出版社，2011：39－43.

Discussion on a limit theorem for homogeneous Markov chains

ZHOU Maojun，CAI Xiaowei，ZHENG Lin，YUAN Hongjun
（School of Statistics and Applied Mathematics，Anhui University of Finance&Economics，Bengbu 233030，China）

This paper discusses the conflicting results in two textbooks of stochastic process compiled by the same author.By means of classification,illustration and demonstration,it is found that under the circumstance of homogeneous Markov chains and on the condition that state j is positive recurrence,the result is.Under the special condition of fij=d，the consequence is shown with the help of Stolz limit theorem.

stochastic process；Markov chain；Stolz theorem；transition probability

O211.62MR（2000）Subject Classification：60G99

A

1672-0687（2015）02-0030-03

责任编辑：谢金春

2014-12-26

安徽省高校省级自然科学基金重点项目（KJ2014A003）

周茂俊（1979-），女，安徽明光人，讲师，硕士，研究方向：应用统计。