马尔科夫链初探数学科学学院 陈诚 2011.9目录： 预备知识 马尔科夫链 等价和非等价命题 转移矩阵 马氏链的性质 不变测度和平稳分布 平稳分布的存在唯一性预备知识： 状态空间S状态空间S是过程Xt的可能取值空间。如果S = 0,1,2,我们称为离散状态的随机过 程；如果S = R，则称为实值随机过程。 指标集T即Xt的下标的指标集，一般指时间。如果T = 0,1,2,我们称为离散时间随机过程， 常用Xn代替Xt；如果T = 0,)则称为连续时间随 机过程。本次所涉及的： 离散时间马尔科夫链离散时间：指T离散链：指S离散马尔科夫链：具有马氏性什么是马尔科夫链： 指随机过程具有马氏性： 我们称随机过程Xt; t T具有马氏性，如 果对任何t0 i(1) : Xm = i，依次我们得到i(n + 1) =infm i(n) : Xm = i马氏链性质：常返性 常返：如果Pi(i(1) 0 设j常返，k != j， j k则k常返j kfjk = fkj = 1马氏链性质：常返性 而由j k我们知 j与k同正常返同零常返同非常返马氏链性质：常返性 状态i常返sum(n,0,p(n)ii) = 状态i非常返sum(n,0,p(n)ii) 0的最大公约数di为 状态i的周期 如果di 1，则称为i的周期 如果di = 1，则称i为非周期的 如果i j，i与j有相同的周期或同为非周期 的马氏链性质：不可约性 等价类：互通关系i ii j j Ii j, j i i k 若状态空间只有一个类则称马氏链是不可约的不变测度和平稳分布： 设Xn为马氏链，P为其转移矩阵，如果 = j , j S为一列非负实数，并且满足 =P则我们称为马氏链Xn的不变测度 如果为不变测度并且满足sum(jS, j )= 1则我们称为马氏链Xn的不变测度平稳分布的存在唯一性： 设Xn为马氏链，i S为马氏链的常返状 态，对任意的j S，定义j = sum(n,0,(i(1)-1),1(Xn=j) = sum(n,0,Pi(Xn = j,i(1) n)则为不变测度，如果i正常返j = nj / Eii(1)为马氏链Xn的平稳分布平稳分布的存在唯一性： 如果马氏链是常返不可约的，则存在不变 测度满足：对任意的j S, 0 0，使得1 = c2也就是说存在唯一的平稳分布，对j Sj = nj / Eii(1)The end.谢谢大家