1,第二节 离散时间马尔可夫链的几个性质,1 互通性 2 周期性 3 常返性 4 遍历性,2,1 .1互通性,若对某一n1，有 ，则称系统X可以自状态I到达状态j，并记ij。如果ij，并且ji，则状态i与j互通，并记为ij 若对一切n1，有 或 ，或两式均成立，则称状态i与j不通,（书 第18页）,3,1 .2互通性,互通性的性质 自反律： i i (假定每个状态0步转移到自己) 对称律： i j 当且仅当j i 传递律： i k 且k j，则i j,4,1.3互通性举例,考察具有两个吸收壁的随机游动，E0,1,2,3,a它的一步转移概率矩阵为,a,0,p,q=(1-p),i,i-1,i+1,5,1.4互通性举例,考察具有两个吸收壁的随机游动，E0,1,2,3,a它的一步转移概率矩阵为,0,1,i-1,i,i+1,a-1,a,.,.,q,q,q,q,q,q,q,p,p,p,p,p,p,p,状态转移图,1,1,6,1.5不可约,若一个马氏链的任意两个状态都互通，则此马氏链称为不可约马氏链；否则称为可约的马氏链。 不可约的马氏链：在排队论中，用到的马尔可夫链大多是不可约的,（书 第24页）,7,1.6不可约,可约的马氏链：,8,2 .1周期性,定义若记di为数集n: n1, 的最大公约数，则称它为状态i的周期。若对一切n1有 ，则约定di=.当di1时，称i是有周期的状态，当di=1时，称i是非周期的状态。 定理2.1 若ij，则di=dj,（书 第20页）,9,2 .2周期性,如何判别一个状态是非周期的？ 若此状态带有自环，则必为非周期的（虽然非周期的状态不一定有自环） 若此状态与一个非周期的状态互通，则必为非周期的 以上是两个充分条件,10,3 .1常返性,常返性是考察马氏链由一个状态出发之后能否再次回归到本状态的特性 常返性分三种 正常返（必定会返回，平均返回时间为有限值） 零常返（必定会返回，平均返回时间为 ） 非常返（可能不再返回）,（书 第21页）,11,3.2 常返性定义,引入符号 1.2. 3. 若fj=1，则称j是常返的；若fj1则称j是非常返的,12,3.3 常返性定义,1. 平均返回时间若fj=1，同时Mj=，则称j是零常返的或消极常返的； 若fj=1，同时Mj0，这时j就是平稳分布，同时有而且i可由下述关系式唯一地确定,17,4.2 遍历性,如果齐次马氏链的一个状态j是非周期、正常返的，则此状态j为遍历的。 如果一个不可约的马氏链所有状态均为遍历的，则此马氏链就是遍历链。（修正书 25页）,遍历链,平稳分布：存在、与初始分布无关、唯一、且全部都大于0,18,5 .1离散时间马尔可夫链性质举例,S=0,1状态数有限 不可约（两两互通） 非周期（有自环） 正常返（状态有限，不可约） 遍历（不可约，非周期，正常返）,0,1,b,a,1-b,1-a,19,5 .2离散时间马尔可夫链性质举例,S=0,1,2,3.状态数无限 不可约 非周期 常返性要看p的取值,20,5 .3离散时间马尔可夫链性质举例,有可约（ 为吸收态） 非周期 非常返 正常返 遍历的 此马氏链不是遍历的,0,1,2,3,1,21,5.4离散时间马尔可夫链性质举例,S=0,1,2,3状态个数有限 不可约 周期 d0=d1=d2=d3=3 正常返 不是遍历链,0,1,2,3,22,5.5离散时间马尔可夫链性质举例,S=0,1,2,3状态个数有限 不可约 非周期的 正常返 遍历链,0,1,2,3,