本文格式为Word版，下载可任意编辑1140503102450451连续时间马尔可夫链 5 连续时间马尔可夫链 5.1引言 本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。 在5.2节中。我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。在5.4节中，我们导出两组描述系统的概率规律的微分方程向前与向后面程。5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。在5.6节中，我们考虑时间可逆的问题。其中，我们证明一切生灭过程是时间可逆的，而后表明这事实对于排队系统的重要性。在这一节中也供给了时间可逆性对随机群体模型的应用。在5.7节中，我们表明逆向链的重要性，即使过程不是时间可逆的。利用它我们研究排队网络模型。导出爱尔朗消散公式，分析共用加工系统。5.8节中我们外观如何“一致化”马尔可夫链对于数值计算有用的一种技巧。 5.2连续时间马尔可夫链 考虑取非负整数值的连续时间随机过程X(t),t30，与第四章中给出的离散时间马尔可夫链的定义类似，过程X(t),t30称为连续时间马尔可夫链，如 u果对一切s,t30及非负整数i,j，x(u)，0s，有 +)s=|jX( PX(t)s=,Xi()u=()x,u0? us =PX(t+)s=|j(X)s= i换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是 状态及一切过去的状态的套件下在将来时刻t+s的状态的条件分布只凭借现在的状态而与过去独立。若又有PX(t+s)=j|X(s)=i与s无关那么称连续时间马尔可夫链具有平稳的或其次的转移概率。将假定我们所考虑的马尔可夫链都有平稳转移概率。 假设在某时刻，譬如说时刻0，马尔可夫链进入状态i，而且假设在接下来的s个单位时间中过程未离开状态i（即未发生转移）。在随后的t个单位时间中过程仍不离开状态i的概率是多少呢？为了回复这个问题。留神到由于在时间s过程处于状态i，从马尔可夫性得在区间s,s+t中它依旧处于状态i的概率正是他处于状态i至少t个单位时间的（无条件）概率。也即若以ti记过程在转移到另一状态之前停留在状态i的时间，那么对一切s,t30有 Ptis+t|tis=Pti t因此，随机变量ti是无记忆的必有指数分布。 事实上，上面的议论给了我们构造连续时间马尔可夫链的一个方法。也即它是一个具有如下性质的随机过程，每当它进入状态i： (i)在转移到另一状态之前处于状态i的时间按照指数分布，参数为vi (ii)当过程离开状态i时，接着以某个概率。譬如Pij，进入状态就j， ?Pij=1。 j1ivi=?的状态i称为瞬时状态。由于一旦进入此状态立刻就离开。尽管这种 状态在理论上是可能的，我们将始终假设对一切i，0?vi?。（假设vi=0， 那么称状态i为吸收的，由于一旦进入这一状态就永不再离开了。）因此，实际上一个连续时间马尔可夫链是一个这样的随机过程，它按照一个（离散时间）的马尔可夫链从一个状态转移到另一个状态，但在转移到下一状态之前，他在各个状态停留的时间按照指数分布。此外在状态i过程停留的时间与下一个到达的状态务必是独立的随机变量。由于若下一个到达的状态凭借于ti，那么过程处于状态 i已有多久的信息与下一个状态的预报有关这就与马尔可夫假定冲突了。 一个连续时间马尔可夫链称为规矩的，若以概率1在任意有限时间内的转移次数是有限的。一个非规矩的马尔可夫链的例子是 Pi,i+1=1 vi=i2 能够证明这个马尔可夫链总是从状态i到i+1，停留在状态i的时间按照均值为 1/i2的指数分布，它将以正的概率在任意长为t，（t0）的时间区间内作无限 屡屡转移。然而我们从现在起将假设所考虑的全部马尔可夫链是规矩的（在习题中将给出规矩性的某些充分条件）。 对一切i1j，qij定义为 qij=viP i由于vi是过程离开状态i的速率而Pij是它转移到j的概率，所以qij是过程从状态 i转移到状态j的速率；事实上我们就称qij是从i到j的转移速率。 以Pij(t)记马尔可夫链现在处于状态i，再经过一段时间t后处于状态j的概率，即 Pij(t)=PX(t+s)=j|X(s)=i 5.3生灭过程 鬃?的连续时间马尔可夫链称为生灭过程，具有状态0,1，若i-j1时qij=0。 ?，它从状态i只于是一个生灭过程是一个连续时间马尔可夫链，具有状态0,1,鬃能转移到状态i-1或i+1。过程的状态通常看作为某个群体的总量，当状态增长1时，我们就说生了一个；而当它裁减1时，我们就说死了一个。设li与mi为 li=qi,i+1 mi=qi,i-1 值li,i30与m分别称为生长率与死亡率。由于?qij=vi，可见 i,i31j1i vi=li+m i Pi,+i1=li=1-Pli+mii-,i1 因此，我们可以这样设想生灭过程，每当系统中有i个人时，直到下一次出世的时间按照参数为li的指数分布，且独立于直到下一次死亡的时间，它按照参数为 mi的指数分布。 例5.3（a） 两个生灭过程 （i）M/M/s排队系统。假设顾客按照参数为l的泊松过程来到一个有s个服务员的服务站，即相继来到之间的时间是均值为1l的独立指数随机变量，每个顾客一来到，假设有服务员空闲，那么直接进入服务，否那么此顾客要参与排队行列（即他在队列中等待）。当一个服务员终止对一位顾客的服务时，顾客便离开服务系统，排队中的下一位顾客（若有顾客在等待）进入服务。假定相继的服务时间是独立的指数随机变量，均值为1m。假设我们可以以X(t)记时刻t系统中的人数，那么X(t),t30是生灭过程， ns?nm,1 mn= sm,ns? ln=l,n?0 （ii）有迁入的线性增长模型 ,n?1 mn=nm ln=nl+q,n?0 的模型称为有迁入的线性增长模型。这种过程自然地产生于生物繁殖与群体增长 的研究中。假定群体中的每个个体以指数率l出世；此外，群体由于从外界迁入 的因素又以指数率q增加，因此在系统中有n人时，整个出世率是nl+q。假定此群体的各个成员以指数率m死亡，从而mn=nm。 若对一切n,mn=0（即若死亡是不成能的），那么生灭过程称为纯生过程。最简朴的纯生过程的例子是泊松过程，它具有常值出世率ln=l,n?0。 其次个纯生过程的例子是这样的，在一个群体中各个成员独立的活动，且以指数率l生育。若假设没有任何成员死亡，以X(t)记时刻t群体的总量，那么 X(t),t30是一个纯生过程，其ln=nl,n?0 此纯生过程被称为尤尔过程。 考虑一尤尔过程，在时刻0从一个个体开头，且以Ti(i31)记第i-1个与第i个出世之间的时间。即Ti是群体总量从i变到i+1所花的时间。从尤尔过程的定义轻易达成Ti(i31)是独立的，且Ti是具有参数il的指数变量。现在 PTt1-i? PT1+T2?t-lie t01PT+2T?|t1Tl-lxxe dxt-2lt-x =01-e()le-lxdx () =1-e-lt PT1+T2+T3?tt0()12 2PT+T+T3?t|T1T2=xdFT1+T2(x) t-3lt-x =01-e()2le-lx1-e-lxdx ()() =1-e-lt一般地可用归纳法证明 ? PT1+鬃()3 tT1-le j?t()j?Tj?tPX(t)?j1|X(0)=1可见对于一个尤尔过程， 因此，由PT1+鬃-lt P1j(t)=1-e()j-1-1-e-ltj-1 =e-lt1-e-lt()j ,j?1 从上可见，从一个个体开头，在时刻t群体的总量有几何分布，其均值为elt。因 此假设群体从i个个体开头，在时刻t其总量是i个独立同几何分布随机变量之和，有负二项分布，也即对尤尔过程 骣j-1-lti-lt琪 Pt=e1-eij()琪i-1桫()j-i,j吵i 1关于从一个个体开头的尤尔过程的另一个好玩的结果涉实时刻t的群体总量给定时出世时刻的条件分布。由于第i个出世在时刻Si?T1鬃?Ti发生，所以我们计算已给X(t)=n+1时S1,鬃?,Sn的条件联合分布。直观地推导，并将密度当作概率处理可得，对0s1s2鬃snsnt |(Xt)=n+n鬃,n PS1=s1,S2=s,2?S 1tn s =PT,T=1=s12PX()t=+n1s,鬃2?,nT-s-ns1,+nT1-nls-s-n+1lt-s-2lt-sle-lt12le(21)鬃?nle(nn-1)e()(n) = PX(t)=n+1-lt-s-lt-s-lt-s =Ce(1)e(2)鬃?e(n) 其中C是某个不凭借于s1,鬃?,sn的常数。因此我们看到，给定X(t)=n+1时 S1,鬃?,Sn的条件密度为 f(s1,鬃?,snn|其中f是密度函数 )1n=?!f(s)， 0sii=1n1鬃祝st （5.3.1） n? le-l(t-x)?,0xt?-lt f(x)=1-e （5.3.2） 其它?0,?但是由于（5.3.1）是n个密度为f的随机变量的一个子样的依次统计量的联合密度函数（参阅其次章2.3节）。于是我们证得 命题5.3.1 ?,Sn的考虑一个尤尔过程，其X(0)=1,那么给定X(t)=n+1时，出世时刻S1,鬃分布宛如取自密度为（5.3.2）的母体的容量为n的子样的依次统计量的分布。 命题5.3.1可用来以同样的方法对尤尔过程建立与泊松过程相应的结果。 例5.3（b） 考虑一个尤尔过程，其X(0)=1.让我们计算在时刻t群体各 9