单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,1,第四章：连续时间的马尔可夫链,连续时间马尔可夫链定义,无穷小转移概率矩阵,Kolmogorov,向前方程与向后方程,连续时间马尔可夫链的应用,2,定义：,设随机过程,X(t),t0,，状态空间,I=i,n,n0,，若对任意,0t,1,t,2,t,n,1,及,i,1,i,2,i,n+1,I,，有,则称,X(t),t0,为连续时间马尔可夫链。,上式中条件概率的一般表现形式为,定义：,若,p,ij,(s,t),的转移概率与,s,无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为,其转移概率矩阵简记为,3,时间轴,0,s,s+t,状态,i,状态,i,持续时间,i,在,0,时刻马尔可夫链进入状态,i,，而且在接下来的,s,个单位时间中过程未离开状态,i,，问在随后的,t,个单位时间中过程仍不离开状态,i,的概率是多少？,4,一个连续时间的马尔可夫链，每当它进入状态,i,，具有如下性质：,当,v,i,=,时，称状态,i,为瞬时状态；,一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态,i,过程停留的时间与下一个到达的状态必须是相互独立的随机变量。,1,、在转移到另一状态之前处于状态,i,的时间服从参数为,v,i,的指数分布；,2,、当过程离开状态,i,时，接着以概率,p,ij,进入状态,j,，,当,v,i,0,时，称状态,i,为吸收状态。,5,定理：,齐次马尔可夫过程的转移概率具有下列性质：,正则性条件,6,定义,对于任一,t0,，记,分别称,p,j,(t),jI,和,p,j,jI,为齐次马尔可夫过程的绝对概率分布和初始概率分布。,定理,齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：,7,定理,设,p,ij,(t),是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：,无穷小转移概率矩阵,引理,设齐次马尔可夫过程满足正则性条件，则对于任意固定的,i,jI,，,p,ij,(t),是,t,的一致连续函数。,8,若连续时间齐次马尔可夫链是具有有限状态空间,I=1,2,n,，则其转移速率可构成以下形式的矩阵,Q,矩阵的每一行元素之和为,0,，对角线元素为负或,0,，其余,q,ij,0,9,例题：证明泊松过程为连续时间齐次马尔可夫链，并求其,p,ij,、,q,ij,。,例题：一个城市划分成两个区域,A,和,B,，各区被指定一辆消防车,1,和,2,负责。当接到报警电话时，不论其来自,A,区还是,B,区，只要有一辆消防车空闲就会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松分布（参数为,j,，,j=A,，,B,），两辆车服务于不同区的时间为独立的指数分布（参数为,ij,，,i=1,，,2,，,j=A,，,B,），则两辆消防车的状态为连续时间齐次马尔可夫链。,10,定理（,Kolmogorov,向后方程）,假设 ，则对一切,i,j,及,t0,，有,定理（,Kolmogorov,向前方程）,在适当的正则条件下，则对一切,i,j,及,t0,，有,利用,Kolmogorov,向后方程或向前方程及下述初始条件，可以解得,p,ij,(t),11,Kolmogorov,向后和向前方程所求得的解,p,ij,(t),是相同的,在实际应用中，当固定最后所处状态,j,，研究,p,ij,(t),时（,i=0,1,），采用向后方程较方便；,当固定状态,i,，研究,p,ij,(t),时（,j=0,1,），采用向前方程较方便；,Kolmogorov,向后和向前方程的矩阵表达形式为,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵,Q,决定。,若,Q,是一个有限维矩阵，则上述矩阵方程的解为,12,定理,齐次马尔可夫过程在,t,时刻处于状态,jI,的绝对概率,p,j,(t),满足下列方程,定义,设,p,ij,(t),为连续时间马尔可夫链的转移概率，若存在时刻,t,1,和,t,2,，使得,则称状态,i,和,j,是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。,13,转移概率,p,ij,(t),在,t,时的性质及其平稳分布关系,定理,设连续时间的马尔可夫链是不可约的，则有下列性质：,若它是正常返的，则极限 存在且等于,j,0,，,j,I,。这里,j,是方程组,的唯一非负解，此时称,j,j,I,是该过程的平稳分布，并且有,若它是零常返的或非常返的，则,14,例题,考虑两个状态的连续时间马尔可夫链，在转移到状态,1,之前在状态,0,停留的时间是参数为,的指数变量，而在回到状态,0,之前它停留在状态,1,的时间是参数为,的指数分布，求该马尔可夫链的平稳分布。,例题：机器维修问题,1,设例题,5.2,中状态,0,代表某机器正常工作，状态,1,代表机器出故障。状态转移概率与例题,5.2,相同，即在,h,时间内，及其从正常工作变为出故障的概率为,p,01,(h)=,h+o(h),；在,h,时间内，机器从有故障变为经修复后正常工作的概率为,p,10,(h)=,h+o(h),，试求在,t=0,时正常工作的机器，在,t=5,时为正常工作的概率。,15,生灭过程,16,例题（理发店问题）：一个理发店有两位理发师，两个等待座位，顾客的到达率为每小时,5,个，理发师一小时可给两个人理发。假定顾客到达为泊松分布，理发师的服务时间为指数分布，用,X(t),表示理发店内的顾客数，则,X(t),为生灭过程。,例题（,M/M/1,排队系统）：顾客到达为参数为,的泊松过程，系统内只有一个服务台，每个顾客的服务时间为,的,指数分布且与顾客到达时间相互独立。用,X(t),表示系统,t,时刻的顾客数，则,X(t),为生灭过程，求,1,）求平稳分布；,2,）系统的平均队长；,3,）平均等待的顾客数；,17,例题（机器维修问题,2,）设有,m,台机床，,s,个维修工，,s m,，机床或是工作，或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空，则机床按先坏先修队列排队等待修理。假定每台机床从工作到损坏的时间服从参数为,的指数分布；每台修理的机床修理好的时间为,参数为,的指数分布。用,X(t),表示时刻,t,损坏的机床台数，则,X(t),，,t 0,是状态空间,E,=0,1,2,，,m,的时间连续的生灭过程。,