马尔科夫链培训课件(ppt 45页)

1  马尔科夫过程及其概率分布
2  多步转移概率的确定
3  遍历性

 

11.1马尔科夫过程及其概率分布
马尔科夫过程
若随机过程{X(t)，teT}对于任意的正整数n及
t1 <t2<…<tneT,其条件分布满足
P{X (tn)<xn| X(t1)=x1,…, X(tn-1)=xn-1}
   = P{X (tn)<xn| X(tn-1)=xn-1 }
或写成则称随机过程{X(t)，teT} 为马尔科夫过程。
马尔科夫链
     时间和状态都是离散的马尔科夫过称
为马尔科夫链，简称马氏链。记为
{Xn(t)=X(n)，n=0,1,2,…}.
 链的状态空间：I={a1 ,a2,… },aie R
条件转移概率
          对任意得正整数n,m和0≤t1 <t2<…<tn <m, 
   m, ti ,n+m eT1有
P{(Xn+m=aj| Xt1=ai1, Xt2=ai2 …, Xtr=atr ,X m=ai }
= P{(Xn+m=aj| X m =ai },其中aie I。则称条件概率
          Pij(m,m+n)=p{Xm+n =aj |Xm =ai}
为马氏链在时刻m,处于状态ai条件下，在时刻
m+n转移到状态aj的转移概率。
转移概率矩阵  由转移概率组成的矩阵
称为马氏链的转移概率矩阵 。此矩阵的每一行元素之和等于1。
当转移概率Pij(m,m+n)只与i,j及时间距n有关时，即当
  时，称转移概率具有平稳性，同时也称此链
是齐次的或时齐的。

 

 

..............................