Transcript 第三節Chapman-Kolmogorov Equations

第三節
Chapman-Kolmogorov Equations
在馬可夫鏈轉移矩陣 P 中的元素 pij 為馬可夫過程在單一
步由狀態 i 轉移至狀態 j 的機率，然而，有許多馬可夫鏈，
無法一步就由狀態 i 轉移至狀態 j (如上例一步由 a2
a1的機率為 0 )。一個穩定性馬可夫鏈，我們可以求得由狀
態 i 開始，經過 n 步(或 n 次試驗)後，到達狀態 j 的機率，
記作
，其為
p (ijn )
作業研究．Chapter 11 馬可夫鏈
11-1
p (ijn )  p(xn  j | x 0  i )
  p(xn  j, xn 1  k | x 0  i )
k
  p(xn  j | xn 1  k , x 0  i )  p(x n 1  k | x 0  i )
k
  p(xn  j | xn 1  k )  p(x n 1  k | x 0  i )
k
  p(x1 1  j | x 0  k )  p(x n 1  k | x 0  i )
k
  pkj  p ik( n 1)
k
作業研究．Chapter 11 馬可夫鏈
11-2
若以P(n) 表示經過 n 步後之轉移矩陣，則由上式可得
P(n) ＝ P(n-1) P
事實上，一般結果可由Chapman-Kolmogorov Equations
導出公式如下：
p(ijn)   p(iknm)  pkj(m) , 1  m  n
k
若以矩陣表示，則為
P(n) ＝ P(n-m) × P(m) , 1  m  n
其意義為由狀態 i 開始，經過 n-m 步(m≦n)後到達狀態 k，
然後再由狀態 k 經過 m 步後，到達狀態 j 的條件機率。
作業研究．Chapter 11 馬可夫鏈
11-3
由此顯然可見，可由一步轉移機率逐步轉移至 n 步的轉移
機率，例如當 n = 2 時
p(ij2)   pik  pkj
k
( 2)
p
此 ij 為矩陣 P(2) 中之元素，而 P(2) = P．P = P2，由此推
廣可得， n 步轉移矩陣為
P(n) ＝ P．P．…．P ＝ Pn ＝ Pn-1．P ＝ P．Pn-1
作業研究．Chapter 11 馬可夫鏈
11-4
作作看3
續作作看1經過三天後天氣為晴天的機率為若干？
作業研究．Chapter 11 馬可夫鏈
11-5