Transcript Hidden Markov Model II

Hidden Markov Model II
Toto Haryanto
Termonologi dalam HMM

Model dalam HMM ditulis sebagai
Dengan
λ : Model
A : Matriks Transisi
B : Matriks Emisi
Π : Matriks Prority

Pernytaan P(O| λ) bermakna peluang suatu observasi O
jika diberikan model HMM λ

Pernytaan P(O| S1,S2) bermakna peluang suatu observasi O jika
diberikan model HMM λ dengan State S1,S1
Jenis Hidden Markov Model (HMM)

Ergodic HMM
P
Pada Ergodic HMM, suatu state diperkenankan
Untuk dapat mengunjuni state manapun.
Visualisasi Ergodic HMM dapay dilihat pada
Gambar di samping
B
H

Left-Right (L-R) HMM
P
B
Pada L-R HMM transisi terjadi ke
state diriinya atau state lain yang
unik
H
Permasalahan dalam HMM
1.
Diberikan model λ = (A, B, π), bagaimana menghitung
P(O | λ), yaitu kemungkinan ditemuinya rangkaian
pengamatan O = O1, O2, ..., OT.
2.
Diberikan model λ = (A, B, π), bagaimana memilih
rangkaian state I = i1, i2,...,iT sehingga P(O, I | λ),
kemungkinan gabungan rangkaian pengamatan O = O1, O2,
..., OT dan rangkaian state jika diberikan model,
maksimal.
3.
Bagaimana mengubah parameter HMM, λ = (A, B, π)
sehingga P(O | λ) maksimal.
Solusi ?

Masalah (1) dikenal dengan istilah Evaluating

Diselesaikan dengan prosedur yang dikenal dengan forwardbackward procedure (Rabiner 1989)

Masalah (2) dikenal dengan istilah Decoding
 Diselesaikan dengan menggunakan algoritma Viterbi

Masalah (3) dikenal dengan Istilah Learning

Diselesaikan dengan menggunakan algoritma Baum-Welch
Teladan 1 Masalah 1

Anda dalam ruang terkunci. Berapa peluang dari cuaca pada
hari jika diberikan status {P,B,P}, kemudian diketahui bahwa
selama tiga hari tersebut office boy masuk ke dalam ruangan
tidak pernah membawa payung.
Dik : Peluang baik, q1,q2,q3 pertama kali terjadi masing-masing
adalah 1/3
Tomorro’s weather
H
Dengan Tanpa
Payung Payung
Today
weather
P
B
P
0.8
0.05
0.15
Panas
0,1
0,9
H
0.2
0.6
0.2
Hujan
0,8
0,2
B
0.2
0.3
0.5
Berawan
0,3
0,7
weather
Penyelesaian Masalah 1

Pembuatan Model HMM

P (P B P | x1=TP,x2 = TP, x3=TP)
P(P) * P(TP|P) * P(B| P) * P(TP| B) * P( P| B) * P (TP|P) =
1/3 * 0.9 * 0.15 * 0.7 * 0.2 * 0.9 = 0.0057


Pada kasus di atas state-nya sudah ditentukan. Bagaimana
Jika kasusnya P (TP,TP,TP| λ ) ?
Artinya : Kita harus menghitung semua state obervasi (TP)
untuk semua kemungkinan hidden state
Teladan 2 Masalah 1
Matriks Transisi (A)
S1
S2
S1
0.5
0.5
S2
0.4
0.6
Matriks Priority (Π)
S1
0.3
S2
0.7
Matriks Transisi (B)
I
O
S1
0.2
0.8
S2
0.9
0.1
Dimesi Matrik Transisi (A) = MxM
Dimensi Matriks Emisi (B) = M xN
Dimensi Matriks Prior (Π) = M x 1
Teladan 2 (Masalah 1)

Berdasarkan Model HMM λ, tentukan peluang untuk
observasi sebagai berikut:
a) P (II | S1,S2)
b) P (OO | S2,S2)
Jawab:
a) Peluang bahwa observasi II pada state S1 kemudian S2
adalah mengalikan komponen sebagai berikut:
P(S1)*P(I|S1)*P(S2|S1)*P(I|S2)
0.3 * 0.2 * 0.5 * 0.9
b) ???
= 0.0027
Diagram Trelis

Digaram trelis dapat digunakan untuk memvisualisasikan
kemungkinan dalam perhitungan HMM.
http://www.igi.tugraz.at/lehre/CI
Diagram Trelis

Diagram Trelis untuk Kasus Teladan 1 Masalah1
TP
TP
TP
P
H
B
State observasi : x1=TP
n =1
x2=TP
n =2
Waktu
x3=TP
n =3
Teladan Masalah 2



Permasalahan 2 adalah kita mencari state yang optimal
dari suatu observasi terhadap model HMM yang ada.
Diselesaikan dengan manggunakan algoritma Viterbi
Beberapa langkah dalam Viterbi




Inisialisasi
Rekursif
Terminasi
Lacak Balik
Algoritma Viterbi (Teladan Masalah 2)
Inisialisasi
Rekursif
Terminasi
Terminasi
Teladan 2 Maslah 2

Jika Anda berada di dalam ruang tertutup dan Anda tidak
mengetahui bagaimana cuaca di luar. Sementara observasi
menunjukkan bahwa officeboy selama tiga hari ternyata
({TP,DP,DP}). Tentukan peluang yang paling mungkin dari
cuaca di luar pada kondisi tersebut ? Selesaikan dengan
algoritma viterbi!

Ket:

DP : dengan payung
Langkah 1 (Inisialisasi)
n =1
δ1(P) = π(P)* B(TP|P)
= 1/3 * 0.9 = 0.3
Ψ1 (P)= 0
δ1(H) = π(H)* B(TP|H)
= 1/3 * 0.2 = 0.0067
Ψ1 (P)= 0
δ1(B) = π(B)* B(TP|B)
= 1/3 * 0.7 = 0.23
Ψ1 (P)= 0
Langkah 2 (Rekursif)
n =2 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya)
δ2(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P)
= max {0.3* 0.8 ,
0.0067 * 0.2 , 0.233 * 0.2} * 0.1 = 0.024
Ψ2 (P) = P
δ2(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H)
= max {0.3* 0.05
,
0.067 * 0.6, 0.233 * 0.3} * 0.8 = 0.056
Ψ2 (H) = B
δ2(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B)
= max {0.3* 0.15
,
0.067 * 0.2, 0.233 * 0.5} * 0.3 = 0.035
Ψ2 (B) = B
Diagram Trelis n = 2
Lanjutkan ke rekursif berikutnya untuk n = 3
Langkah 2 (Rekursif)
n =3 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya)
δ3(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P)
= max {0.024* 0.8 ,
0.056 * 0.2 , 0.035 * 0.2} * 0.1 = 0.0019
Ψ3 (P) = P
δ3(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H)
= max {0.024* 0.05
,
0.056* 0.6, 0.035 * 0.3} * 0.8 = 0.0269
Ψ3 (H) = H
δ3(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B)
= max {0.024* 0.15
,
0.056 * 0.2, 0.035 * 0.5} * 0.3 = 0.0052
Ψ3 (B) = B
Diagram Trelis n = 3
Langkah 3 (Terminasi)


Secara global path telah selesai sampai dengan n=3 (karna
ada tiga sekuens observasi yaitu {DP.DP,DP}
Lakukan penentuan argumen maksimum
P*(O| λ) = max(δ3(i))
=δ3(H)=0.0269
q3* = argmax(δ3(i)) = H

Artinya bahwa state terakhir dari observasi ada pada state
Hujan
Diagram Trelis Terminasi
Langkah 4 (Lacak Balik)

Sekuens terbaik dapat dilihat dari vektor Ψ

n = N - 1= 2
q2* = Ψ3 (q3* )
= Ψ3 (H)
= H {Lihat proses rekursif pada n = 3 untuk Ψ3 (H) }

n = N - 1= 1
q1* = Ψ2 (q2* )
= Ψ2 (H)
= B {Lihat proses rekursif pada n = 2 untuk Ψ2 (H) }
Hasil Akhir

Berdasarkan hasil q1,q1 dan q3 diperoleh bahwa
state yang mungkin dengan peluang terbesar untuk
observasi {DP,DP,DP} adalah {B,H,H}
Masalah 3


Training
Contoh Algoritma Baum-Welch
Link File Excel
Selesai
Bersemangatlah terhadap segala sesuatu yang bermanfaat bagimu,
mintalah pertolongan kepada Rabb-mu yang janganlah kamu merasa
bersedih
Terima Kasih