Transcript kuliah 6 Naïve Bayes

Naïve Bayes
Hamdani
Mahasiswa ilkom ipb
Dari berbagai sumber
Probabilities
• Joint
P ( x, y )  P ( X  x  Y  y )
– Probability that both X=x and Y=y
• Conditional
P( x | y )  P( X  x | Y  y )
– Probability that X=x given that Y=y
2
Bayes Rule
P( H , E )  P( H | E ) P( E )  P( E | H ) P( H )
P( E | H ) P( H )
P( H | E ) 
P( E )
3
Langkah Pembuatan Bayes
•
•
•
•
•
•
Tentukan Parameter
Hitung prior probability suatu kondisi
Membuat conditional probability table (CPT)
Membuat joint probability distribution (JPD)
Menghitung posterior probability
Inferensi probabilistic
Contoh
• Misal Untuk menentukan seseorang pergi
kuliah atau tidak ditentukan oleh faktor hujan
atau tidak
diketahui: prior hujan P(hujan=yes)=0.1 dan
P(hujan =no)=0.9
Conditional probability table antara
Hujan dan Kuliah
Hujan
yes
no
Kuliah
yes
no
0.4
0.6
0.35
0.65
• Cara menghitung joint probability distribution
suatu gejala adalah mengalikan nilai
conditional probability dengan prior
probability.
• Prior probability hujan adalah untuk yes=0.1
dan no=0.9 maka dikalikan dengan conditional
Hujan
yes
no
Kuliah
yes
no
0.4*0.1=0.04
0.35*0.9=0.315
0.6*0.1=0.06
0.65*0.9=0.585
Posterior Probability
• Berdasarkan JPD diatas,
dapatdihitungposterior probability
darigejalahujan=yes adalah
0.04
=
0.04+0.315
0.112
Contoh Kasus
Temperature Kelembapan
ION
CO
Status
64
32
25
84
KEBAKARAN
69
24
23
86
KEBAKARAN
70
30
21
88
KEBAKARAN
53
30
24
85
KEBAKARAN
67
28
22
90
KEBAKARAN
23
40
35
120
TIDAK
30
35
29
118
TIDAK
29
32
25
192
TIDAK
35
41
36
101
TIDAK
24
38
27
100
TIDAK
• Hitung Peluang Kebakaran= 5/10
• Hitung Peluang Tidak Kebakaran=5/10
• Hitung nilai conditional prob. Contoh
untuk kelembapan jika kebakaran
dibuat kategori untuk kelembapan < 35
>=35
• Didapat tabel
Kelembapan
32
24
30
30
28
40
35
32
41
38
Status
KEBAKARAN
KEBAKARAN
KEBAKARAN
KEBAKARAN
KEBAKARAN
TIDAK
TIDAK
TIDAK
TIDAK
TIDAK
<35 MERAH
>=35 HITAM
P(NILAI|Kategori) = (1 + Banyaknya data
input yang jatuh pada kelas dengan
interval tertentu )/(jumlah data + jumlah
interval)
MAKA
P(Kelembapan<35|Keb
1+5
6
akaran)=5+2 = 7= 0.86
P(Kelembapan<35|TID
1+1
2
AK)=5+2 = 7= 0.29
Untuk kelembapan yang >=35
P(Kelembapan>=35|Ke
1+0
1
bakaran)=5+2 = 7=
0.14
P(Kelembapan>=35|TI
1+4
5
DAK)=5+2 = 7= 0.71
Sehingga didapat tabel conditional prob antara
kelembapan dan kebakaran
kebakaran
yes
no
Kelembapan
<35
>=35
0.86
0.14
0.29
0.71
• Lakukan hal yang sama untuk masing-masing
faktor
Didapat untuk temperature
Temperature
kebakaran <51
>=51
yes
0.14 0.86
no
0.86 0.14
• ION
kebakaran
yes
no
ION
<28
>=28
0.86
0.14
0.43
0.57
• CO
CO
kebakaran
yes
no
<91
0.86
0.14
>=91
0.14
0.86
TESTING DATA BARU
• Jika terdapat data baru yang ingin diketahui
statusnya
Temperature Kelembapan
54
32
Temperature >=51
Kelembapan <35
ION
24
ION < 28
CO <91
CO
84
Status
????
• Kita hitung P(Kebakaran|databaru)
=P(Kebakaran)*(∏P(INPUT|Kebakaran))
=0.5*(P(T<51|Kebakaran)*P(K<35|Kebakaran)*P(I<28|Kebakaran)*
P(C<91|Kebakaran))
=0.5*(0.14*0.86*0.86*0.86)
=0.04
• Kita hitung P(TIDAK|databaru)
=P(TIDAK)*(∏P(INPUT|TIDAK))
=0.5*(P(T<51|TIDAK)*P(K<35|TIDAK)*P(I<28|TIDAK)*
P(C<91|TIDAK))
=0.5*(0.86*0.29*0.43*0.14)
=0.0075
Karena P(Kebakaran|databaru) lebihbesardari
P(TIDAK|databaru)
Makapersentasekebakaranuntukdatabaru=
0.04
=84.19%
0.04+0.0075
MakapersentaseTIDAKuntukdatabaru=
0.0075
=15.81%
0.04+0.0075
Bisadiambil status KEBAKARAN=84.19%