Transcript MLP-Back Propagation Network

MLP Feed-Forward
Back Propagation Network
Nurochman
Arsitektur MLP
x1
xn
Algoritma BackPropagation
1.
Inisialisasi bobot-bobot dan atau bias
tentukan laju pembelajaran (α)
tentukan nilai ambang/ nilai toleransi (𝛉)
atau tentukan epoch maksimal
2. While kondisi berhenti tdk terpenuhi do langkah 3 – 10
3. Untuk setiap pasangan pola pelatihan, lakukan langkah 4 –
9
Tahap umpan maju
4. Setiap unit input Xi dari i=1 sampai n mengirim sinyal ke
lapisan tersembunyi
5.
Menghitung sinyal output pada lapisan tersembunyi
6.
Menghitung sinyal output pada lapisan output
Tahap propagasi balik
7. Menghitung error pada lapisan output, menghitung besar
koreksi bobot dan bias antara lapisan tersembunyi dan
output, lalu update bobot dan bias
Wjk (baru)  Wjk (lama)  Wjk
8. Menghitung error pada lapisan tersembunyi, menghitung
besar koreksi bobot dan bias antara lapisan input dan
tersembunyi, lalu update bobot dan bias
Vij(baru)  Vij(lama)  Vij
Tahap update bobot dan bias
9. Update bobot dari lapisan tersembunyi ke lapisan output
Wjk (baru)  Wjk (lama)  Wjk
Update bobot dari lapisan input ke lapisan tersembunyi
Vij(baru)  Vij(lama)  Vij
10.Tes kondisi berhenti (error sudah <= 𝛉) atau epoch
tercapai)
Algoritma Aplikasi
1. Loading bobot dan bias hasil pelatihan
2. Menghitung sinyal output pada lapisan tersembunyi
3. Menghitung sinyal output pada lapisan output
4. Output dari lapisan output itulah yang menjadi output JST
Persyaratan Minimasi Error
1
2
E   (t k  yk )
2
Fungsi Sigmoid Biner
1
f1 ( x) 
1  exp( x)
f ( x)  f1 ( x)(1  f1 ( x))
'
1
Fungsi Sigmoid Bipolar
f 2 ( x)  2 f1 ( x)  1
1
f 2 ( x)  (1  f 2 ( x))(1  f 2 ( x))
2
'
Fungsi Tangen Hiperbolik
exp(x)  exp( x)
tanh(x) 
exp(x)  exp( x)
1  exp(2 x)
tanh(x) 
1  exp(2 x)
tanh ( x)  (1  tanh(x))(1  tanh(x))
'
Inisialisasi Bobot dan Bias
 Inisialisai Acak (interval antara -lamda dan lamda),
misal (-0,4 dan 0,4)
 Inisialisasi Nguyen-Widrow
Inisialisasi Nguyen-Widrow
 Pembelajaran lebih cepat
 Inisialisasi bobot antara lapisan tersembunyi dan output tetap
menggunakan acak
 Faktor skala Nguyen-Widrow (  )
  0.7( p)
1
n
 n = jumlah unit input
 p = jumlah unit tersembunyi
 ß = faktor skala
Prosedur Inisialisasi Nguyen-Widrow
 Inisialisasi bobot antara unit input dan unit tersembunyi
dengan cara:
- menentukan bobot antara unit input dan unit tersembunyi
Vij (lama) = bil acak antara (-ß dan ß)
- Menghitung ||Vij||
- Menginisialisasi Vij:
  Vij (lama )
Vij 
Vij
 Menentukan bias antara unit input dan unit tersembunyi
dengan bilangan acak antara (-ß dan ß)
Update bobot dg momentum
 Momentum memaksa proses perubahan bobot
 Tidak terperangkap dalam minimum lokal (local minima)
Wjk (t  1)  k Z j  Wjk (t )
Vij (t 1)   j X i  Vij (t )
 Miu adalah parameter momentum dalam range 0 sampai 1
Tugas
 Implementasikan algoritma BP untuk mengenali pola huruf
di atas.
 Satu huruf berukuran 3x5 dengan target masing-masing
untuk B (1,1), D (1,-1), F(-1,1) dan H (-1,-1)
 Gunakan representasi bipolar dan fungsi sigmoid bipolar
Any Questions?