Transcript Neural Network Pertemuan 5

Out Come
Setelah mengikuti pertemuan ini mahasiswa diharapkan dapat
mengerti dan menjelaskan: metoda pelatihan terbimbing dan
contoh aplikasinya, modifikasi metoda BackPropagation dan
contoh aplikasinya.
Out Line
Metoda Pelatihan Terbimbing JST dan contoh aplikasinya
Metoda BackPropagation dan contoh aplikasinya
Metoda supervised learning adalah metoda pelatihan yang memasukkan
target keluaran dalam data untuk proses pelatihannya.
Beberapa Modifikasi metoda :
-
Metoda JST Perseptron lapis jamak (multi layer perseptron)
terdiri dari beberapa unit pemroses (neuron) yang terhubung dan
mempunyai beberapa masukan serta sebuah atau beberapa keluaran. Dapat
dirumuskan kedalam beberapa rumusan:
jml perkalian penimbang (w) dan parameter masukan (x)
I = wjixi
bila I>T maka keluaran 0=1 sebaliknya 0=0,T adalah treshold. Bila
dibandingkan dengan keluaran JST maka:
Wbaruji = wlamaji + α (tj-0j)xi
Ket : tj = target
α = konstan 0,1 – 0,9 (learning late)
(3.1)
Contoh Aplikasi JST Perseptron lapis jamak Adalah MLP (7-3-1) untuk
mengenali logika 7 segment.
Dalam metoda ini dibutuhkan normalisasi sehingga dapat dirumuskan:
Nilai_normalisasi = nilai_aktual – nilai_min
nilai_maks – nilai_min
-
Metoda Backpropagation / propagasi balik
dirumuskan oleh werbos dan dipopulerkan Rumelhart Mc Clelland.
Karakteristik :
- di desain untuk operasi pada JST feed Forward lapis jamak
- kebanyakan di implementasikan pada aplikasi pengemdalian dikarenakan
interkoneksi yg sederhana.
- pola masukan sebagai pola keluar diuraikan ke unit lapis tersembunyi
untuk diteruskan ke unit lapis keluar.
Fase – fase yang digunakan untuk menyelesaikan masalah adalah :
Algoritma Pelatihan Backpropagation
Terdiri dari 2 tahapan:
a. Feed Forward
1.
b. Backpropagation dari galatnya
Langkah 0 :
Inisialisasi penimbang
Langkah 1:
Ulangi langkah 2 & 9 sampai kondisi iterasi terpenuhi.
Langkah 2:
Masing2 pasangan data pelatihan lakukan langkah 3 & 8
Umpan maju (feed forward)
Langkah 3:
Unit masukan (Xi,i = 1,…n) menerima sinyal masukan xi dan disebarkan ke unit
lapis tersembunyi
Langkah 4:
Z_inj = V0j +
(3.4)
Kemudian dihitung sesuai dengan fungsi pengaktif:
Zj = f(Z_inj)
(3.5)
Bila yang digunakan adalah fungsi sigmoid maka menjadi:
Zj
=
(3.6)
Langkah 5:
Unit keluaran (Yk,k=1,2,3…m)
Y_ink = w0k+
(3.7)
Dihitung kembali dng fungsi pengaktif
Yk = f(y_ink)
(3.8)
Backpropagasi dan galatnya:
Langkah 6:
Unit keluaran menerima pola target sesuai pola masukan saat pelatihan dan
dihitung galatnya:
δ = (tk-yk)f’(y_ink)
(3.9)
Karena f’ (y_ink) = f(y_ink)(1-f(y_ink)
= yk(1-yk)
(3.10)
Langkah 7:
Unit lapis keluaran menghubungkan pada lapis tersembunyi (z1,j=1,…,p)
δ = inj =
(3.11)
Menghitung galat pengaktifannya:
δ = δ_injf’(y_inj)
(3.12)
Memperbaiki penimbang dan bias
Langkah 8:
Keluaran unit diperbaiki bias dan penimbangnya:
Wjk (baru)= Wjk(lama) +
Vjk
Langkah 9:
Uji kondisi pemberhentian (akhir iterasi)
(3.13)
Dikenal juga sebagai Generalized Delta Rule (GDR).
TUJUAN
Digunakan untuk meminimalkan jumlah kuadrat kesalahan (galat)
PROSES PEMECAHAN MASALAH
1.
Umpan Maju (feed Forward)
2.
Back Propagasi (Back Propagation)
Tahap Umpan Maju
H=
(x1,t1), (x2,t2)…,(xq,xq)
(3.14)
Jumlah total masukan unit ke –j di lapisan tersembunyi
Z_inj =
(3.15)
Dengan nilai pengaktif :
Zj = f(Z_inj)
=
(3.16)
Pada lapis keluaran
Dapat dirumuskan persamaan untuk memperbaiki penimbangnya:
Wn (t+1)=Wn(t)+α. δk.Zj
(3.17)
Alpha (learning rate) merupakan suatu parameter yang digunakan untuk
mengatur laju perubahan nilai penimbangnya dan bernilai 0 dan 1.
Pada lapis tersembunyi
Dapat dirumuskan persamaan untuk memperbaiki penimabangnya:
Vji(t+1)=Vji(t)+α. δjXi
(3.18)
Parameter yang turut menurunkan keberhasilan proses pelatihan pada
algoritma BP (Back Propagation)


Inisialisasi penimbang
Jenis adaptasi penimbang
- adaptasi kumulatif
- adaptasi biasa

Learning rate/laju pelatihan

Momentum

Penentuan jumlah lapis tersembunyi
Metoda Quickpropagation
Ialah hasil modifikasi metoda JST BP.
Tujuan
Menaikkan akselerasi pelatihan dilakukan denagn penambahan konstata
memori pada proses perhitungan
Persamaan
(3.19)
Metoda Lavenberg-Marquardt
Ialah Kombinasi algoritma Newton dengan metoda steepest descent
Tujuan
Mereduksi matrik Jacobian.
Persamaan
Wk+1 = Wk-(
Jk + µI)-1
Ket:
e= vektor galat kumulatif
I = matriks identitas
J= matrik Jacobian
µ = laju pelatihan
e
(3.20)
Mereduksi Jaringan Saraf Tiruan (Pruning Neural Networks)
Untuk menyelesaikan berbagai problem komputasi, tetapi masih ada
problem yang masih harus diatasi sehingga pemakaiannya optimal.
Salah satu problem pemakaian JST adalah penentuan seberapa besar
JSTyang tepat untuk menyelesaikan suatu problem tertentu.
Ada 2 pendekatan untuk pemecahan masalah, yaitu :
 Pengembangan algoritma dimulai dari JST kecil, dilatih dan selama
proses pelatihan JST tersebut dapat tumbuh dan berkembang jika
diperlukan.
 Mengembangkan algoritma yang dimulai dari JST besar, setelah dilatih
direduksi jumlah unit-unitnya, tetapi dengan menghindari terjadinya
perubahan kemampuan dari JST.
Metoda Constructive Backpropagation
Ada 3 metoda pendekatan untuk menyesuaikan kompleksitas
arsitektur JST dengan problematika, yaitu :
 Mencoba pelatihan sejumlah JST dengan ukuran yang berbedabeda
 Penggunaan suatu JST yang lebih besar dari yang diperlukan
 Algoritma konstruktif
Keuntungan konstruktif dibandingkan dengan pendekatan
pruning dan regularization adalah sbb :
 Algoritma konstruktif langsung menentukan JST awal
 Algoritma konstruktif selalu mencari penyelesaian dengan JST
yang kecil terlebih dahulu
 Karena beberapa JST dengan ukuran yang berbeda dapat
diterapkan untuk mendapatkan penyelesaian yang dikendaki
 Algoritma pruning biasanya mengukur perubahan pada kesalahan
Ada beberapa metoda algoritma konstruktif, yaitu :
 algoritma Upstart,
 algoritma Tiling,
 algoritma Pocket,
 Dynamic Unit Creation,
 JST Growing Neural-Gas Linear Mapping (GNG-LLM)
Cascade-Correlation dan Constructive Backpropagation,
mempunyai beberapa kesamaan tetapi CBP mempunyai beberapa
kelebihan :
 CBP hanya menggunakan satu cost function selama pelatihan
 CBP menggunakan cost function berapa jumlah dari kuadrat galat
 CBP memungkinkan adanya penambahan dan pelatihan beberapa
unit tersembunyi sekaligus
 CBP algoritma lanjut dapat melakukan adaptasi struktur secara
otomatis dan kontinyu
Algoritma Dasar Pelatihan CBP

Inisialisasi : Pembentukan JST awal berupa JST tanpa unit
tersembunyi
n
SSE =
r
  (d
l 1
k 1
lk
 olk ) 2
Keterangan :
d lk
= Keluaran yang dikehendaki untuk sample ke-l dan unit
keluaran ke-k
olk = Keluaran JST untuk sample ke-l dan unit keluaran ke-k
n
= Jumlah sampel data
r
= Jumlah unit keluaran

Pelatihan unit tersembunyi baru : Menghubungkan masukan ke unit
baru dan sambungkan keluarannya ke unit keluaran
i 1
mSSEI   (d lk   v jk h jl  vik hil ) 2   (ekl  vlk hil ) 2
l ,K
j 0
i
l ,k
Keterangan :
d lk = Keluaran yang tidak dikehendaki pada unit keluaran
ke-k untuk pola training ke-1
v jk
h jl
e
i
kl
= Interkoneksi dari unit tersembunyi ke-j ke unit
keluaran ke-k
= Keluaran dari unit tersembunyi ke-j untuk pola
training ke-l
= Sisa galat dari unit keluaran ke-k untuk pola training
ke-l


Pembekuan unit tersembunyi baru : Menetapkan secara permanen
penimbang yang berinterkoneksi dengan unit baru
Uji konvergensi : jika unit tersembunyi telah menghasilkan solusi
yang layak, maka pelatihan dihentikan.
JST – Recurrent
JST dengan fasilitas umpan balik menuju neuron itu sendiri
maupun neuron yang lain, sehingga aliran informasi dari masukan
mempunyai arah jamak (Multidirectional).
Pada prinsipnya JST – Recurrent sama dengan JST –
Backpropagation dengan tambahan unit konteks yang hanya
menerima masukan internal (masukan balik dari lapis tersembunyi
atau keluaran).
JST Berbasis Fungsi Radial (Metoda Pelatihan Hibrida)
Model JST ini, neuron-neuron keluarannya adalah hasil
kombinasi linier fungsi basis neuron-neuron pada lapis
tersembunyi.
Sebagai fungsi basis yang umum digunakan adalah Gaussian.
Perbedaan umum antara JST perceptron lapis jamak (MLP) dengan
JST berbasis fungsi radial yaitu menggunakan gaussian pada lapis
tersembunyi JST-RBF, sedangkan JST-MLP menggunakan fungsi
sigmoid.
Unit-unit pada lapis tersembunyi menggunakan fungsi
pengaktif Gauss
Fungsi Radial : suatu fungsi yang mempunyai karakteristik
menanggapi pengurangan ataupun penambahan secara monoton
dengan jarak yang berasal dari nilai tengahnya.
h( x)   ((x  c)T R 1 ( x  c))
Beberapa jenis fungsi pengaktif JST-RBF adalah sbb:

Fungsi Thimplate Splane
 ( z,1)  z log(z)
2

Fungsi Multiquadratic
 ( z, )  ( z 2   2 )1/ 2

Fungsi Inverse Multiquadratic
 ( z, )  1

1/ 2
(z 2   2 )
Fungsi Gauss
 ( z, )  exp( z 2 /  2 )
Metoda Pelatihan JST-RBF
Proses pelatihan JST-RBF dilakukan untuk perbaikan penimbang
yang menghubungkan unit-unit masukan dengan lapis tersembunyi
dan unit-unit lapis tersembunyi dengan unit-unit lapis keluaran JST.
Ada 3 macam pendekatan sebagai dasar teori untuk melakukan
pelatihan adalah sebagai berikut :
 Seleksi simpul pusat secara random
 Simpul pusat diseleksi dengan metoda pelatihan mandiri
 Simpul pusat diseleksi secara tertimbang
Metoda JST Comterpropagation
Suatu kombinasi antara struktur JST kompotitif dan struktur
ouster yang dikemukakan oleh Grosberg
Proses pelatihan JST-CP :
 Pilih acak pasangan (x,y) dari data pelatihan
 Normalisasi vector masukan x
x 
n
x
j 1
2
j
 Inisialisasi neuron masukan dan dinormalisasi
 Penimbang antara W dan semua unit N pada lapis masukan diatur
dengan menggunakan persamaan
H
H
H
wWn
(t  1)  wWn
(t )   ( xn  wWn
(t ))
 Ulangi langkah1 sampai 5
 Ulangi langkah 6
 Pilih pasangan vector pertama pada data pelatihan
 Ulangi langkah 2 sampai 4
 Atur penimbang antara unit pemenang pada lapis tersembunyi
dengan semua unit keluaran M menggunakan persamaan
O
O
O
wmW
(t  1)  wmW
(t )   ( ym  wmW
(t ))
 Ulangi langkah 9 dan 10
 Ulangi langkah 8 dan 11