Transcript JST

JST
(Jaringan Syaraf Tiruan)
ANN (Artificial Neural Network)
Bagaimana Manusia Belajar
Menangis?
Berjalan?
Berbahasa?
Berpikir?
Merasakan?
Outline
Otak Manusia
- Jaringan Saraf Tiruan (JST)
- Konsep Dasar JST
- Komponen JST
- Arsitektur JST
- Fungsi Aktivasi JST
-
Otak Manusia
Otak Manusia
Kemampuan manusia dalam memproses informasi,
mengenal wajah, tulisan, dsb.
 Kemampuan manusia dalam mengidentifikasi
wajah dari sudut pandang yang belum pernah
dialami sebelumnya, Bahkan anak-anak dapat
melakukan hal tsb.
 Kemampuan melakukan pengenalan meskipun
tidak tahu algoritma yang digunakan.
 Proses pengenalan melalui peninderaan berpusat
pada otak sehingga menarik untuk mengkaji
struktur otak manusia

Otak Manusia
Otak Manusia
© 2000 John Wiley & Sons, Inc.
Otak Manusia











Bertugas untuk memproses informasi
Seperti prosesor sederhana? (rumit?)
Masing-masing cell tersebut berinteraksi mendukung kinerja otak
Setiap sel (neuron) memiliki satu nukleus (soma), bertugas
memproses informasi, informasi diterima oleh dendrit, dan
disebarkan melalui akson
Pertemuan informasi antar syaraf berada di sinapsis
Manusia memiliki krg lbh 10^12 neuron! Dan 6x10^18 sinapsis!
Informasi yang dikirimkan berupa rangsangan dengan sebuah batas
ambang (threshold)
Pada batas tertentu, syaraf lain akan teraktifasi dan merespon
Hubungan antar syaraf terjadi secara dinamis
Otak manusia memiliki kemampuan untuk belajar dan beradaptasi
Mampu mengenali pola, wajah, mengkontrol organ tubuh!
Jaringan Saraf Tiruan (JST)
JST - Pengertian
Jaringan syaraf tiruan adalah merupakan
salah satu representasi tiruan dari otak
manusia yang selalu mencoba untuk
mensimulasikan proses pembelajaran pada
otak manusia tersebut
 Tiruan karena di implementasikan dengan
program komputer

JST - Sejarah



1940 : llmuwan menemukan bahwa psikologi
otak manusia sama dengan pemrosesan
komputer
1943 : McCulloch dan Pitts merancang
model pertama kali sebagai perhitungan
dasar neuron
1949 : Hebb menyatakan bahwa informasi
dapat disimpan dalam koneksi-koneksi dan
mengusulkan adanya skema pembelajaran
untuk memperbaiki koneksi-koneksi antar
neuron tersebut
JST - Sejarah



1954 : Farley dan Clark mensetup modelmodel untuk relasi adaptif stimulus-respon
dalam jaringan random
1958 : Rosenblatt mengembangkan konsep
dasar tentang perceptron untuk klasifikasi
pola
1960 : Widrow dan Hoff mengembangkan
ADALINE untuk kendali adaptip dan
pencocokan pola yang dilatih dengan aturan
pembelajaran Least Mean Square
JST - Sejarah



1974 : Werbos memperkenalkan algoritma
backpropagation untuk melatih perceptron
dengan banyak lapisan
1975 : Little dan Shaw menggambarkan
jaringan syaraf menggunakan model
probalistik
1982 : KOhonen mengembangkan metode
pembelajaran jaringan syaraf yang tidak
terawasi (unsupervised learning) untuk
pemetaan
JST - Sejarah


1982 : Grosberg mengembangkan teori
jaringan yang terinspirasi oleh perkembangan
psikologi. Bersama Carpenter mereka
mengenalkan sejumlah arsitektur jaringan,
Adaptive Resonance Theory (ART), ART2
dan ART3
1982 : Hopfield mengembangkan jaringan
syaraf recurrent yang dapat digunakan untuk
menyimpan informasi dan optimasi
JST - Sejarah
1985 : Algoritma pembelajaran dengan
menggunakan mesin Boltzmann yang
menggunakan model jaringan syaraf
probabilistik mulai dikembangkan
 1987 : kosko mengembangkan jaringan
Adaptive Bidirectional Associative
Memory (BAM)
 1988 : mulai dikembangkan fungsi radial
basis

Konsep Dasar JST
10 - 100 Milyar neuron
10 - 100 Trilyun koneksi
Store & retrieve?
Unlimited capacity?
How we learn?
[Sumber: Digital Studio – Paris, Perancis]
Konsep Dasar JST
Konsep Dasar JST
Sejumlah sinyal masukan x dikalikan dengan masing-masing
penimbang yang bersesuaian W
 Kemudian dilakukan penjumlahan dari seluruh hasil perkalian
tersebut dan keluaran yang dihasilkan dilalukan kedalam
fungsi pengaktip untuk mendapatkan tingkatan derajad sinyal
keluarannya F(x.W)
 Walaupun masih jauh dari sempurna, namun kinerja dari
tiruan neuron ini identik dengan kinerja dari sel otak yang
kita kenal saat ini
 Misalkan ada n buah sinyal masukan dan n buah penimbang,
fungsi keluaran dari neuron adalah seperti persamaan berikut:
F(x,W) = f(w1x1 + … +wnxn)

Komponen JST
Jaringan syaraf terdiri atas beberapa
neuron
 Ada hubungan antar neuron
 Neuron mentransformasikan informasi yg
diterima melalui sambungan keluarnya
menuju neuron-neuron yg lain
 Pada jaringan syaraf hubungan ini dikenal
dengan bobot

Istilah dalam JST







Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST
Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling
berhubungan dan membentuk lapisan
Input: sebuah nilai input yang akan diproses menjadi nilai output
Output: solusi dari nilai input
Hidden layer: lapisan yang tidak terkoneksi secara langsung
dengan lapisan input atau output, memperluas kemampuan JST
Bobot: nilai matematis dari sebuah koneksi antar neuron
Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai
bobot per-iterasi dari semua nilai input.
◦ Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya
dan kemudian menjumlahkannya (disebut penjumlahan sigma)
◦ Berbentuk linier atau tidak linier, dan sigmoid

Paradigma pembelajaran: bentuk pembelajaran, supervised learning,
atau unsupervised learning
Arsitektur JST
Neuron-neuron dikelompokkan dalam
lapisan-lapisan
 Neuron yang terletak pada lapisan yang
sama akan memiliki keadaan yang sama
 Kelakuan neuron ditentukan oleh fungsi
aktivasi dan pola bobotnya

Arsitektur JST
Para ahli memodelkan sel syaraf otak
manusia ke dalam berbagai arsitektur
ANN (susunan neuron) yang berbedabeda.
 Masing-masing arsitektur menggunakan
algoritma belajar khusus.

Single-Layer Feedforward Networks
Input layer
of source node
Output layer
of neurons
Multi-Layer Feedforward Networks
Input layer
of source
node
Layer of
hidden
neurons
Layer of
output
neurons
Recurrent Networks (dengan hidden neurons)
Lattice Structure (satu dimensi, 3 neurons)
Input
layer of
source
nodes
Lattice Structure (dua dimensi, 3x3 neurons)
Input
layer of
source
nodes
Fungsi Aktivasi
Hard Limit
 Threshold
 Linear (Identity)
 Sigmoid
 Radial Basis Function (RBF)
…

Hard Limit
 (v)
1 if v  0
 (v )  
0 if v  0
1
0
v
Treshhold
 (v)
1 if v  
 (v )  
0 if v  
1
0

v
Symetric Hard Limit
 (v)
1 if v  0

 (v)  0 if v  0
 1 if v  0

1
0
-1
v
Bipolar Treshold
1 if v  

 (v)  0 if v  
 1 if v  

 (v)
1
0
-1

v
Linear (Identity)
 (v)
 (v )  v
1
-1
0
-1
1
v
Piecewise Linear
 (v)
1

 (v)  v  0,5
0

1
-0,5
0
0,5
v
jika v  0,5
jika 0,5  v   0,5
jika v   0,5
Symetric Piecewise Linear
 (v)
1

 (v)  v
 1

1
-1
1
-1
v
jika v 1
jika 1  v   1
jika v   1
Sigmoid
 (v)
1
 (v ) 
1  e  av
1
0
v
Symetric (Bipolar) Sigmoid
 (v)
1  e  av
 (v ) 
1  e  av
1
0
-1
v
Radial Basis Function (RBF)
 (v)
 (v )  e
1
0
v
 av 2