Transcript Gradient Descent/Ascent

GRADIENT DESCENT (ASCENT)
By Eni Sumarminingsih, SSi, MM
 Gradient
descent (ascent) adalah algoritma
optimasi orde pertama.
 Untuk menemukan minimum lokal dari fungsi
menggunakan gradien descent, diambil
langkah sebanding dengan negatif dari gradien
(atau perkiraan gradien) dari fungsi pada titik
sekarang.
 Jika diambil langkah sebanding dengan
gradien positif, maka akan didapatkan
maksimum lokal fungsi tersebut; prosedur ini
kemudian dikenal sebagai gradient ascent
 Gradient descent juga dikenal sebagai steepest
descent, sedangkan gradient ascent dikenal
dengan steepest ascent.
ALGORITMA (MAKSIMISASI)
Mulai dari titik awal v0
 Bergerak dari v0 ke v1 dengan arah f(v0) :
v1 = v0 + t0 f(v0)
dengan t0 adalah solusi dari masalah optimisasi
berikut:
max f(v0 + t0 f(v0) )
s.t t0 ≥ 0
 Langkah – langkah tersebut diulangi sampai
didapat nilai vi dan vi+1 yang cukup dekat

ALGORITMA (MINIMISASI)
Mulai dari titik awal v0
 Bergerak dari v0 ke v1 dengan arah f(v0) :
v1 = v0 - t0 f(v0)
dengan t0 adalah solusi dari masalah optimisasi
berikut:
min f(v0 - t0 f(v0) )
s.t t0 ≥ 0
 Langkah – langkah tersebut diulangi sampai
didapat nilai vi dan vi+1 yang cukup dekat

ILUSTRASI
CONTOH SOAL
Gunakan metode steepest ascent untuk
aproksimasi solusi dari
max 𝑧 = − 𝑥1 − 3 2 − 𝑥2 − 2 2
s.t 𝑥1 , 𝑥2 ∈ 𝑅2
Dengan titik awal v0 = (1,1)
Jawab: f(x1, x2) = (– 2(x1 – 3), – 2(x2 – 2))
f(v0) = f(1,1) = (4,2)
Pilih t0 yang memaksimumkan
f(v0 + t0 f(v0) )  max f[(1,1)+t0(4,2)]
 max f[1+4t0 , 1+2t0]
max 𝑧 = − 1 + 4𝑡0 − 3 2 − 1 + 2𝑡0 −
max 𝑧 = − 1 + 4𝑡0 − 3 2 − 1 + 2𝑡0 − 2 2
max 𝑧 = − −2 + 4𝑡0 2 − −1 + 2𝑡0 2
f ‘(t0)=0  - 2(-2+4t0)4 -2(-1+2t0)2 = 0
20 – 40 t0 = 0
t0 = 0.5
v1 = [(1,1)+0.5(4,2)] = (3,2)
Karena f(3, 2) = (0,0) maka iterasi dihentikan
Karena f(x1, x2) adalah fungsi konkaf, maka (3,2)
adalah solusi yang dicari
SOAL -SOAL
Gunakan metode gradient ascent untuk
menduga solusi optimal dari
max 𝑧 = − 𝑥1 − 2 2 − 𝑥1 − 𝑥22
mulai dari titik awal (2.5, 1.5)
2. Gunakan metode gradient descent untuk
menduga solusi optimal dari
min 𝑧 = 𝑥1 − 𝑥2 + 𝑥12 − 𝑥1 𝑥2
1.