Transcript PPT - WordPress.com

Uji Asumsi Klasik Pada
Regresi Dengan Metode
Kuadrat Terkecil (OLS)
Oleh: Ari Tjahjawandita
eMateri
 Presentasi: http://bit.ly/1ky5eLW
 Data: http://bit.ly/1fKojdZ
Peringatan
 Panduan ini hanya panduan singkat
 Sangat tidak disarankan untuk dijadikan
panduan utama
 Sangat disarankan digunakan/diaplikasikan
lebih jauh melalui mata kuliah ekonometrika
atau melalui buku ekonometrika, bukan buku
panduan sebuah perangkat lunak.
Multikolinearitas
Apa itu multikolinearitas?
Sebuah masalah yang muncul dalam regresi
linear klasik sebagai akibat adanya hubungan
antara variabel-variabel penjelas dalam model
terlalu erat (bahkan sempurna).
1x1 +
2x2
Misal: x1 –
+
3x3
+…+
ixi
=0
x2 = 0 sehingga x1 =
x2
Pernyataan statistik formalnya:
Apa akibat
multikolinearitas?
 Memenuhi kriteria Gauss- Markov (BLUE), namun
varians dan covarians-nya besar  standard error
koefisien regresi cenderung besar, menuju tak hingga
 koefisien regresi cenderung tidak signifikan
(ingat t-hitung = i/Se( i)),
 Nilai R2 bisa sangat tinggi (too good to be true),
 Koefisien regresi dan standard error-nya sensitif
terhadap perubahan data,
 Koefisien regresi tidak bisa ditentukan.
Varians & covarians koefisen regresi besar
Varians: var(bˆ2 ) =
åx
s u2
2
2
(1- r )
2
23
=
s u2
åx
2
2
VIF
1
dimanaVIF =
1- r232
r232 <=== OLS : X 2 = a1 + a 2 X 3 + v
r322 <=== OLS : X 3 = a1' + a 2' X2 + v'
Bentuk umum: var(bˆ j ) =
s u2
å x (1- r
2
j
2
ji
)
=
s u2
åx
2
j
VIFj
Koefisien regresi tidak bisa diestimasi
Pada kasus 3 variabel independen: yˆi = bˆ1 + bˆ2 x2i + bˆ3 x3i + ui
) ( å y x ) (å x x ) ,
(å x ) ( å x ) - ( å x x )
y x ) (å x ) - ( å y x ) (å x x )
å
(
=
(å x ) (å x ) - ( å x x )
bˆ2 =
bˆ3
(
å yi x2i
)(
2
x
å 3i -
2
2i
i 3i
2
2
3i
2i 3i
2
2i
i 3i
2i 3i
i 2i
2
2i
2i 3i
2
2
3i
2i 3i
karena x3i = l x2i , maka:
bˆ2
y x ) (l å x ) - ( lå y x ) ( lå x ) 0
å
(
=
=
0
(å x ) ( l å x ) - l ( å x )
2
2
2i
i 2i
2
2i
2
2
2i
i 2i
2
2i
2
2
2i
2
dan
bˆ
y l x ) ( å x ) - (å y x ) ( å x l x ) 0
å
(
=
=
0
(å x ) ( l å x ) - l ( å x )
i
3
2
2i
2i
2
2i
2
i 2i
2
2i
2
2i
2
2i
2
2i
Deteksi masalah multikolinearitas
 R2 tinggi tetapi koefisien regresi yang signifikan hanya
sedikit,
 Koefisien korelasi pair-wise
independen mencapai 0,8,
antara
2
variabel
 Auxiliary regression: regress salah satu x terhadap x
lainnya dan hitung nilai F berdasarkan nilai R2.
Fi =
R
(1- R
2
xi×x2 x3 xk
2
xi×x2 x3 xk
( k - 2)
) ( n - k +1)
Uji H0: tidak ada korelasi yang tinggi antara variabelvariabel independen.
Remedial masalah
multikolinearitas
1. Informasi apriori,
Yi = b1 + b2 X2i + b 3 X 3i + ui
informasi apriori : b 3 = 0.10 b 2 , sehingga:
Yi = b1 + b 2 X2i + 0.10 b 2 X 3i + ui
= b1 + b 2 Xi + ui
dimana: Xi = X 2i + 0.10 X 3i
Setelah
2
diestimasi,
3
bisa dihitung.
2. Gunakan regresi data panel,
3. Keluarkan salah satu variabel, tetapi….. TIDAK
MENIMBULKAN
MASALAH
KESALAHAN
SPESIFIKASI,
4. Transformasi variabel (rasio terhadap variabel lain, log,
diferens, pertumbuhan),
5. Menambah data,
6. Kurangi kolinearitas
xn  xn-1,
dalam
regresi
polinomial:
7. Pilih variabel penjelas berdasarkan analsis faktor dan
principal component analysis, tetapi….. TIDAK
MENIMBULKAN
MASALAH
KESALAHAN
SPESIFIKASI.
Heteroskedastisitas
Apa itu heteroskedastisitas?
Sebuah masalah yang muncul dalam regresi
linear klasik sebagai akibat varians dari
error term model yang diestimasi tidak
konstan antara periode/cross section.
Umum pada data cross-section dan data
runtun waktu dengan frekwensi yang tinggi.
Pernyataan statistik formalnya:
Secara grafis
Homoskedastis
f(yi)
.
x11=80
x12=90
.
.
Var(ui) = E(ui2)= 2
x13=100
income
x1
i
Pola error term yang
homoskedastis
yi
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. ..
.
.
.
..
.
.
.
.
.
.
.
.
.
. . . . .
..
. .
.
xi
Error term tersebar merata
Heteroskedastis
f(yi)
.
.
x11
x12
.
Var(ui) = E(ui2)= i2
x13
income
x1
yt
Pola error term yang
heteroskedastis
.
.
.
.
.
.. . .
.
.
. . . . . .. .
. . . . .
.
.
.
.
. . . . . .
.
.
.
.
.
. . ..
.
. .
0
xt
Error term menyebar secara unik
Deteksi secara grafis
uˆ 2no heteroscedasticity
uˆ 2
yˆ
uˆ
2
yes
yes
yˆ
uˆ
yˆ
uˆ 2
yes
2
yes
yˆ
uˆ
yˆ
2
yes
yˆ
Apa akibat
heteroskedastisitas?
 Estimasi OLS tetap linier dan tidak bias, namun…
( )
 Var bˆi tidak minimum, bukan yang terbaik (best),
tidak efisien, tidak BLUE (hanya LUE),
 t-hitung dan F-hitung tidak bisa dipercaya, karena:
SEE = sˆ dan RSS =åuˆ i2
oleh karenanya error term tidak akan minimum.
Bukti
Persamaan regresi sederhana: Yi = b1 + b 2 Xi + ui
Estimator b 2 bisa diestimasi dengan rumus
bˆ2
xy
å
=
åx
i i
2
i
=
nå XiYi - å Xi åYi
nå X 2
i
(å X )
s2
( ) åx
dan var bˆ2 =
2
i
2
i
xs
å
ˆ
bila ada heteroskedastisitas : var ( b ) =
(å x )
xs
å
s
dan
>
, sehingga rentang derajat kepercayaan membesar
(å x ) å x
2
i
2
2
i
2
i
2
i
2
2
i
2
i
2
2
2
i
dan akibatnya uji t dan F menjadi tidak akurat.
Deteksi masalah heteroskedastisitas:
Uji Heteroskedastisitas White (LM test)
Uji Heteroskedastisitas White (tanpa cross-term):
Uji Heteroskedastisitas White (dengan cross-term):
Remedial masalah heteroskedastisitas:
Metode Weighted Least Square (WLS)
Bila Yi = 1 + 2X2 + 3X3 + ui
E(ui) = 0, E(ui,uj) = 0
ij
Var (ui2) = i2 =  2 Z(X2) = 2Zi2 = 2E(Yi)2
Transformasi semua variabel dalam model menjadi:
Yi b1
X2i
X3i ui
= + b2
+ b3
+
Z i Zi
Zi
Zi Zi
Masalahnya  2 dan Z tidak diketahui.
Lalu bagaimana menentukan Z ?
Plot residual dan kuadrat residual terhadap salah satu
variabel independen.
^i
u
+
0
-
^
u2
X3
Yi
b1
X2i
X3i ui
Sehingga:
=
+ b2
+ b3
+
X3i X 3i
X 3i
X3i X3i
X3
Bila polanya seperti berikut:
^i
u
+
0
-
^
u2
X3
X3
Maka:
Yi
b1
X2i
X 3i
ui
=
+ b2
+ b3
+
X3i
X3i
X3i
X3i
X3i
Otokorelasi/
Korelasi Serial
Apa itu otokorelasi?
Bila error term di satu periode memiliki
korelasi dengan error term di periode
lainnya.
Macam & sifat otokorelasi
 Hanya terdapat pada data runtun waktu (time series).
 First order autocorrelation: bila berkorelasi dengan
error term satu periode sebelumnya/sesudahnya.
 Second order autocorrelation: bila berkorelasi dengan
error term dua periode sebelumnya/sesudahnya, dst.
 Otokorelasi negatif: bila berkorelasi negatif dengan
error term di periode lainnya.
 Otokorelasi positif: bila berkorelasi positif dengan
error term di periode lainnya.
Pernyataan statistik formalnya:
Otokorelasi: Cov (ut ,ut-i ) ¹ 0
Apa akibat otokorelasi?
 Estimasi OLS tetap linier dan tidak bias, namun…
( )
 sama seperti heteroskedastisitas, Var bˆi tidak
minimum, bukan yang terbaik (best), tidak efisien,
tidak BLUE (hanya LUE),
( )
 Se bˆi , standard error koefisien regresi cenderung
besar, sehingga t-hitungnya kecil, sehingga
koefisiennya menjadi tidak signifikan.
Bukti
Persamaan regresi sederhana: Yi = b1 + b 2 Xi + ui
Estimator b 2 bisa diestimasi dengan rumus
å
ˆ
b2 =
xi yi
åx
2
i
=
nå XiYi - å Xi åYi
(å X )
s
ˆ
) = 0,var ( b ) =
åx
nå X -
2
2
i
dan: Cov ( ut ,ut-1
i
2
2
2
i
bila ada otokorelasi :Cov ( ut ,ut-1 ) ¹ 0 dan ut = rut-1 + vt
æ åx x
xt xt+i
å
t t+i
2
ˆ
Sehingga: var b 2 =
+ çr
r
+
2
2
2
ç
å xi è å x t
å xt
dimana -1 < r < 1
( )
s2
ö
÷
÷
ø
Deteksi masalah otokorelasi:
Uji Breusch-Godfrey (LM test)
1. Estimasi model OLS dan hitung ut.
2. Regress ut terhadap semua variabel independen,
ditambah ut-1, ut-2, ut-3,…, ut-i
ut = 1 + 2xt + ut-1 + ut-2 + ut-3 + … + ut-p + vt
3. Hitung nilai BG-statistik = (n-p)R2~2
p is jumlah of orde kelambanan
4. Bila BG > 2p, tolak Ho (ada otokorelasi)
Bila BG < 2p, jangan tolak Ho (tidak ada otokorelasi)
Remedial masalah otokorelasi
 Transformasi semua variabel ke bentuk first difference,
 Tambahkan data Trend sebagai variabel penjelas,
 Cochrane-Orcutt Two-Step procedure (CORC),
 Prais-Winsten transformation,
 Durbin’s Two-Step method,
 Gunakan AR(1), yaitu variabel dependen dalam
bentuk kelambanan (lag) sebagai variabel penjelas.
Cochrane-Orcutt Two-step procedure (CORC)
(1) Regress Yt = 1 + 2 Xt + ut
(2) Regress ut =  ut-1 + ^
vt
(3) Gunakan ^ untuk mentranformasi variabel:
Yt* = Yt - ^ Yt-1
Xt* = Xt - ^ Xt-1
Yt = 1 + 2 Xt + ut
 Yt-1 =^ 1  +^ 2  Xt-1^ + ut-1
^
^
^
(Y^t - Yt-1) = ^ 1(1-) +2(X
t - Xt-1)
+ (ut -ut-1)
(4) Regress
Yt* = 1* + 2* Xt* + ut*
Generalized
Least Squares
(GLS) method
(5) Kalau berdasarkan BG test masih ada otokorelasif, ulangi lagi
langkahnya dengan menggunakan ut*
(6) Regress
u^t* =  u^t-1* + vt’
^
^
  (1 -
DW2
2
)
^
^
Diperoleh  dari tahap kedua mengestimasi 
^
^
(7) Gunakan  untuk mentransformasi variabel
^
^
Yt** = Yt -  Yt-1
Xt**
(8) Regress
Dimana
Yt = 1 + 2 Xt + ut
^
^
= Xt -  Xt-1
^
^
^
^
^
^
^
^
 Yt-1 = 1  + 2 Xt-1 + ut-1
Yt** = 1** + 2** Xt** + ut**
^
^
^
^
^
^
^
(Yt -  Yt-1) = 1 (1 - ) + 2 (Xt -  Xt-1) + (ut -  ut-1)
^
^
^
^
^
(9) Ulangi langkahnya sampai ( -  < 0.01)
Terima kasih