Transcript Regresi Linier Berganda

Regresi Linier Berganda
1
Asumsi Analisis Regresi Linier
1. Data Y berskala minimal interval
Data X berskala minimal nominal
(jika data X berskala nominal / ordinal
harus menggunakan bantuan variabel
dummy)
2. Existensi untuk setiap nilai dari variabel x
yang tetap, y adalah variabel random
dengan distribusi probabilitas tertentu
yang mempunyai mean dan varians.
2
Asumsi Analisis Regresi Linier
3. Nilai y secara statistik saling bebas
4. Linieritas, nilai rata-rata y adalah sebuah
fungsi garis lurus dari x
5. Homoscedasticity. Varians dari y adalah
sama pada beberapa x
6. Distribusi normal pada beberapa nilai
tertentu x, y mempunyai distribusi normal
3
Asumsi Analisis Regresi Linier
4
Asumsi Analisis Regresi Linier
5
Regresi Linier Berganda
Model regresi linier berganda melibatkan lebih dari satu variabel
bebas. Modelnya :
Y   0   1 X 1   2 X 2  ...   k X k
Dimana
Y = variabel terikat
Xi = variabel bebas ( i = 1, 2, 3, …, k)
0 = intersep
i = koefisien regresi ( i = 1, 2, 3, …, k)
Model penduganya adalah
Y  b0  b1 X 1  b2 X 2  ...  bk X k
6
Regresi Linier Berganda
Misalkan model regresi dengan kasus 2 peubah
bebas X1 dan X2 maka modelnya :
Y   0  1 X 1   2 X 2
Sehingga setiap pengamatan  X 1i , X 2 i ; Yi  ; i  1, 2 ,..., n 
Akan memenuhi persamaan
Y   0  1 X 1   2 X 2   i
7
Menaksir Koefisien Regresi
Dengan Menggunakan Matriks
Dari hasil Metode Kuadrat Terkecil didapatkan
persamaan normal :
nb 0

b1  X 1i

b2  X 2 i
 ... 
bk  X ki 
b0  X 1i  b1  X 1i  b 2  X 1i X 2 i  ...  b k  X 1i X ki 
2
 Yi

X 1 i Yi

X ki Yi
…..
b0  X ki  b1  X ki X 1i b 2  X ki X 2 i  ...  b k  X ki 
2
8
Menaksir Koefisien Regresi
Dengan Menggunakan Matriks
Tahapan perhitungan dengan matriks :
1. Membentuk matriks A, b dan g
 n

X 1i


A
 ...

  X ki
9
 X 1i
2
 X 1i
 X 2i
 X 1i X 2 i
...
...
 X ki X 1i  X ki X 2 i
...
 X ki 

 X 1i X ki 
...
...
...
 X ki
...
2



Menaksir Koefisien Regresi
Dengan Menggunakan Matriks
 b0 
 
b1
b 
 ... 
 
 bk 
10
 g 0   Yi 


g 1   X 1iYi

g 


...


 g k   X ki Yi 
Menaksir Koefisien Regresi
Dengan Menggunakan Matriks
2. Membentuk persamaan normal dalam
bentuk matriks
Ab=g
3. Perhitungan matriks koefisien b
b = A-1 g
11
Metode Pendugaan Parameter
Regresi
Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2
variabel bebas
n
 ei
n
2

i 1
 Yi  b0  b1 X 1i  b2 X 2 i 
2
i 1
Tahapan pendugaannya :
1. Dilakukan turunan pertama terhadap b0 , b1 dan b2

 e    2 Y
2
i
 b0

 e    2 Y
12
 b0  b1 X 1i  b2 X 2 i 
2
 b0  b1 X 1i  b 2 X 2 i  X 1i
i
 b1

i
i
 e    2 Y
2
i
 b2
i
 b0  b1 X 1i  b 2 X 2 i  X 2 i
Metode Pendugaan
Parameter Regresi
2. Ketiga persamaan hasil penurunan disamakan
dengan nol
nb 0  b1  X i1  b2  X i 2 
 Yi
b0  X 1i  b1  X i1  b 2  X 1i X i 2 
2

b0  X 2 i  b1  X i1 X 2 i  b 2  X i 2 
2
13
X 1 i Yi

X 2 iYi
Metode Pendugaan
Parameter Regresi
3. Nilai b1 dan b2 dapat diperoleh dengan memakai
aturan-aturan dalam matriks
b1 
b2 
n
 n
2 
  X 2    X 1Y
 i 1
  i 1
n
 n
 n

2 
2 
  X 1    X 2     X 1 X 2 
 i 1
  i 1
  i 1

n
 n
2 
  X 1    X 2 Y
 i 1
  i 1



2
  n
 n
    X 1 X 2    X 1Y
  i 1
  i 1
n
 n
 n

2 
2 
  X 1    X 2     X 1 X 2 
 i 1
  i 1
  i 1

b0  Y  b1 X 1  b 2 X 2
14
  n
 n
    X 1 X 2    X 2Y
  i 1
  i 1
2



Uji Kecocokan Model
1. Dengan Koefisien Determinasi
R 
2
JKR
JKT
R2 menunjukkan proporsi variasi total dalam respon Y
yang dapat diterangkan oleh model
R r
2
r merupakan koefisien korelasi antara Y dengan
kelompok X1 , X2 , X3 , … , Xk
15
Uji Kecocokan Model
2. Dengan Pendekatan Analisis Ragam
Tahapan Ujinya :
1. Hipotesis =
H0 :   0
H1 :   0
dimana
 = matriks [ 0, 1, 2, … , k ]
16
Uji Kecocokan Model
2. Tabel Analisis Ragam
Komponen
Regresi
SS
db
MS
Fhitung
Regresi
JKR
k
JKR / k
JKR /k
s2
Galat
JKG n – k – 1 s2 = JKG / n-k-1
Total
JKT
17
n–1
Uji Kecocokan Model
3. Pengambilan Keputusan
H0 ditolak jika Fhitung > Ftabel(1 , n-k-1)
pada taraf kepercayaan 
18
Uji Parsial Koefisien Regresi
Tahapan Ujinya :
1. Hipotesis =
H0 : j  0
H1 : j  0
dimana j merupakan koefisien yang akan
diuji
19
Uji Parsial Koefisien Regresi
2. Statistik uji :
t
bj  
j
s c jj
Dimana :
bj = nilai koefisien bj
s = JKG / n  k  1
cjj = nilai matriks A-1 ke-jj
20
Uji Parsial Koefisien Regresi
3. Pengambilan keputusan
H0 ditolak jika thitung > t /2(db= n-k-1)
pada taraf kepercayaan 
21
Pemilihan Model Terbaik
1. All Possible Regression
Tahapan pemilihan :
i. Tuliskan semua kemungkinan model regresi dan
kelompokkan menurut banyaknya variabel
bebas
ii. Urutkan model regresi menurut besarnya R2
iii. Periksalah untuk setiap kelompok apakah
terdapat suatu pola variabel yang konsisten
iv. Lakukan analisa terhadap kenaikan R2 pada tiap
kelompok
22
Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Pembagian kelompoknya
Kelompok A terdiri dari koefisien intersep
Y  0
Y   0   i X i Kelompok B terdiri dari 1 variabel bebas
Y  0  i X i   j X j
Kelompok C terdiri dari 2 variabel bebas
Y  0  i X i   j X j  k X k
Kelompok D terdiri dari 3 variabel bebas
Y   0  1 X 1   2 X 2   3 X 3   4 X 4
Kelompok E terdiri dari 4 variabel bebas
23
Pemilihan Model Terbaik
Persamaan regresi yang menduduki posisi utama
dalam setiap kelompok adalah
Kelompok
Model Regresi
B
Y = f(X4)
C
Y = f(X1 , X2)
Y = f(X1 , X4)
D
Y = f(X1 , X2 , X4)
E
Y = f(X1 , X2 , X3, X4)
R2
67,5%
97,9%
97,2%
98,234%
98,237%
Persamaan terbaiknya adalah Y = f(X1 , X4)
24
Pemilihan Model Terbaik
2. Backward Elimination Procedur
Tahap pemilihannya :
i. Tuliskan persamaan regresi yang mengandung
semua variabel
ii. Hitung nilai t parsialnya
iii. Banding nilai t parsialnya
a.
b.
25
Jika tL < tO maka buang variabel L yang menghasilkan
tL, kemudian hitung kembali persamaan regresi tanpa
menyertakan variabel L
Jika tL > tO maka ambil persamaan regresi tersebut
Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Model regresi yang mengandung semua variabel bebas
Y   0  1 X 1   2 X 2   3 X 3   4 X 4
Persamaan Regersi
Model terbaiknya
t parsial
Y = f(X1,X2,X3,X4)
Y = f(X1,X2)
157,266*
X1
4,337*
X2
0,497*
X3
0,018
X4
0,041*
Y = f(X1,X2,X4)
26
Y = f(X1,X2)
F
166,83*
X1
154,008*
X2
5,026*
X4
1,863
229,5*
Pemilihan Model Terbaik
3. Stepwise Regression Procedur
Tahap pemilihannya :
i. Hitung korelasi setiap variabel bebas terhadap variabel Y.
Variabel bebas dengan nilai korelasi tertinggi masukkan dalam
model regresi (syarat uji F menunjukkan variabel ini
berpengaruh nyata)
ii. Hitung korelasi parsial setiap variabel bebas tanpa
menyertakan variabel bebas yang telah mauk model.
Masukkan variabel bebas dengan korelasi parsial tertinggi ke
dalam model
iii. Hitung nilai t parsial variabel yang telah masuk model, jika
tidak berpengaruh nyata keluarkan dari model
iv. Kembali ke langkah ii
27
Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel
bebas
28
Model
Variabel
Korelasi
riy
0,731
r2y
0,816
r3y
-0,535
r4y
-0,821
t parsial
Y = f(X4)
Model terbaik
Y = f(X1 , X2)
F
22,798*
r1y.4
0,915
r2y.4
0,017
r3y.4
0,801
Y = f(X1,X4)
176,627*
r2y.14
0,358
X1 = 108,223*
r3y.14
0,320
X4 = 159,295*
Y = f(X1, X2,X4)
166,832*
X1 = 154,008*
X2 = 5,026*
X4 = 1,863
29
r3y.124
Y = f(X1, X2)
0,002
229,504*