Transcript K2_Regresi_Sederhana..

REGRESI LINIER SEDERHANA
PENDAHULUAN
Apa yang disebut Regresi?
Apa Kegunaan Regresi?


Regresi merupakan teknik menganalisis hubungan
antar variabel terdiri atas:
satu variabel terikat dengan satu variabel bebas
(Regresi Sederhana)
satu variabel terikat dengan beberapa variabel
bebas(Regresi Berganda)
Ciri Regresi Linier Sederhana:



Hubungan satu arah:
Dari Regressor ke Regressand atau
Dari Variabel Bebas ke Variabel Terikat
Sederhana:
1 Variabel Bebas dan 1 Variabel Terikat
Linier
Hubungan parameternya linier
Model Regresi Linier Sederhana :
Yi = 1 + 2Xi + ui

Misalkan Y: Konsumsi dan X Pendapatan,
maka persamaan ditulis:
Konsumsi = 1 + 2 Pendapatan + I
Pengamatan
10.000 penduduk Jakarta untuk melihat hubungan
antara pendapatan dan konsumsi.
120
100
Konsumsi

80
60
40
20
0
0
50
100
Pendapatan
150
200
Bagaimana membentuk suatu garis
yang dapat mencerminkan kondisi
umum?
120
Konsumsi
100
80
60
40
20
0
0
50
100
Pendapatan
150
200
Garis mana yang benar?

Tidak semua titik berada pada garis.
Hal ini menunjukan bahwa hubungan antara
variabel konsumsi, dan pendapatan tidak
eksak. Secara substansi, kondisi ini
disebabkan masih adanya variabel lain yang
mempengaruhi konsumsi, seperti jumlah
anggota keluarga, umur anggota keluarga,
selera pribadi, dan sebagainya.
Error
Jarak antara Garis dan titik observasi disebut error
(Beda nilai sesungguhnya dengan nilai prediksi).
•Konsumsi
 = error/kesalahan
.
Pendapatan
Tekhnik Estimasi




Idealnya: seluruh titik berada pada garis.
Kenyataan: Hampir tidak mungkin.
Solusi?
Carilah garis dengan error paling kecil.
Tekhnik Estimasi: Ordinary Least Square
(OLS)
Langkah-langkah Estimasi

Model Regresi dapat ditulis dengan:
ui = Yi - 1 - 2Xi
Jumlah penyimpangan kuadrat ( ui2), dicari dengan:
ui2 = (Yi - 1 - 2Xi)2
 ui2 =  (Yi - 1 - 2Xi)2
Kalau masing-masing ui2 terkecil, maka  ui2 akan terkecil.
Prinsip Ordinary Least Square (OLS) Mengestimasi 1 dan 2
sehingga  ui2 minimum, secara matematis dapat ditulis:
Minimize
1 ,  2
 ui2 =  (Yi - 1 - 2Xi)2
Langkah-langkah Estimasi
 ui2 akan minimum bila :

2
u
 2  (Yi - 1 - 2Xi) = 0

i  0
 1

 2
2
u
 i  0  2  Xi (Yi - 1 - 2Xi) = 0
Setelah disederhanakan, 1 dan 2 yang memenuhi syarat adalah :
Estimator:
b2  ˆ 2
( X  X )(Y  Y )


(X  X )
i
i
2
i
b1  ˆ1  Y  ˆ 2 X
1
X
N
X
i
1
Y 
N
Y
i
Pemeriksaan Persamaan Regresi

Standard Error
Prinsip OLS: meminimalkan error. Oleh karena itu, ketepatan
dari nilai dugaan sangat ditentukan oleh standard error dari
masing-masing penduga. Adapun standard error dirumuskan
sebagai berikut:



s.e(b1 )  
2 
  ( X i  X ) 
2
1/ 2


Xi


s.e(b0 )  
2
 N  ( X i  X ) 
2
1/ 2

Pemeriksaan Persamaan Regresi
Oleh karena  merupakan penyimpangan yang terjadi dalam
populasi, yang nilainya tidak diketahui, maka  biasanya
u i2 =
diduga berdasarkan data sampel. Adapun penduganya
adalah
sebagai berikut :
 ui 
s 
 N  2



2
ui 2 =
(Yi  Yˆi ) 2
1/2
Berdasar formula: error yang minimal akan
mengakibatkan standar error koefisien
yang minimal pula. Berapa batasannya
standar error disebut besar atau kecil?
Pemeriksaan Persamaan Regresi



Sulit ditentukan secara absolut. Data jutaan
rupiah tentunya akan memiliki standar error
yang lebih besar dibanding ratusan rupiah.
Digunakan dengan membuat rasio dengan
koefisien regresi. Bila rasio tersebut bernilai
2 atau lebih, dapat dinyatakan bahwa nilai
standar error relatif besar dibanding
Parameternya.
Rasio inilah yang menjadi acuan pada Uji-t.
Interval Kepercayaan Untuk j




Apa yang dimaksud Interval kepercayaan?
Untuk apa?
Formulasi:
bj  t/2 s.e(bj)
atau
P(bj - t/2 s.e(bj) ≤ βj ≤ bj + t/2 s.e(bj))= 1- 
Apa yang dimaksud ?
Interval Kepercayaan Untuk j



b1 = 0,1022 dan s.e (b1) = 0,0092. Banyaknya
observasi (n) = 10; Banyaknya parameter yang
diestimasi (k) = 2; Dengan demikian derajat bebas =
10 – 2 = 8; dan tingkat signifikansi 1- = 95 %. Dari
tabel t0,025 dengan derajat bebas = 8, diperoleh nilai t
= 2,306.
Maka interval kepercayaan untuk β1 adalah :
( 0,1022  2,306 (0,0092) ) atau (0,0810 ; 0,1234)
Artinya: Nilai β1 terletak antara 0,0810 dan 0,1234
dengan peluang sebesar 95%.
Uji Hipotesis

Uji-F
Diperuntukkan guna melakukan uji hipotesis koefisien (slop)
regresi secara bersamaan.
H0 : 2 = 3 = 4 =............= k = 0
H1 : Tidak demikian (paling tidak ada satu slop yang  0)
Dimana: k adalah banyaknya variabel bebas.

Regresi sederhana:
H 0 : 1 = 0
H 1 : 1  0

Pengujian: Tabel ANOVA (Analysis of Variance).
Uji-F

Observasi: Yi = 0 + 1 Xi + ei
Regresi: Ŷi = b1 + b2 Xi (catatan: Ŷi merupakan estimasi dari Yi).

Bila kedua sisi dikurangi

Y maka:
Yi  Y  Y  Y  ei
Selanjutnya kedua sisi dikomulatifkan:
 (Y  Y )   (Y  Y  e )
 (Y  Y )   (Y  Y )   e
2
i
2
i
i
2
i



SST
SST : Sum of Squared Total
SSR : Sum of Squared Regression
SSE : Sum of Squared Error/Residual
2
i
2
i
SSR
SSE
Uji F
Sumber
Regresi
Error
Total


Tabel ANOVA
Sum of Square df Mean Squares
F Hitung
SSR
k MSR = SSR/k
F = MSR
SSE
n-k-1 MSE= SSE/(n-k-1)
MSE
SST
n-1
Dimana df adalah degree of freedom, k adalah jumlah variabel
bebas (koefisien slop), dan n jumlah observasi (sampel).
Bandingkan F Hit dengan Fα(k,n-k-1)
Uji-t



Pengujian koefisien regresi secara individu.
H 0 : j = 0
H1 : j  0;
j = 0, 1, 2........, k
k adalah koefisien slop.
Untuk regresi sederhana:
(1) H0 : 0 = 0
(2) H0 : 1 = 0
H 1 : 0  0
H1 : 1  0;
Uji-t didefinisikan sebagai berikut:
t
bj   j
s.eb j 
j akan diuji
apakah
sama dengan 0
t
bj
s.eb j 
Uji-t


Nilai t dibandingkan dengan nilai t tabel. Bila
ternyata, setelah dihitung t > t/2, maka nilai t
berada dalam daerah penolakan, sehingga hipotesis
nol (j = 0) ditolak pada tingkat kepercayaan (1-)
x100%. Dalam hal ini dapat dikatakan bahwa j
statistically significance.
Khusus untuk Uji-t ini dapat dibuat batasan daerah
penolakan secara praktis, yaitu:
Bila derajat bebas = 20 atau lebih dan  = 5%,
maka hipotesis j = 0 akan ditolak jika
Koefisien Determinasi

Koefisien Determinasi (Goodness of Fit), yang dinotasikan dengan
R2,menginformasikan baik atau tidaknya model regresi yang
terestimasi. Atau dengan kata lain, angka tersebut dapat mengukur
seberapa dekatkah garis regresi yang terestimasi dengan data
sesungguhnya.

Nilai Koefisien Determinasi ini mencerminkan seberapa besar variasi
dari variabel terikat Y dapat diterangkan oleh variabel bebas X.
– Bila nilai Koefisien Determinasi sama dengan 0 (R2 = 0), artinya
variasi dari Y tidak dapat diterangkan oleh X sama sekali.
– Sementara bila R2 = 1, artinya variasi dari Y secara keseluruhan
dapat diterangkan oleh X. Dengan kata lain bila R2 = 1, maka
semua titik-titik pengamatan berada tepat pada garis regresi.
– Dengan demikian baik atau buruknya suatu persamaan regresi
ditentukan oleh R2-nya yang mempunyai nilai antara nol dan satu.
Koefisien Determinasi

R2 didefinisikan atau dirumuskan berdasarkan
langkah-langkah sebagaimana yang dilakukan pada
Tabel ANOVA. Adapun rumusannya adalah:
SSR
R 
SST
2
Bila tidak ada penyimpangan tentunya tidak akan ada error.
Maka SSE = 0, yang berarti SSR = SST atau R2 = 1.
Atau dengan kata lain, semua titik-titik observasi berada
tepat di garis regresi. Jadi, SST sesungguhnya adalah
variasi dari data, sedang SSR adalah variasi dari garis
regresi yang dibuat.
Nilai Ekstrim (Outlier)


sei

Kenapa perlu diperhatikan?
Regresi didasarkan pada rata-rata
Nilai berapa yang disebut ekstrim?
ei
2
sei
sei adalah
standar error estimasi atau akar dari Mean
Square of Error