Transcript 10-Model Berpangkat Tidak Penuh

Model Berpangkat
Tidak Penuh
(MODEL ANOVA)
LOGO
nuvie.stis@2010
Materi kuliah model linier – stis@2010
LOGO
Contents
1
Formulasi Model
2
Estimasi Parameter
3
Reparameterisasi
4
5
Estimabilitas
Materi kuliah model linier – stis@2010
LOGO
Formulasi Model
Model full rank:
y = Xβ + ε
ε = y  E (y )
Sehingga E(e) = 0, dan E(y) = X. Setiap elemen e
diasumsikan memiliki varians 2 dan covarians 0, sehingga:
ε
N ( 0 ,  I ) d an y
2
N (Xβ, I)
2
Persamaan normal berdasarkan model diatas dapat
diselesaikan dengan OLS, sehingga didapat persamaan:
X 'X β = X 'y
Materi kuliah model linier – stis@2010
LOGO
Formulasi Model
Model full rank:
X 'X β = X 'y
Nonsingular/Full rank
 Bagaimana jika X’X tidak full rank?
Estimasi dilakukan
dengan G-Inverse
sehingga solusi
tidak unik
Materi kuliah model linier – stis@2010
LOGO
Formulasi Model
Contoh:
Terdapat 3 metode diet, berikut adalah data 6 orang sampel
yang didata rata-rata penurunan berat badan, setelah sebulan
melakukan diet.
Obs
Penurunan Berat Badan (Kg)
Metode 1
Metode 2
Metode 3
Member 1
4
8
7
Member 2
6
12
-
Member 3
4
-
-
14
20
7
Materi kuliah model linier – stis@2010
LOGO
Formulasi Model
Contoh pada tabel diatas, yij adalah jumlah penurunan berat
badan (dalam kg) berdasarkan metode ke-i dan pengamatan
ke-j, dimana j = 1,2, …,ni
Yang harus dilakukan adalah mengestimasi efek metode diet
pada hasil penurunan berat badan. Untuk itu, diasumsikan
observasi y adalah:
y ij     i   ij
Dimana  adalah rata-rata populasi dari besarnya penurunan
berat badan, i adalah efek dari metode diet terhadap
penurunan berat badan, dan ij adalah random error .
Materi kuliah model linier – stis@2010
LOGO
Formulasi Model
Untuk membangun persamaan normal, dapat dituliskan sbb:
4 =  + 1
+ 11
6 =  + 1
+ 12
4 =  + 1
+ 13
8=
+ 2
+ 21
12 = 
+ 2
+ 22
7=
+ 3 + 31
Dan akan lebih mudah jika dituliskan dalam bentuk matriks:
y = Xβ + ε
Dengan β ' 

1
2
3
Materi kuliah model linier – stis@2010
LOGO
Estimasi Parameter Model
Jika X bukan matriks Full Rank, maka X’X juga tidak Full
Rank, Akibatnya:
-1
β  (X 'X ) X 'Y
Akan memiliki solusi yang tidak unik.
Langkah yang diambil:
Reparameterisasi (a Possible solution)
Conditional Inverse/G-Inverse
see part G-Inverse
Materi kuliah model linier – stis@2010
LOGO
Estimasi Parameter Model
Teorema (1):
Misal Ax = g konsisten, dan X = Acg adalah sebuah solusi dari
sistem, dan Ac adalah conditional inverse dari A, maka:
AAcAX = AX
AAcg = g; X0 = Acg
AX0 = g
Analog dengan persamaan diatas:
( X'X ) b  X'Y
c
b  (X'X) X'Y
Materi kuliah model linier – stis@2010
LOGO
Estimasi Parameter Model
Teorema (2):
Misal Ax = g konsisten, dan Ac adalah conditional inverse dari A,
maka:
X0 = Acg + (I – AcA)z
Dimana z adalah sembarang vektor px1.
Bukti:
c
c
X 0 = A g + (I - A A )z
c
c
A X 0 = A  A g + (I - A A )z 


c
c
= AA g + A I - A A z


= g + (A - A )z
=g
Analog dengan persamaan diatas: b 0 = (X'X) c X'Y +  I - (X'X) c (X'X)  z
Jika z = 0, maka teorema (1) dapat digunakan.
Materi kuliah model linier – stis@2010
LOGO
Estimasi Parameter Model
Teorema (3):
Misal Ax = g konsisten, dan Ac adalah conditional inverse dari A. Jika
X0 adalah salah satu solusi dari sistem, maka:
X0 = Acg + (I – AcA)z
Dimana z = (I – AcA)X0
idem poten
Bukti: A c g + (I - A c A )z  A c g + (I - A c A )(I - A c A ) X 0
c
c
 A g  (I - A A )X 0
c
c
c
c
= A g  X0 - A AX0
= A g  X0 - A g
= X0
Analog dengan persamaan diatas: b 0 = (X'X) c X'Y +  I - (X'X) c (X'X)  z
dimana z = [ I – (X’X)c(X’X) ] b0
Materi kuliah model linier – stis@2010
LOGO
Reparameterisasi
Model yang terbentuk pada contoh:
y ij     i   ij ; i = 1, 2, 3
j = 1, 2, …, ni
β
old


1 
 2 
 3 
Xold is less then full rank
Dilakukan reparameterisasi menghasilkan model baru:
y ij   i   ij ; i = 1, 2, 3
j = 1, 2, …, ni
 1 
 
β
n ew   2 
 
 3
Xnew is full rank dan estimasi
parameter bisa dilakukan
Materi kuliah model linier – stis@2010
LOGO
Estimasi Varians
Pada Model Full Rank, unbiased varians 2 diestimasi dg:
SSE
2
SSE
2
Not full rank
s 
s 
( n-k- 1)
( n-r )

SSE  y' I  X(X' X)
Sehingga
(n  r )s

2
2

1

X' y
SSE

2
Squared dengan df = n – r .
( X' X )
c
mengikuti distribusi chi-
Materi kuliah model linier – stis@2010
LOGO
Beberapa Konsekuensi
EXPECTED VALUES:
E(b) = E(GX’y) = GX’ E(y) = GX’Xb = Hb
Dengan G = (X’X)c dan H = GX’X
Sehingga b unbiased estimator dari Hb, bukan dari b
VARIANS:
var (b) = var (GX’y)
= GX’ var(y) XG’
= GX’XG’
Materi kuliah model linier – stis@2010
LOGO
Estimability
Pada Model tidak berpangkat penuh,  tidak dapat
diestimasi secara unik. Banyak pilihan solusi dari (X’X)c,
akibatnya banyak kemungkinan bentuk persamaan normal.
Definisi:
Misalkan y = X + , dimana Xnxp dengan rank r p, E()=0,
dan var  = 2I. Fungsi t’ dikatakan estimable jika terdapat
vektor c sedemikian hingga E(c’y) = t’
Teorema:
Misalkan y = X + , dimana Xnxp dengan rank r p, E()=0,
dan var  = 2I. Kondisi yang harus dipenuhi supaya t’
estimable adalah jika solusi sistem persamaan (X’X)z = t
eksis.
Materi kuliah model linier – stis@2010
LOGO
Theorem of Estimability
Misal y = X +  dimana Xnxp dengan rank r p, E()=0, dan
var  = 2I. Fungsi t’ dikatakan estimable jika dan hanya
jika:
t’(X’X)c(X’X) = t’
Dengan (X’X)c adalah suatu conditional inverse.
Lemma:
Jika y = X + , dimana Xnxp dengan rank r p, E()=0, dan
var  = 2I. Best Linear Unbiased Estimate untuk t’ = z’X’Y,
dimana z’ adalah solusi dari persamaan (X’X) z = t.
Bukti : Myers, page 212-213
Materi kuliah model linier – stis@2010
LOGO
Gauss Markoff Theorem
Misal y = X +  dimana Xnxp dengan rank r p, E()=0, dan var  =
2I. Jika t’ estimable, kemudian salah satu solusi dari (X’X)z = t
memberikan estimasi yang sama untuk t’. Sehingga Best Linear
Unbiased Estimate (BLUE) adalah t’b dimana b adalah salah satu
solusi dari persamaan normal.
Bukti:
Misalkan z0 dan z1 adalah solusi dari sistem (X’X)z = t, sehingga
(X’X)z0 = t dan (X’X)z1 = t
Dan
z0’ (X’X) = z1’ (X’X) = t’
Note:
X 'X b = X 'Y
Z 0 ' X 'X b = Z 0 ' X 'Y = t'b 
 Z 0 ' X 'Y = Z 1 ' X 'Y
Z 1 ' X 'X b = Z 1 ' X 'Y = t'b 
Materi kuliah model linier – stis@2010
LOGO
Properties of Estimability
POIN PENTING TENTANG ESTIMABILITAS
 Pada model tidak berpangkat penuh, pusat perhatian ada
pada fungsi estimable yaitu t’
 Fungsi estimable dapat diestimasi secara unik (tunggal)
 Estimasi unik (tunggal) untuk fungsi tersebut adalah t’b
dimana b adalah suatu solusi dari persamaan normal
 t‘b adalah Best Linear Unbiased Estimator (BLUE
terhadap t’
Materi kuliah model linier – stis@2010
LOGO
Estimasi Interval
Sesuai dengan teori estimabilitas, bahwa kombinasi linier t’
merupakan fungsi yang estimable, maka estimasi interval dari
t’ diberikan oleh:
t ' b  t  2 s t' (X' X) t
c
Sebelumnya:
 cari distribusi dari t’b
 buktikan bahwa antara t’b dan SSres/2 independen
[email protected]
www.themegallery.com
LOGO