Transcript Regressions modeller * Hvad regresserer vi på og hvorfor?

Regressions modeller –
Hvad regresserer vi på og hvorfor?
Anders Stockmarr
Axelborg statistikgruppe
6/11 2012
1
Generel Regression
• Yt= f(Xt) +εt, t=1,…,n
• f er en UKENDT funktion, der beskriver
relationen mellem den uafhængige
variabel X, og den afhængige variabel Y.
• Vi vil gerne afdække hvorledes X og Y er
relateret (dvs. undersøge egenskaber ved
f), gennem analyser af parrede
observationer (Xt,Yt)t=1,…,n
2
Lineær Regression
• Antag at f ∊ C ∞(R)
• Så er
f ( x) 


n
an x ,
n0
( 0 ) / n!.
hvor
• Dermed er
an  f
(n)
f ( x )  a 0  a1 x  o ( x ),
hvor o(x)=xε(x).
3
Lineær Regression – funktioner af
flere variable
• 1. ordens Taylor-udvikling: I modeltermer erstattes f i
Yi= f(Xi) +εi, i=1,…,n
Med
f ( x )  f (0) 
f
 x
i
def
( 0 ) x i  o (|| x ||)  a 0 
i
a
1,i
x i  o (|| x ||)
i
hvor restleddet sættes til nul, og hvor a0, a1 er ukendte,
dvs. den multiple regressionsmodel
Yt= α+β1X1,t +…+ βkXk,t + εt, t=1,…,n.
4
Lineær Regression –funktioner af
flere variable
• 2. ordens Taylor-udvikling:
f ( x )  f (0) 
f
 x
i
(0 ) xi 
 f
2
1

2
x x
i, j
i
i
( 0 ) x i x j  o (|| x || )
2
j
• I modeltermer erstattes
Yt= f(Xt) +εt, t=1,…,n
Med
Yt   

i
i
X i ,t    i , j X i ,t X
j ,t
  t , t  1,  , n .
i, j
5
Lineær Regression –funktioner af
flere variable
• 2. ordens Taylor-udvikling:
f ( x )  f (0) 
f
 x
i
(0 ) xi 
i
1
2
 f
2
 x x
i, j
• I modeltermer erstattes
i
( 0 ) x i x j  o (|| x || )
2
j
Yt= f(Xt) +εt, t=1,…,n
Med
Yt   

i
i
X i ,t    i , j X i ,t X
j ,t
  t , t  1,  , n .
i, j
Lineær regressionsmodel med 1. ordens interaktioner (og kvadratiske
effekter; udelades ofte).
6
Polynomiel regression af højere orden
• Princip:
n
o
(||
x
||
) mindskes til en pris
• Ynøjagtigheden
af introduktion af flere forklarende variable;
n
o
(||
x
||
) er af en
• Når ynøjagtigheden
størrelsesorden så den kan inkorporeres i
residualvariansen ε, er modellen tilstrækkelig
i modelleringsforstand.
7
Polynomiel regression af højere orden
• Princip:
n
o
(||
x
||
) mindskes til en pris
• Ynøjagtigheden
af introduktion af flere forklarende variable;
n
o
(||
x
||
) er af en
• Når ynøjagtigheden
størrelsesorden så den kan inkorporeres i
residualvariansen ε, er modellen tilstrækkelig
i modelleringsforstand.
• Det kan i praksis kræve mange led:
• Eksempel
f ( x )  exp(  x )
8
Skalering
• Højere ordens regression ønsker vi ikke; meget
vanskeligt at fortolke og kommunikere.
• Løsningen er data-transformation.
• Vi anstrenger os en del for at finde skalaer, hvor
sammenhængen kan beskrives med en Taylorapproksimation af lav orden;
”sammenhængen er approksimativt lineær”
• log-transformation,
Box-Cox transformation,
kvadratrods-tranformation, etc.
9
Agenda
• Vi vil gerne erstatte ukendte funktioner med andre ukendte, som
dog har en kendt struktur; polynomier.
• Formålet er selvfølgelig, som al modellering, at forenkle
virkeligheden så man kan regne på den uden at begå for grove fejl.
• Men samtidigt skal vi også gerne kunne se og kommunikere
logikken i vores approksimation, så den må ikke være for
kompliceret.
• Subjektiv konklusion:
• Vi bør approksimere med en Taylor-udvikling der er af 1. eller 2.
orden, nogen gange 3. orden og aldrig over 4. Data skal skaleres, så
dette kan lade sig gøre.
10
Ortogonalisering
Modellen
Yt   

i
X i ,t    i , j X i ,t X
i
  t , t  1,  , n .
i, j
Er af formen
Yt   
j ,t

i
X i , t   t , t  1,  , n ,
i
hvor vi blot lader XiXj optræde som en
selvstændig kovariat. Dette gør den lineære
regressionsmodel meget generel.
11
Ortogonalisering II
I modellen
Yt   
Som vi skriver

i
X i , t   t , t  1,  , n ,
i
Y t   X t   t , t  1,  , n
T
på sædvanlig vis, benytter vi ML/LS/PE-estimatoren
ˆ  ( A A ) A Y ,
T
1
T
hvor A er matricen A   X 1 :  : X k  bestående af
søjlerne med værdierne for de enkelte kovariater.
12
Ortogonalisering II
Med normalfordelte støjled er ˆ normalfordelt;
ˆ ~ N (  ,  ( A A ) ).
2
T
1
Men nu er
 || X 1|| 2

  X 1, X 2 
T
A A


 X , X 
1
k

hvorfor ˆ i uafh. af
ˆ j
 X 1, X 2 





 X 1, X k  






2

|| X k ||

hviss <Xi,Xj>=0.
13
Ortogonalisering III
Modellen
Y t   X t   t , t  1,  , n
T
udtrykker jo blot at Y på nær støj er en
linear-kombination af søjlerne i matricen
A.
MAO: Finder vi en anden måde at
udtrykke linearkombinationer af søjlerne i
A, ændrer vi ikke modellen.
14
Ortogonalisering IV
• Ønsker vi stokastisk uafhængige estimater,
kan vi derfor lave en ny design matrix B,
således at søjlerne i B er ortogonale, og
således at søjlerne i B og A udspænder det
samme rum.
15
Ortogonalisering V
• Dette gøres rekursivt:
B1  A1 ;
i 1
B i  Ai 

j 1
 Ai , B j 
|| B j ||
2
Bj
16
Ortogonalisering VI
• Eksempel:
Yt   0   1 x t   2 x t   t , t  1,  , n
2
A1  1, A2  x t , A3  x t :
2
B1  1,
B 2  xt  x ,
B3  x  x 
2
t
2
SPD
x,x
SSD
2
( x t  x ).
x
17
Ortogonalisering VII
• I modellen
Yt   0   1 ( x t  x )   2 ( x  x 
2
t
2
SPD
x,x
SSD
2
( x t  x ))   t ,
x
t  1,  , n
er estimaterne derfor stokastisk uafhængige.
Tilbageregning:
2   2;
1   1   2
SPD
x,x
SSD
2
;
x
0   0  1x   2(
SPD
x,x
SSD
x
2
xx )
2
18
Ortogonalisering VIII
• Hvilke fordele ser I??
19
Regression på andet end polynomier
• Grunden til at vi kan bruge polynomier er
at polynomierne udgør en basis for C ∞(R),
udstyret med topologien for uniform
konvergens på kompakte mængder;
• Men man kan forestille sig situationer,
hvor det er mere naturligt at forlange, at f
tilhører en anden klasse end C ∞(R), og
hvor man derfor skal kigge på andre baser.
20
Regression på andet end polynomier
II
Eksempel:
Periodiske funktioner (de-trendede sæsondata).
Her udgør funktionerne
h n ( x )  sin(
2n

x)
hvor ω er perioden, en basis for en passende gruppe af funktioner;
man kan derfor modellere a la
2 i
Yt      i sin(
x t )   t , t  1,  , n ,

i
hvor disse sinusfunktioner kan ortogonaliseres ligesom tidligere.
21
Regression hvor den afhængige
variabel er stokastisk
• En forudsætning for at estimaterne i
modellen
Y t   X t   t , t  1,  , n
T
• er uafhængige, er at design-matricen er en
diagonal-matrix.
• Men en anden, implicit, forudsætning er,
at Xt er deterministisk. Hvis Xt er
stokastisk, er sagen generelt en anden.
22
Regression hvor den afhængige
variabel er stokastisk II
• Antag at både X og Y er stokastiske variable, med
en kausal relation imellem sig givet ved at
Y t   X t   t , t  1,  , n
T
• Her hvis gælder f.eks. at X t ~ N (  ,  2 ) , er f.eks
E(X )     ,
2
2
2
og dermed er det ikke oplagt at sædvanlige polynomier er den fornuftigste vej at gå, hvis man
f.eks. interesserer sig for hvad effekten af X er i
termer af potenser af μ.
23
Regression hvor den afhængige
variabel er stokastisk III
• Samtidig kan man interessere sig for en
helt anden form for ortogonalitet; nemlig
om de uafhængige variable som man
regresserer på, er uafhængige, eller i det
mindste ukorrelerede.
• Dette er en ganske anden ortogonalitet
end geometrisk ortogonalitet af n observationer, altså ortogonalitet i Rn.
24
Regression hvor den afhængige
variabel er stokastisk IV
Hvis X er normeret normalfordelt, er 2
funktioner f og g af X ukorrelerede, hvis


2
f ( x ) g ( x )e
x /2
dx  0

Definerer vi det indre produkt
def
 f , g 1 


2
f ( x ) g ( x )e
x /2
dx ,

er dette kriterium præcis ortogonalitet i L2forstand.
25
Regression hvor den afhængige
variabel er stokastisk V
En følger af funktioner der opfylder dette,
er Hermite polynomierne Hen, givet ved
He 0 ( x )  1;
He 1 ( x )  x ;
He 2 ( x )  x  1;
2
He 3 ( x )  x  3 x ;
3

He n ( x )  xHe n 1 ( x )  ( n  1) He n  2 ( x ).
26
Egenskaber ved Hermitepolynomierne I
•
Hermite-polynomierne udgør en basis
for vektorrummet
{ f : R  R : E | f ( X ) |
2
  , X
~ N ( 0 ,1)}
Dermed kan de fleste funktioner
approksimeres med summer af Hermite
polynomier.
27
Egenskaber ved Hermitepolynomierne II
def

2
x /2
 He ( x ) He ( x ) e dx  0
hvis n≠m, således at Hen(X) og Hem(X) er
ukorrelerede, hvis X er normeret normal-fordelt.
Hvis X ~ N (  ,1), er E ( He n ( x ))   n .
def
[ ]
Defineres He n ( x )    n / 2 He n ( x /  ), er He n[ ] ( X ) og
 He n , He m  1 
n
m

2
2
ortogonale/ukorrelerede for n ≠ m, hvis
X er normalfordelt (0,σ2).
[ ]
m
2
He
(X )
28
Egenskaber ved Hermitepolynomierne III
• Hermite-polynomier er altså skræddersyede til situationen, hvor man modellerer
dynamiske systemer uden feed-back
mellem uafhængige og afhængige variable.
• Hermite polynomier har orden n, så
Hermite polynomier op til orden n
modellerer præcis også Taylorudvikling op
til orden n (i 1 dimension).
29
Hermite-polynomier
• Hvad er jeres erfaringer?
30
Tak for opmærksomheden
•
31