Transcript D-AVS2-2011

Analiza vremenskih serija
Osnovni pojmovi
Slučajan proces i vremenska serija
 Stacionarnost
 Osnovni modeli stacionarnih vremenskih serija
 Autokorelaciona funkcija (obična i parcijalna)
 Testovi autokorelacije

1
Slučajan proces i vremenska serija


Slučajan proces: niz slučajnih promenljivih koje su uređene
u odnosu na vreme
Uobičajena oznaka:
X 1 , X 2 ,...
X t ,t  1,2 ,...


Vremenska serija:
 I koncept: jedna realizacija slučajnog procesa
 II koncept: ne postoji razlika između vremenske serije i
slučajnog procesa
Termine koristimo kao sinonime: vremenski niz slučajnih
promenljivih.
2
Stacionarnost I



Stacionarnost vremenske serije: vremenska serija se
kreće po prepoznatljivoj putanji tokom vremena
Dva koncepta: stroga i slaba stacionarnost
Definicija slabe stacionarnosti:
1. E ( X t )    const , t  1,2,...
2. var  X t   E ( X t   ) 2  const , t  1,2,...
3. cov  X t , X t  k   E ( X t   )( X t-k   )   (k )   k , t  1,2,..., k  1,2,...
3
Stacionarnost II


Očekivana vrednost i varijansa slabo stacionarne
vremenske serije su invarijantne u odnosu na vreme.
Transliranjem u vremenu ove dve veličine se ne
menjaju.
Kovarijansa između članova vremenske serije zavisi
samo od rastojanja (docnje), a ne od vremenskog
trenutka. To znači da je za datu docnju k kovarijansa
ista:
cov X t , X t k   const., za datok i t  1,2,...
4
Najjednostavniji primer stacionarne
vremenske serije: beli šum (engl. white
noise)
E( et )  0 , t  1,2 ,...
varet   E( et )2   2  const, t  1,2,...
covet ,et  k   E( et et - k )  0 , t  1,2,..., k  1,2,...

5
Niz nekorelisanih slučajnih promenljivih nulte
srednje vrednosti i stabilne varijanse
Gausov beli šum
E( et )  0 , t  1,2 ,...
varet   E( et )2   2  const , t  1,2,...
Članovi vremenske serije su nezavisne sl. promenljiv e 
covet ,et k   E( et et-k )  0 , t  1,2,..., k  1,2,...


et : Ν 0 , 2 , t  1,2 ,...

6
Niz nezavisnih slučajnih promenljivih koje su
normalno raspodeljene sa nultom srednjom
vrednošću i stabilnom varijansom
Gausov beli šum: grafički prikaz
Generisani Gausov beli sum (et)
3.0
26
2.5
24
2.0
22
Series: et
Sample 1 200
Observations 200
Mean
Maximum
Minimum
Std. Dev.
20
1.5
18
1.0
16
0.5
14
0.0
12
-0.5
10
-1.0
8
-1.5
6
4
-2.0
2
-2.5
0
-2
-3.0
25
50
7
75
100
125
150
175
200
-1
0
1
2
3
0.088759
2.758193
-2.604917
0.951387
Osnovni modeli
stacionarnih vremenskih serija
Autoregresioni modeli (AR)
 Modeli pokretnih proseka (MA)
 Autoregresioni modeli pokretnih proseka
(ARMA)

8
Opšte forme modela stacionarnih
vremenskih serija


AR(p) model
X t  1X t 1  2 X t 2  ...  p X t  p  et
MA(q) model
X t  et 1et 1 2et 2  ...qet q

ARMA(p,q) model
X t  1 X t 1  2 X t  2  ...  p X t  p 
et  1et 1   2 et  2  ...  q et  q

Parametri modela su:
1 ,2 ,..., p ,1 ,2 ,...,q
9
Primer AR(1) modela
Xt=0.7*Xt-1+et
Xt=-0.7*Xt-1+et
5
5
4
4
3
3
2
2
1
1
0
0
-1
-1
-2
-2
-3
-3
-4
-4
-5
50
100
10
150
200
250
300
350
-5
400
50
100
150
200
250
300
350
400
Primer MA(1) modela
Xt=et+0.8et-1
Xt=et-0.8et-1
4
4.0
3.5
3
3.0
2.5
2
2.0
1.5
1
1.0
0
0.5
0.0
-1
-0.5
-1.0
-2
-1.5
-2.0
-3
-2.5
-3.0
-4
-3.5
-5
50
100
11
150
200
250
300
350
400
-4.0
50
100
150
200
250
300
350
400
Uslov stacionarnosti I


Relevantan kod AR modela i ARMA modela
AR(p) model:
X t  1 X t 1  2 X t  2  ...  p X t  p  et
X t  1 X t 1  2 X t  2  ...  p X t  p  et

AR modelu reda p može se pridružiti karakteristična jednačina
oblika:
g p  1g p 1  2 g p  2  ...  p  0


gde g1, g2,..., gp označavaju rešenja (korene) karakteristične jednačine.
Stacionarnost vremenske serije koja je opisana AR(p) modelom
zavisi od rešenja karakteristične jednačine g1, g2,..., gp.
12
Uslov stacionarnosti II
Može se pokazati da važi sledeća teorema:
 Ukoliko su svi koreni g1, g2,..., gp po modulu strogo manji od
jedan, onda je vremenska serija stacionarna.
 Ukoliko postoji bar jedan koren gi, i=1, 2,..., p, koji je jednak
vrednosti jedan po modulu, dok su drugi koreni strogo manji
od jedan po modulu, onda je vremenska serija nestacionarna.
Takva vremenska serija se uobičajeno naziva vremenska serija
sa jediničnim korenom.
 Ukoliko postoji bar jedan koren gi, i=1,2,...,p, koji je strogo
veći od jedan, dok su drugi strogo manji od jedan po modulu,
tada je vremenska serija eksplozivna. To znači da je vremenska
serija pod uticajem kumulisanog dejstva trajno rastućeg efekta
neočekivanih slučajnih šokova.
13
Uslov stacionarnosti kod AR(1) modela:
autoregresioni parametar je strogo manji
od jedan, 1  1
X t  1 X t-1  et
 1 1 X t-2  et 1   et
 12 1 X t-3  et  2   et  1et 1
 ...
 et  1et 1  12et  2  13et  3  ...  funkcija impulsnog odziva




var (X t )  var et  1et 1  12et  2  13et  3  ...  σ 2 1  12  14  16  ...
Da bi varijansa bila konacna, neophodno je da vazi 1  1. Tada je :
var (X t )  σ
2


1  12  14  16  ...

1
112
14
σ2

.
2
1  1
Obična i parcijalna autokorelaciona
funkcija


Kako utvrditi koji od modela odgovara datom skupu podataka?
Potrebno je da analiziramo korelacionu strukturu podatka.
Autokorelacioni koeficijent (obični) na docnji k:
rk 
rk 
cov( X t , X t k )
, k  1,2 ,...
var( X t ) var( X t k )
cov( X t , X t k )
var( X t )
cov( X t , X t k



 r k  1,k  0
)  var( X t )  
 r k  1,k  1,2 ,...
Niz r1, r2,… predstavlja običnu autokorelacionu funkciju.
Grafički prikaz niza r1, r2,… naziva se obični korelogram.
EVIEWS oznaka: AC.
15
Obična autokorelaciona funkcija
jednostavnih AR i MA modela
Model
Uslov
stacionarnosti
Obična autokorelaciona funkcija
Beli šum, MA(0)
Uvek
stacionarna
rk=0, k=1,2,…
rk=ф1k, k=1,2,…
AR(1), 0<ф1<1
Xt=ф1Xt-1+et
AR(1), -1<ф1<0
Xt=ф1Xt-1+et
MA(1), 0<θ1<1
Xt=et-θ1et-1
MA(1), -1<θ1<0
Xt=et-θ1et-1
16
Opada po eksponencijalnoj putanji
1  1
Uvek
stacionarna
rk=ф1k, k=1,2,…
Opada po oscilatornoj putanji
(menja znak za svako k).
r1= -θ1/(1+ θ12),
rk=0, k=2,3,…
r1= -θ1/(1+ θ12),
rk=0, k=2,3,…
Opšti oblik obične autokorelacione
funkcije AR i MA modela
Obična autokorelaciona funkcija
Model
17
AR(p)
Opada
tokom
vremena
eksponencijalnoj,
oscilatornoj
sinusoidnoj putanji.
MA(q)
r1≠0, r2≠0,..., rq≠0, rk=0 za k>q.
Jednaka je nuli za docnje veće od reda
modela.
po
ili
Parcijalna autokorelaciona funkcija







Stepen korelisanosti između Xt i Xt-k smo merili na osnovu
običnog autokorelacionog koeficijenta na docnji k.
Autokorelacioni koeficijent na docnji k može biti pod uticajem
korelisanosti Xt i Xt-k sa članovima vremenske serije na docnjama
između vremenskih trenutaka t i t-k (Xt-1, Xt-2,…,Xt-k+1).
Eliminacijom uticaja Xt-1, Xt-2,…, Xt-k+1 dobija se pokazatelj čiste
korelisanosti između Xt i Xt-k , koji se naziva parcijalni
autokorelacioni koeficijent.
Ovaj koeficijent na docnji k označava se sa kk.
Niz 11 22, ... predstavlja parcijalnu autokorelacionu funkciju.
Grafički prikaz niza 11 22, ... naziva se parcijalni korelogram.
EVIEWS oznaka: PAC.
18
Parcijalna autokorelaciona funkcija
(definicija na osnovu regresione analize)
1. X t ocenjujemo u funkciji od X t 1 , X t  2 ,..., X t  k 1
 Xˆ t je deo X t koji sadrzi uticaj X t 1 , X t  2 ,..., X t  k 1


 X t  Xˆ t je deo X t koji ne sadrzi uticaj X t 1 , X t  2 ,..., X t  k 1.
2. X t  k ocenjujemo u funkciji od X t 1 , X t  2 ,..., X t  k 1
 Xˆ t  k je deo X t  k koji obuhvata dejstvo X t 1 , X t  2 ,..., X t  k 1


 X t  k  Xˆ t  k je deo X t  k iz koga je iskljucen uticaj X t 1 , X t  2 ,..., X t  k 1.
3. Parcijalni autokorela cioni koeficijen t na docnji k definise se kao obicni
autokorela cioni koeficijen t izmedju
X t  Xˆ t i X t  k  Xˆ t  k :


kk
19




 

cov X t  Xˆ t , X t  k  Xˆ t  k

, k  1,2,...
ˆ
ˆ
var X t  X t var X t  k  X t  k

Parcijalna autokorelaciona funkcija
jednostavnih AR i MA modela
Model
Dodatni opis
Parcijalna
autokorelaciona funkcija
Beli šum, MA(0)
Nekorelisan
proces
kk=0, k=1,2,…
AR(1), 0<ф1<1
Xt=ф1Xt-1+et
Izmedju Xt i
Xt-1nema
dodatnog
uticaja
11=r1=1 ,k=1
kk=0, k=2,3,...
Poseduje AR
reprezentaciju
beskonačnog
reda.
Opada
tokom
vremena
eksponencijalnoj putanji.
po
Opada
tokom
vremena
oscilatornoj putanji.
po
AR(1), -1<ф1<0
Xt=ф1Xt-1+et
MA(1), 0<θ1<1
Xt=et-θ1et-1
MA(1), -1<θ1<0
Xt=et-θ1et-1
20
11=r1 =1, k=1
kk=0, k=2,3,...
Opšti oblik obične i parcijalne autokorelacione
funkcije AR i MA modela
Model
Obična autokorelaciona
funkcija
Parcijalna autokorelaciona
funkcija
AR(p)
Opada tokom
vremena po
eksponencijalnoj,
oscilatornoj ili
sinusoidnoj putanji
11≠0, 22≠0,..., pp≠0,
kk=0 za k>p.
Jednaka je nuli za docnje
veće od reda modela
MA(q)
r1≠0, r2≠0,..., rq≠0,
rk=0 za k>q.
Jednaka je nuli za
docnje veće od reda
modela
Opada tokom vremena
po eksponencijalnoj,
oscilatornoj ili
sinusoidnoj putanji
21
Testovi autokorelacije u vremenskoj seriji
1. Da li postoji autokorelacija na tačno određenoj docnji k?
H0: rk=0, H1: rk≠0 ili
(H0: kk=0, H1: kk≠0)
2. Da li postoji autokorelacija na svim docnjama zaključno do m?
H0: r1= r2 =...= rm =0,
H1: Bar jedan od autokorelacionih
koeficijenata je različit od nule.
22
Testovi autokorelacije u vremenskoj seriji
II
Ocena običnog/parcijalnog autokorelacionog koef.
Uzorak obima T : X 1 , X 2 ,..., X T , X  aritmetick a sredina
T
 ( X t  X )( X t  k  X )
rˆ k  t  k 1
T
(Xt  X )
, k  1,..., T  1
2
t 1
1. rˆ k je pristrasna, ali konzistentna ocena
(pod dovoljno opstim uslovima za stacionarn u vremensk u seriju)
2. Pod pretpostavkom da ne postoji korelacija
na docnji k ( r k  0 ) za dovoljno veliko T vazi :


1
T
rˆ k : N 0,   z 

rˆ k  0
1
T

 rˆ k T : N0,1


 P - 1.96  rˆ k T  1.96  0.95  P - 1.96/ T  rˆ k  1.96 / T  0.95
Navedena svojstva vaze i za ocenu ˆ .
kk
23
Da li postoji značajna autokorelacija
na docnji k?
(H0: rk=0, H1: rk≠0)
hipoteze H0: rk=0 se testira protiv alternativne H1: rk≠0,
tako što se proverava da li je ocena običnog autokorelacionog
koeficijenta na docnji k element intervala [-1.96/√T, 1.96/√T].
 Nulta hipoteza se ne može odbaciti ako je:
 Validnost

rˆ k  - 1.96/ T , 1.96/ T
 Nulta

hipoteza se odbacuje za nivo značajnosti 5% ako je:

rˆ k  - 1.96/ T , 1.96/ T
24

Da li postoji značajna autokorelacija
na docnji k?
(H0: kk=0, H1: kk≠0)
hipoteze H0: kk=0 se testira protiv alternativne H1:
kk≠0 tako što se proverava da li je ocena parcijalnog
autokorelacionog koeficijenta na docnji k element intervala
[-1.96/√T, 1.96/√T].
 Nulta hipoteza se ne može odbaciti ako je:
 Validnost

ˆkk  - 1.96/ T , 1.96/ T
 Nulta

hipoteza se odbacuje za nivo značajnosti 5% ako je:

ˆkk  - 1.96/ T , 1.96/ T
25

Da li postoji značajna autokorelacija
zaključno sa docnjom m?
(H0: r1= r2 =...= rm =0, H1: H0 nije tačna)
Box-Pierce-ova, BP(m), i Box-Ljung-ova, BLj(m), test-statistika:

BP ( m )  T
m

i 1
rˆ i 2 :  m2
m
BLj ( m )  Q( m )  T ( T  2 ) 
rˆ i 2
i 1 T
Nulta hipoteza se odbacuje uz nivo značajnosti 5%




i
:  m2
ako je Q(m) veće od korespondirajuće kritične vrednosti hi-kvadrat
raspodele sa m stepeni slobode (χ2m) i nivo značajnosti 5%.
ako je korespondirajuća p-vrednost manja od 5%.
Broj m se definiše kao funkcija od T:
26
T , 2 T , ln(T )
Testovi autokorelacije: važna
napomena



Svi navedeni testovi mogu se koristiti u klasičnom
regresionom modeliranju kada se proverava kvalitet
ocenjenog modela.
Testovi se primenjuju na vremensku seriju reziduala.
Broj stepeni slobode u primeni BP i BLj test-statistika
je razlika između broja ocenjenih običnih
autokorelacionih koeficijenata (m) i broja ocenjenih
parametara modela.
27
Primer 1 (naredna 4 slajda)
Sledeća tabela sadrži podatke o 12 opservacija
vremenske serije.
 Oceniti obične autokorelacione koeficijente na
docnjama 1 i 2.
 Izračunati standardne greške ocena
autokorelacionih koeficijenata na docnjama 1 i 2.
 Testirati značajnost prva dva obična
autokorelaciona koeficijenta.

28
t
Xt
Xt  X
Xt 1  X
X t 2  X
1
13
-3
--
--
2
16
0
-3
--
3
18
2
0
-3
4
14
-2
2
0
5
11
-5
-2
2
6
10
-6
-5
-2
7
8
-8
-6
-5
8
16
0
-8
-6
9
20
4
0
-8
10
20
4
4
0
11
24
8
4
4
12
22
6
8
4
T=12
Zbir:192
Zbir:0
29
X t  X 2
Xt  X  Xt 1  X  Xt  X  Xt 2  X 
1
9
--
--
2
0
0
--
3
4
0
-6
4
4
-4
0
5
25
10
-10
6
36
30
12
7
64
48
40
8
0
0
0
9
16
0
-32
10
16
16
0
11
64
32
32
12
36
48
24
T=12
Zbir: 274
Zbir: 180
Zbir: 60
30
Ocene autokorelacionih koeficijenata:
12
ˆ1 
r

t 2
X t
 X  X t 1  X 
12

t 1
12
ˆ2 
r

t 3
X t
X t
2
 X  X t  2  X 
12

 X
t 1
X t
 X
2

180
 0.657
274

60
 0.219
274
 
 
 I s rˆ  0.289
1
1

1
2 ˆ
2 ˆ
s r1  s r 2  
 0.083  
T 12

 II s rˆ 2  0.289
   
31
Ocena autokorelacionog
koeficijenta
0.657
0.219
Standardna greška ocene
0.289
0.289
Interval poverenja
(95% verovatnoća)
Nulta hipoteza
Ispitivanje validnosti H0
Zaključak
32
(-1.96*0.289, 1.96*0.289);
(-0.566;0.566)
H0: ρ1=0
H0: ρ2=0
0.657  0.566 0.219  0.566 
H0 se
odbacuje.
H0 se ne
odbacuje.
Primer 2 I



Na osnovu 164 podataka vremenske serije nulte
srednje vrednosti i stabilne varijanse ocenjeni su
sledeći autokorelacioni koeficijenti (redom na
docnjama od 1 do 10):
-0.009; 0.456; -0.069; -0.040; -0.073; -0.049;
-0.062; -0.059; 0.045; -0.038.
Da li se može smatrati da je vremenska serija proces
beli šum?
33
Primer 2 II

Vremenska serija nulte srednje vrednosti i stabilne varijanse je
proces beli šum ukoliko njeni članovi nisu korelisani:
autokorelacioni koeficijenti na docnjama različitim od nule su
jednaki nula.
Potrebno je proveriti valjanost nulte hipoteze H0: ρk=0, protiv
alternativne H1: ρk≠0, k=1,2,...10.
Ukoliko se nulta hipoteza ne može odbaciti ni za jednu od prvih
deset docnji, tada u vremenskoj seriji ne postoji značajna
autokorelacija. To sugeriše adekvatnost belog šuma.
Odgovarajući interval poverenja sa verovatnoćom 95% je

rˆ 2  0.456  0.153;0.153
Zaključujemo da vremenska serija nije beli šum.



 0.153;0.153
34
Primer 3: analiza korelacione strukture osnovne
inflacije privrede Srbije, 2002:1-2008:3 (T=75) I
Docnja
(k)
 1
 2
 3
 4
 5
 6
 7
 8

Ocena običnog
autokorel.koeficijenta
0.493
0.355
0.338
0.275
0.101
0.166
0.127
0.025
Značajna korelacija
DA
DA
DA
DA
NE
NE
NE
NE
Interval poverenja sa verovatnoćom 0.95 [-0.23;0.23]
35
Primer 3: analiza korelacione strukture osnovne
inflacije privrede Srbije, 2002:1-2008:3 (T=75) II
Docnja
(k)
 1
 2
 3
 4
 5
 6
 7
 8


Ocena parcijalnog
autokorel. koeficijenta
0.493
0.148
0.157
0.047
-0.145
0.117
-0.010
-0.078
Značajna korelacija
DA
NE
NE
NE
NE
NE
NE
NE
Interval poverenja sa verovatnoćom 0.95 [-0.23;0.23]
Zaključak: ovu seriju verovatno treba modelirati na osnovu
AR(1) forme.
36
Primer 3: analiza korelacione strukture osnovne inflacije
privrede Srbije, 2002:1-2008:3 III










Autokorelacioni koeficijenti vremenske serije
reziduala iz AR(1) modela ukazuju na to da je
ocenjenim modelom obuhvaćena autokorelacija u
seriji osnovne inflacije
.025
.020
.015
Ocena običnog
autokorel.koeficijenta.
Docnja
1
2
3
4
5
6
7
8
-0.059
0.033
0.145
0.174
-0.120
0.113
0.091
-0.129
.010
.005
.015
.000
.010
-.005
-.010
.005
.000
-.005
-.010
-.015

Interval poverenja sa verovatnoćom
0.95 [-0.23;0.23].
37
2002
2003
2004
2005
2006
2007
Reziduali
Stvarno kretanje osnovne inflacije
Kretanje osnovne inflacije ocenjeno prema AR(1) modelu (ocena AR(1) parametra 0.49)