Transcript pdf (it, 157 KB, 11/19/14)

Processo di identificazione
Identificazione
DoE
u(t)
Principali criteri
●
●
●
●
Scelta del
Modello
Processo
Reale
Problema di identificazione
Stima PEM ed LS
Stima ML
Errore di stima
N
Z =(u(t ); y (t ))
Scelta
Criterio
Identificazione
Validazione
2
La scelta del Modello
●
●
Processo di identificazione
Scegliere un modello vuol dire:
–
Fissare i polinomi da utilizzare nel modello generale
–
Fissare il grado dei polinomi
DoE
u(t)
Processo
Reale
Nella procedura di identificazione implica fissare il numero di
parametri (solitamente raccolti in un vettore colonna θ)
N
●
Z =(u(t ); y (t ))
Esempio : scelta di un ARX(2,1)
y(t)=−a 1 y(t−1)−a 2 y (t−2)+b u(t−1)+e(t)
M (θ)
Identificazione
θ̂
N
V N (M ; Z )
Scelta
Criterio
Validazione
T
θ=[ a 1 a 2 b ]
Scelta del
Modello
3
4
Problema di identificazione - definizione
Dati:
–
M(θ) : famiglia di modelli
–
ZN: serie storiche di dati
–
VN(M,ZN): criterio di aderenza
Criteri PEM
●
Scegliere un modello che renda piccolo l'errore di
predizione (prediction-error identification methods)
●
L'errore di predizione è un segnale: serve una norma
Determinare
–
V N ( M , Z N )=
Il vettore dei parametri “migliore” per dati forniti
N
̂
min V N ( M (θ) , Z )
θ=arg
●
In simboli
●
Osservazione l'esito dell'identificazione dipende da ZN
V N ( M , Z N )=
Si introduce un vettore (detto dei regressori) tale che
Esempio:
–
ARX(2,1) y (t)+a1 y (t−1)+a 2 y (t−2)=b u (t−1)+e (t )
–
Predittore
θ=[ a 1 a 2 b ]
6
–
Se φ(t) non nasconde dipendenze dai parametri il modello si
dice lineare nei parametri.
T
N
1
2
y
(i)−
̂
y
(i)
(
)
∑
2N i=1
Esempio:
T
●
N
Predittori non lineari nei parametri
̂y (t)=φ (t )θ
●
∑i=1 12 ε2
5
Predittori lineari nei parametri
●
1
N
ŷ (t∣θ)=−a1 y(t−1)−a 2 y (t−2)+b u (t−1)
T
φ=[−y (t−1) − y (t−2) u(t−1) ]
ARMAX(1,1,1)
y(t)+a y (t−1)=bu (t−1)+ce(t−1)+e(t)
–
Predittore
ŷ (t∣θ)=−c ̂y (t−1∣θ)+(c+a) y (t−1)+bu(t−1)+e (t )
θ=[−c c+a b ]
T
T
φ=[ ̂y (t−1∣θ) y(t−1) u(t−1) ]
Il vettore dei regressori mostra una dipendenza dai parametri
T
7
̂y (t)=φ (t∣θ)θ
8
Criteri PEM – minimi quadrati (LS)
●
Criteri PEM - Osservazioni
Nel caso di predittori lineari nei parametri
●
Definizione criterio semplice ed intuitiva
̂y (i)=φ(i)θ
●
V N ( M , Z N )=
Il criterio PEM diviene
V N ( M , Z N )=
N
1
2
( y (i)−φ(i)θ )
∑
i=1
2N
●
che da il seguente problema di ottimo
Nel caso di predittori lineari nei parametri esiste una forma
chiusa.
N
1
2
y
(i)−φ(i)θ
θ̂ PEM =arg min
(
)
∑
2N i=1
[
N
∑i=1 φ(i)φ ' (i)
]
−1
1
N
∑i=1 φ(i) y (i)
–
●
∑i=1 φ(i)φ ' (i)
]
−1
1
N
N
∑i=1 φ(i) y (i)
9
10
Criteri ML – Toy Example
determinare la probabilità p di ottenere testa lanciando
una moneta note 4 realizzazioni R=[r1,r2,r3,r4].
Idea
–
N
Non è possibile includere informazioni a priori.
N
Criteri Maximum Likelihood – Idea
●
[
1
θ̂ =
N
LS
avente una forma chiusa detta “ai minimi quadrati”
1
LS
θ̂ =
N
N
1
2
( y (i)− ̂y (i))
∑
i=1
2N
Definisco i dati come vv. cc. con ddp legata a θ.
La stima sarà data dal vettore θ̂ che massimizza la
probabilità di “ottenere” i dati osservati.
ML
–
Posto 1 (testa) e 0 (croce) la i-sima realizzazione Ri.
P ( Ri =r i )=r i p+(1−r 1 )(1− p)
–
La congiunta diviene
–
Supposto di avere osservato R=[1,1,1,1]
–
Che porta alla seguente stima
4
f R =P (R=[r1 , r2 , r3 , r4])=∏i=1 ( r i p+(1−r 1 )(1− p))
Esempio semplice non legato ai modelli:
determinare la probabilità p di ottenere testa lanciando
una moneta note 4 realizzazioni R=[r1,r2,r3,r4].
Se dovessi ottenere tutti teste mi aspetterei p = 1.
4
∏i=1 ( 1 p+(1−1)(1− p))= p4
ML
4
θ̂ =arg max p =1
11
p∈[0 ; 1]
12
Criteri Maximum Likelihood – Idea - II
●
Idea
–
–
●
Criteri ML - Verosimiglianza
Dati predittore e modello
̂y (t∣θ)= g p (Z
Definisco i dati come vv. cc. con ddp legata a θ.
La stima sarà data dal vettore θ̂ che massimizza la
probabilità di “ottenere” i dati osservati
ML
–
●
●
Se il modello e sistema condividono struttura e ordine:
●
13
Osservazione: si includono le informazioni a priori sull'errore
t−1
,θ)
Verosimiglianza fZ: funzione che descrive la ddp congiunta
delle realizzazione di ε in funzione di Z N e θ.
N
Osservazione: possibile interpretazione P (Z ∣θ)∼ f
Z
14
Criteri ML – Esempio - I
Il criterio è quello di massimizzare la verosimiglianza.
●
il problema di identificazione è un problema di minimo uso
N
●
Osservazione: la verosimiglianza è (spesso) un prodotto.
●
Spesso si utilizza come criterio la log-verosimiglianza
N
N
N
calcolare il predittore ottimo
N
●
●
Predittore
1
e(t)∼Z → f e =
e
√ 2π
−x
2
2
y (t∣b)=b∗u (k −1)
Relazione con errore di predizione
f e ( y(t )− g p (Z t −1 ,θ))=
N
●
Osservazione: nella la verosimiglianza vi sono molti termini
noti e di regolarizzazione
Il problema di minimo (spesso) può essere semplificato.
Modello
y (t)=b∗u(k −1)+e (t )
2
V N ( M , Z )=−ln( f Z (θ , Z ))
●
,θ)
f Z (θ , Z )=∏t =1 f e ( y(t) , Z
V N ( M , Z )=− f Z (θ , Z )
●
,θ)+ε(t∣θ)
Applicandolo alle N misure Z ho la verosimiglianza
conoscere la distribuzione dell'errore fe.
Criteri ML - Criterio
●
t−1
N
y(t)− g p (u(t) , y ( y) ,θ)=ε(t∣θ)=e(t)∼ f e
●
t−1
ε(t∣θ)= y(t)− g p (Z
̂y (t∣θ)= g p (u(t) , y ( y) ,θ)
●
y(t)= g p (Z
,θ)
Ricavo la relazione con l'errore di predizione
Requisiti
–
t−1
15
Verosimiglianza per N dati
f Z=
1
e
√2 π
−
( y(t )−bu (t ) )
2
2
1
e
N /2 ∏t =1
(2π)
N
−
( y (t )−bu(t ))
2
16
Criteri ML – Esempio - II
f Z=
●
1
e
N / 2 ∏t =1
(2π)
N
( y (t )−bu(t))
2
●
2
Definizione criterio complessa
N
ln( f Z )=−
N
1 N
2
N
ln (2 π)− ∑t=1 ( y (t)−bu(t) )
2
2
V (Z ,θ)=
Problema di minimo
N
V N ( M , Z )=−ln( f Z (Z ,θ))
Log Verosimiglianza
Criterio
●
−
Criteri ML - Osservazioni
●
Richiede la descrizione completa del modello (fe)
●
E' possibile includere informazioni a priori.
●
A volte si riottiene la stessa soluzione dei LS.
1 N
2
N
ln (2 π)+ ∑t=1 ( y(t)−bu(t ))
2
2
̄θ ML =arg min N ln (2 π)+ 1 ∑ ( y(t)−bu(t))2
2
2 t=1
N
N
̄θ =arg min ∑ ( y (t)−bu(t ))
t=1
ML
2
17
Errore di stima
●
18
Errore di stima - metriche
Quanto son andato bene nel riconoscere il modello?
●
Criterio naive: errore di stima
●
Requisiti
–
il sistema (modello vero) stessa struttura ed ordine
del modello scelto
S ∈M (θ)
–
conosco il modello vero
S = M (θ0 )
●
Definisco errore di stima
̂ 0
εs = θ−θ
Sull'errore di stima si possono basare diverse metriche
–
Max: usata per fornire un upper bound
–
̂ 0∥
Average: una indicazione media ∥θ−θ
2
●
Indicatori teorici, difficilmente utilizzabili in pratica
●
Nella pratica conviene affidarsi a
–
Grafico delle serie storiche y(t) ed y(t|t-1)
–
Le cifre di merito dell'ottimizzazione
SSR (sum of squared errors of prediction)
● Likelihood
20
●
19
̂ 0∥
∥θ−θ
∞