Processi Aleatori : Introduzione – Parte I Fulvio GINI Dipartimento di Ingegneria dell’Informazione: Elettronica, Informatica, Telecomunicazioni Università di Pisa E-mail: [email protected] Definizione di processo aleatorio S p azio.
Download ReportTranscript Processi Aleatori : Introduzione – Parte I Fulvio GINI Dipartimento di Ingegneria dell’Informazione: Elettronica, Informatica, Telecomunicazioni Università di Pisa E-mail: [email protected] Definizione di processo aleatorio S p azio.
Slide 1
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 2
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 3
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 4
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 5
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 6
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 7
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 8
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 9
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 10
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 11
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 12
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 13
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 14
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 15
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 16
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 17
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 18
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 19
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 20
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 21
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 22
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 23
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 24
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 25
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 26
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 27
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 28
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 29
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 30
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 31
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 32
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 33
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 34
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 35
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 36
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 37
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 38
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 39
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 40
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 41
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 42
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 43
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 44
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 45
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 46
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 47
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 48
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 49
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 50
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 51
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 52
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 53
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 54
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine Kmediante le regole marginali, ad esempio:
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 2
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 3
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 4
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 5
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 6
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 7
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 8
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 9
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 10
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 11
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 12
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 13
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 14
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 15
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 16
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 17
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 18
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 19
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 20
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 21
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 22
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 23
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 24
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 25
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 26
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 27
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 28
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 29
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 30
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 31
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 32
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 33
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 34
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 35
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 36
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 37
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 38
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 39
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 40
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 41
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 42
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 43
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 44
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 45
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 46
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 47
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 48
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 49
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 50
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 51
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 52
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 53
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T
Slide 54
Processi Aleatori :
Introduzione – Parte I
Fulvio GINI
Dipartimento di Ingegneria dell’Informazione:
Elettronica, Informatica, Telecomunicazioni
Università di Pisa
E-mail: [email protected]
Definizione di processo aleatorio
2
S p azio d i p rob ab ilità , S , P r
spazio cam pione
t T
Dato un esperimento casuale di modello di probabilità assegnato, ad ogni
suo risultato wi, si associ una funzione reale x(t,w) della variabile t;
risulta così definito un insieme di funzioni X(t,w), detto processo
aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t),
omettendo così la dipendenza da w
Rappresentazione grafica della definizione di p.a.
Esempi di elettrocardiogramma in pazienti affetti da aritmia
, S , P r
Segnali che portano informazione sono per sua natura aleatori !
3
Definizione di processo aleatorio
Nella maggior parte delle applicazioni t rappresenta il tempo
Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede
solo nella presentazione di un particolare risultato dell’esperimento
Fissato il valore di w, X(t,w) è una funzione deterministica detta
funzione campione del processo
La particolare x(t,w) che si osserva in una data prova dell’esperimento
aleatorio prende il nome di realizzazione del processo
4
Variabile aleatoria estratta da un p.a.
Qualora si fissi un determinato istante di tempo t1, ad ogni risultato w
dell’esperimento viene associato il valore numerico x(t1,w) della
corrispondente realizzazione in quell’istante
Si ottiene così una quantità dipendente da w cioè una v.a. indicata con X(t1)
… in altre parole, fissato il valore t, il processo casuale X(t) è una v.a.
che indicheremo, per semplicità con X(t)
5
N v.a. estratte da un processo aleatorio
t2
Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1)
e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il
vettore aleatorio X = [ X(t1) X(t2) ]T
Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore
di N variabili aleatorie X = [ X(t1) X(t2) … X(tN) ]T
La descrizione statistica del processo implica perciò la conoscenza della
legge di distribuzione di tutti i possibili sistemi così formati
6
Definizione di processo aleatorio
Riassumendo X(t,w), semplificato in X(t), può rappresentare:
un insieme di funzioni delle variabili t ed w (processo aleatorio)
una funzione deterministica della variabile t detta funzione campione
del processo (w fissato, t variabile)
una variabile casuale indicata con X(t) (t fissato, w variabile
un numero reale (t e w fissati
• In molte applicazioni i risultati dell’esperimento sono già delle forme
d’onda; in tal caso non vi è più distinzione tra risultato e funzione
campione assegnatagli
• Esempi: misura della tensione di rumore, segnale musicale/video
trasmesso, segnale dati all’uscita di un PC
Siano X(t) ed Y(t) due p.a., essi sono uguali [ e scriveremo X(t) = Y(t) ]
se e solo se in corrispondenza degli stessi risultati dello stesso
esperimento vengono associate identiche funzioni del tempo
7
Descrizione statistica di un processo aleatorio
A. Specificazione diretta
Un processo X(t) si dice statisticamente determinato se sono note le sue
funzioni di distribuzione (Cumulative Distribution Function, CDF):
F X x1 , x 2 ,
, x N ; t1 , t 2 ,
,tN
P r X t1
x1 , X t 2 x 2 ,
, X tN
xN
per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN
Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore
mediante le regole marginali (non vale il viceversa)
Nota: la funzione di distribuzione di ordine N del processo è ovviamente
la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T
ottenuto fissando N istanti t1 , t2 , …, tN
Nota: anche se il comportamento statistico di un processo stocastico è
completamente determinato quando sono note le distribuzioni di tutti
i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune
statistiche dei primi due ordini (descrizione in potenza del processo)
8
Descrizione statistica di un processo aleatorio
9
B. Specificazione in forma parametrica
Un processo X(t) si dice parametrico quando può essere specificato
attraverso la forma delle sue funzioni campione, che dipende
parametricamente da un certo numero di variabili aleatorie:
X (t ) s (t ; 1 , 2 ,
K )
La caratterizzazione
statistica completa del
processo richiede la ddp
congiunta dei parametri
aleatori
f ( 1 , 2 ,
K )
Esempi di p.a. parametrici
Tensione costante di valore aleatorio
10
Oscillazione cosinusoidale
con fase iniziale incognita
X ( t ) a cos 2 f 0 t
X (t ) A
con A U ( 1,1)
con U ( , )
Esempi di p.a. parametrici
11
Funzione campione del processo segnale dati binario
S t
N
A
k
g T t kT
k 0
f A a0 ,
, aN
N
i0
f Ai a i
v.a. binarie
{-1,+1}
1
2
f Ai a i
( a i 1)
1
2
( a i 1)
segnale
deterministico
Modello più
realistico:
S t
A
k
k
g T t kT t 0
t 0 U (0, T )
Jitter
Descrizione statistica di un processo aleatorio
C. Specificazione mediante altri processi e loro trasformazioni
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il processo Y(t) viene caratterizzato attraverso la descrizione
statistica completa di X(t) e della trasformazione T[.]
Classificazione di un processo aleatorio
ampiezze continue/discrete
variabile indipendente continua/discreta
Si hanno quindi 4 classi: processi a valori continui e tempocontinuo, processi valori continui e tempo-discreto, ecc.
12
Descrizione statistica del primo ordine
13
Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.).
La sua funzione di distribuzione, che dipende in generale da t,
è detta funzione di distribuzione del primo ordine del processo X(t):
F X x ; t P r X t x
Analogamente, si definisce la funzione densità di probabilità del
primo ordine del processo X(t):
Per processi discreti
FX ( x; t )
X(t) è una v.a. discreta, si
f X x; t
x
può usare la massa di
probabilità:
… ed in maniera ovvia si definisce la
funzione caratteristica del primo
PX x ; t Pr X ( t ) x
ordine di X(t):
X (w ; t ) E e
jw X ( t )
f X x; t
P (t ) ( x x
k
k
e
jw x
FT
f X ( x ; t ) dx f X ( x ; t )
k
)
dove Pk ( t ) P r X ( t ) x k
Indici statistici del primo ordine
Si definiscono le seguenti
statistiche del primo ordine:
14
Funzione valor medio
del processo X(t):
X ( t ) E X t
x f x ; t dx
X
Funzione potenza media
statistica (istantanea):
PX ( t ) E X
2
t x 2 f X x ; t dx
Funzione varianza
del processo X(t):
X (t ) E
2
In generale sono funzioni del tempo t
Nota: non necessariamente X(t) deve coincidere
con una della funzioni campione del processo X(t)
X t X (t )
2
( x X ( t )) f X x ; t dx
2
PX ( t ) X ( t )
2
Interpretazione di FX(x;t)
15
in termini di frequenza relativa
Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo
una funzione del tempo x(t) (una realizzazione). Otteniamo così N
realizzazioni del processo
Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni
per cui si verifica che, all’istante t, il valore della funzione è non
superiore a x. Allora si ha:
F X x ; t P r X t x
nt x
N
F X x ; t lim
N
nt x
N
Interpretazione di fX(x;t)
16
in termini di frequenza relativa
Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero
di realizzazioni per cui si verifica che al tempo t, il valore della funzione
x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:
f X x ; t D x P r x X t x D x
D nt x
N
f X x ; t lim
Dx 0
N
D nt x
N Dx
Descrizione statistica del secondo ordine
17
Dati due istanti t1 e t2, consideriamo le v.a. X(t1) e X(t2);
la loro funzione di distribuzione congiunta, che dipende in
generale da t1 e t2, è detta funzione di distribuzione del
secondo ordine del processo X(t):
F X x1 , x 2 ; t1 , t 2 P r X t1 x1 , X t 2 x 2
Analogamente, si definisce la funzione densità di
probabilità del secondo ordine del processo X(t):
f X x1 , x 2 ; t1 , t 2
F X ( x1 , x 2 ; t1 , t 2 )
2
x1 x 2
… ed in maniera ovvia si definisce la
funzione caratteristica del secondo ordine di X(t):
X (w 1 , w 2 ; t1 , t 2 ) E e
j [ w1 X ( t1 ) w 2 X ( t 2 )]
Nota: Se il processo
è discreto
(nelle ampiezze)
si può usare la massa
di probabilità
congiunta
FT
f X ( x1 , x 2 ; t1 , t 2 )
Interpretazione di fX(x1,x2;t1,t2)
18
in termini di frequenza relativa
Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui
ampiezza è compresa tra x1 e x1 +D x1 all’istante t1 e tra x2 e
x2 +D x2 all’istante t2, si ha:
f X x1 , x 2 ; t1 , t 2 D x1 D x 2 P r x1 X t1 x1 D x1 , x 2 X t 2 x 2 D x 2
D n t1t 2 x1 , x 2
N
f X x1 , x 2 ; t1 , t 2 lim
D x1 0
D x2 0
N
D n t1t 2 x1 , x 2
N D x1 D x 2
Analisi in potenza
19
In molti casi, ci si accontenta di studiare il processo analizzando
solamente le funzioni valore medio e di autocorrelazione (ACF)
La funzione valore medio di un processo X(t) è il valore aspettato della
v.a. X(t); esso è in generale una funzione del tempo:
xi P r X (t ) xi
i
X ( t ) E X ( t )
xf ( x ; t ) d x
X
È un indice statistico
di ordine 1
La funzione di autocorrelazione di un processo è la correlazione (momento
congiunto ordinario) delle v.a. X(t1) e X(t2); essa è funzione di t1 e t2:
i
R X ( t1 , t 2 ) E X ( t 1 ) X ( t 2 )
xx
i
j
P r X ( t1 ) x i , X ( t 2 ) x j
j
… ordine 2
x1 x 2 f X ( x1 , x 2 ; t1 , t 2 ) dx1 dx 2
Funzione di Autocovarianza
20
Al posto della funzione di autocorrelazione possiamo considerare
la funzione di autocovarianza
La funzione di autocovarianza di un processo è la covarianza (momento
congiunto centrale) delle v.a. X(t1) e X(t2); in generale è funzione di t1 e t2:
C X t1 , t 2 E X t1 X t1 X t 2 X t 2
Tra autocorrelazione ed autocovarianza esiste la relazione:
C X t1 , t 2 R X t1 , t 2 X t1 X t 2
Nota: ponendo t1 = t2 = t, l’autocorrelazione e l’autocovarianza
si identificano rispettivamente con il valore quadratico medio
(potenza media statistica istantanea) e la varianza della v.a. X(t):
R X t, t E X
2
t
PX t
C X t , t E X t X t
2
2
X
t
Correlazione mutua ed autocovarianza mutua
Siano dati due processi stocastici X(t) ed Y(t), si definiscono
le seguenti funzioni:
R X Y t1 , t 2 E X t1 Y t 2
Funzione di correlazione mutua
C XY t1 , t 2 E X t1 X t1 Y t 2 Y t 2
Funzione di
covarianza mutua
Tra le funzioni di correlazione mutua e covarianza mutua
esiste la relazione:
C X Y t1 , t 2 R X Y t1 , t 2 X t1 Y t 2
21
Processi incorrelati, ortogonali, indipendenti
Due processi stocastici X(t) ed Y(t), si dicono incorrelati se:
C X Y t1 , t 2 0 R X Y t1 , t 2 X t1 Y t 2 t1 , t 2
Se R X Y t1 , t 2 0 t1 , t 2
si dicono ortogonali
Infine, X(t) ed Y(t) si dicono indipendenti se sono indipendenti i due vettori
aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T
per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N
Questo implica che la densità di probabilità congiunta dei due vettori
è il prodotto delle densità di probabilità di ciascuno dei due
Se i processi sono indipendenti sono anche incorrelati,
mentre non è necessariamente vero il contrario
22
Processi stazionari
23
Stazionarietà in senso stretto
Un processo aleatorio si dice stazionario in senso stretto se il suo
comportamento statistico è invariante rispetto ad una traslazione
dell’origine dei tempi
Questo significa che i due processi X(t) e X(t+) hanno le stesse
statistiche per ogni valore di e per ogni ordine N, ovvero la ddp
congiunta soddisfa la seguente relazione:
f X x1 ,
, x N ; t1 ,
, t N f X x1 ,
, x N ; t1 ,
,tN
, t1 ,
I processi X(t+ ) ed X(t) si dicono statisticamente equivalenti,
nel senso che non sono distinguibili tramite la misurazione delle loro
statistiche; ovviamente questo non vuol dire che le loro realizzazioni
siano uguali
,tN , N
Stazionarietà del primo ordine
Un processo aleatorio si dice stazionario di ordine 1 se la ddp
del primo ordine soddisfa la seguente relazione:
f X ( x; t ) f X ( x; t ) , t
Questo implica che fX(x;t) sia indipendente da t:
f X ( x; t ) f X ( x )
Il valore medio, la potenza media e la varianza di un
processo stazionario (almeno) di ordine 1 sono perciò costanti
(non vale il viceversa). Ad esempio:
X ( t ) E X ( t )
xf
X
( x ; t ) dx
xf
X
( x ) dx X
24
Stazionarietà del secondo ordine
Un processo aleatorio si dice stazionario di ordine 2
se la ddp del secondo ordine soddisfa la seguente relazione:
f X ( x1 , x 2 ; t1 , t 2 ) f X ( x1 , x 2 ; t1 , t 2 ) , t1 , t 2
Questo implica che fX(x1 ,x2; t1 ,t2) dipenda solo da t = t2 - t1 :
f X x1 , x 2 ; t1 , t 2 f X ( x1 , x 2 ; 0, t 2 t1 ) f X ( x1 , x 2 ; t )
La funzione di autocorrelazione di un processo stazionario
(almeno) di ordine 2 è una funzione di t = t2 - t1 :
R X t1 , t 2 E X ( t 1 ) X ( t 2 ) E X ( t 1 ) X ( t 1 t )
x x
1
2
f X ( x1 , x 2 ; t ) dx1 dx 2 R X (t )
25
Stazionarietà di ordine N
26
Un processo aleatorio si dice stazionario di ordine N,
se la ddp di ordine N soddisfa la seguente relazione:
f X x1 ,
, t N f X x1 ,
x N ; t1 ,
, x N ; t1 ,
,tN
, t1 , t 2 ,
,tN
Questo implica che:
f X x1 ,
x N ; t1 ,
, t N f X ( x1 ,
, x N ; t 2 t1 , t 3 t 2 ,
t1
, t N t N 1 )
t2
t N 1
Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ;
infatti ciascuna ddp di ordine K
f X x1 ,
x N 1 ; t1 ,
f X x1 ,
, t N 1
, x N ; t1 ,
, t1 , t 2 ,
, t N 1
f X x1 ,
x N ; t1 ,
, t N dx N
, t N dx N f X x1 ,
, x N 1 ; t1 ,
, t N 1
Stazionarietà in senso lato
Un processo X(t) si dice stazionario in senso lato o debolmente
stazionario se il suo valore medio è costante e la sua funzione
di autocorrelazione dipende soltanto da t = t2 - t1:
X ( t ) E X ( t ) X
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) E X ( t1 ) X ( t1 t ) R X (t )
La stazionarietà in senso lato riguarda soltanto due particolari
statistiche del primo e del secondo ordine (quelle coinvolte
nell’analisi in potenza)
La stazionarietà in senso lato è una condizione più debole della
stazionarietà di ordine 2
Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è
anche in senso lato, non vale in generale il viceversa
27
Processi congiuntamente stazionari
Due processi X(t) ed Y(t) sono congiuntamente stazionari in senso
stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le
loro statistiche congiunte, di qualunque ordine N, coincidono con le
equivalenti statistiche di X(t+ ) ed Y(t + )
Due processi X(t) ed Y(t) si dicono congiuntamente stazionari in
senso lato se ciascuno dei due soddisfa le condizioni di stazionarietà
in senso lato ed inoltre la correlazione mutua dipende solo da t = t2 - t1:
E X ( t ) X costante
E Y ( t ) Y costante
E X ( t ) X ( t t ) R X (t )
E Y ( t )Y ( t t ) R Y (t )
R X Y ( t1 , t 2 ) E X ( t1 )Y ( t 2 ) E X ( t )Y ( t t ) R X Y (t )
28
Proprietà della funzione di autocorrelazione
Proprietà 1. L’ACF di un processo reale, stazionario almeno
in senso lato, è una funzione reale e pari:
R X (t ) E X ( t ) X ( t t ) E X ( t t ) X ( t )
E X ( t ) X ( t t ) R X t
R X (0) E X ( t ) PX 0
2
RX(0) viene detta potenza media statistica (istantanea) del processo X(t):
se consideriamo il processo X(t) come l’insieme delle funzioni campione che
rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è
la potenza istantanea dissipata dalla realizzazione associata al risultato w
dell’esperimento casuale. Perciò il valore quadratico medio RX(t,t)=E{X2(t)}
fornisce il valore medio (statistico) della potenza dissipata sulla resistenza
unitaria all’istante t
Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza
media dissipata in qualunque istante
29
Proprietà della funzione di autocorrelazione
Proprietà 2. L’ACF di un processo stazionario (almeno)
in senso lato (s.s.l.) assume il valore max nell’origine:
R X (t ) R X (0)
E
X ( t t )
X (t )
2
E X ( t t ) E X ( t ) 2 E X ( t ) X ( t t )
2
2
2 R X (0) 2 R X (t ) 0
Da cui si ricava R X (t ) R X (0)
c.v.d.
Proprietà 3. Se un processo casuale Z(t) contiene una componente
periodica X(t)= X(t+T0), anche l’ACF contiene una
componente periodica dello stesso periodo T0
R X (t ) E X ( t ) X ( t t ) E X ( t ) X ( t t T 0 ) R X (t T 0 )
30
Proprietà della funzione di autocorrelazione
31
Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene
componenti periodiche, vale:
2
2
lim R X (t ) lim C X (t ) X X
t
t
Esempio 1 di processo la cui ACF contiene componenti periodiche:
X E X ( t ) 0
X ( t ) A cos(2 f 0 t )
con A R ( )
2
A
e
e
U (0, 2 )
R X (t )
indipendenti
1
2
EA
2
cos(2
cos(2 f 0t )
2
Esempio 2 di processo la cui ACF contiene componenti periodiche:
X (t ) A
con A N (0, A )
2
X 0,
R X (t ) A
2
f 0t )
Proprietà della correlazione mutua
32
Proprietà della correlazione mutua di due
processi congiuntamente stazionari almeno
in senso lato: R X Y (t ) E X ( t )Y ( t t )
R YX (t ) E Y ( t ) X ( t t ) E Y ( t t ) X ( t )
E X ( t )Y ( t t ) R X Y t R YX t
R X Y (t )
2
R X (0) R Y (0)
Se Y(t) ed X(t) sono due processi congiuntamente stazionari
l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:
R Z (t ) E Z ( t ) Z ( t t ) E X ( t t ) Y ( t t ) X ( t ) Y ( t )
E X ( t ) X ( t t ) E Y ( t ) Y ( t t ) E X ( t ) Y ( t t )
E Y ( t ) X ( t t ) R X (t ) R Y (t ) R X Y (t ) R YX (t )
Esempio
33
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
2
RY (0) E Y ( t )
2
potenza della com ponente periodica
Nota bene: non possiamo ottenere il valor medio di Z(t) (in valore
assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t),
a causa della presenza della componente periodica dovuta a Y(t)
Significato della ACF
R X (t ) E X ( t ) X ( t t )
34
Densità Spettrale di Potenza
35
Dato un processo aleatorio X(t), stazionario almeno in senso lato,
si definisce densità spettrale di potenza (Power Spectral Density,
PSD) la seguente grandezza:
2
X T ( f )
1
S X ( f ) E lim
E
Tlim
T
T
T
X
T
(f)
2
dove : X T ( f ) F T x ( t ) rect t T
La PSD si può ottenere anche come la trasformata di Fourier (FT)
della funzione di autocorrelazione (Teorema di Wiener-Khintchine):
SX ( f )
R X (t ) e
j 2 f t
dt
Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata
inversa di Fourier:
FT
R X (t ) S X ( f )
Proprietà della PSD
36
Proprietà 1. Poiché l’autocorrelazione è una funzione
reale e pari, anche la PSD è reale e pari:
SX
f S X f
Proprietà 2. Il valore quadratico medio (o potenza media
statistica) di un processo è legato alla PSD dalla relazione :
R X (0) E X ( t ) PX
2
S X ( f ) df
Tale relazione giustifica il nome di densità spettrale di potenza
dato a SX(f)
Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):
S X ( f ) lim
T
1
T
E
XT ( f )
2
0
f
Proprietà della PSD
37
Proprietà 4. La presenza di componenti periodiche della ACF
da luogo a righe (delta di Dirac) nella PSD
In generale, la PSD è formata da una parte continua + una
parte discreta, ovvero “a righe”, la posizione delle righe è
legata alle periodicità presenti nelle realizzazioni del processo
Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a.
uniformemente distribuita in [0,T0) e p(t) un segnale
deterministico a potenza media finita, periodico di periodo T0
N.B. Ogni realizzazione di X(t) è periodica di periodo T0
X E X ( t )
p ( t x ) f T ( x ) dx
1
T0
t
t T0
p ( )d
1
T0
1
T0
T0
p ( t x )dx
0
T0 2
p ( )d P0
T0 2
P0 coeff. di ordine 0 della FS di p ( t ) = valor m ed io tem porale di p ( t )
ACF e PSD del processo parametrico X(t)=p(t-T)
R X (t ) E X ( t ) X ( t t )
p ( t x ) p ( t t x ) f T ( x ) dx
1
T0
1
T0
T0
p ( t x ) p ( t t x )dx
1
T0
0
t
p ( ) p ( t )d
t T0
T0 2
p ( t ) p ( t t )dt r p (t )
T0 2
S X ( f ) F T R X (t ) F T r p (t ) S p ( f )
Pk
2
k
S p ( f ) PSD di p ( t ) , Pk FS di p ( t )
k
f
T
0
38
Esempio: ACF e PSD
39
Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l.
con valor medio nullo ed ACF esponenziale bilatera e di un processo
Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t)
sono incorrelati
A C F : R Z (t ) R X (t ) R Y (t ) X e
2
t
cos(2 f 0t )
2
X R X (0 ) E X ( t ) , durata di R X (t ),
2
2
ovvero tem po di correlazione di X ( t )
PSD :
S Z ( f ) F T R Z (t )
2
2
X
1 (2 f )
parte continua
2
2
2
f
f0
parte discreta
2
2
f
f0
Significato della PSD
40
S X ( f ) F T R X (t ) t cor sinc ( f t cor )
2
BX
1
t cor
Alcuni confronti …
41
Proprietà: le realizzazioni di un processo stazionario
almeno in senso lato non possono avere durata finita e non
possono avere energia finita, devono essere segnali a potenza
media finita
rX (t ) x ( t ) x ( t t )
Confronto tra alcune definizioni per
T 2
segnali aleatori e deterministici
1
lim
T
R X (t ) E X ( t ) X ( t t )
S X ( f ) lim
rX (t )
FT
XT ( f )
FT
SX(f)
PX x ( t ) lim
SX ( f )
T
S X ( f ) df
2
T
2
PX E X ( t ) R X (0)
2
T 2
T
2
X T ( f )
S X ( f ) E lim
T
T
R X (t )
T
x ( t ) x ( t t )dt
1
T
T 2
T 2
rX (0 )
S
X
( f ) df
2
x ( t )dt
Misura delle statistiche per l’analisi in potenza
42
Domanda: Come si misurano funzione valor medio e funzione di autocorrelazione avendo a disposizione N realizzazioni {xi(t)} del processo?
X ( t ) E X ( t ) lim
N
R X ( t1 , t 2 ) E X ( t1 ) X ( t 2 ) lim
N
1
N
1
N
N
x (t )
i
i 1
N
x (t ) x (t
i
ˆ X ( t )
1
i
2
)
1
N
x (t )
Rˆ X ( t1 , t 2 )
i 1
N
i
i 1
1
N
N
x (t ) x (t
i
i 1
… e per quanto riguarda la densità spettrale di potenza,
se il processo è almeno s.s.l. …..
S X ( f ) lim
T
N
1
N
dove
N
i 1
X Ti ( f )
T
2
1
Sˆ X ( f )
N
X T i ( f ) F T x i ( t ) rect t T
N
i 1
X Ti ( f )
T
2
1
i
2
)
Processi ergodici
43
Domanda: è possibile misurare certe statistiche, definite come medie
d’insieme, mediante le corrispondenti medie temporali calcolate su una
sola (qualsiasi) realizzazione?
X ( t ) E X ( t )
?
x ( t ) lim
T
R X ( t , t t ) E X ( t ) X ( t t )
E g ( X ( t ), X ( t t 1 ),
?
1
T
T 2
T 2
x ( t ) x ( t t ) lim
T
?
1
T
, X ( t t N 1 )) g ( x ( t ), x ( t t 1 ),
lim
T
in generale
x ( t )dt m x
1
T
G x (t 1 ,
T 2
x ( t ) x ( t t )dt rx (t )
T 2
, x ( t t N 1 ))
T 2
g ( x ( t ), x ( t t 1 ),
, x ( t t N 1 ))dt
T 2
, t N 1 )
Risposta: La risposta è “Si” per la classe dei processi Ergodici
Elaborazione di segnali aleatori
X (t )
T [ ]
Y ( t ) T [ X ( ); t ]
Il problema è: caratterizzare il processo di uscita Y(t), in maniera
completa o parziale, nota che sia la descrizione statistica (completa o
parziale) di X(t) e nota che sia la trasformazione T[.] operata dal sistema
Nel caso di sistemi lineari è possibile ottenere la funzione valor medio
e la funzione di autocorrelazione del processo di uscita in funzione delle
rispettive statistiche del processo di ingresso
(ovviamente saranno anche funzioni della risposta impulsiva del sistema)
Y ( t ) T [ X ( ); t ] X ( t ) h ( t )
X ( t ) h ( ) d
44
Filtraggio lineare di segnali aleatori
Calcolo della funzione valor medio
Y ( t ) E Y ( t ) E
X ( t ) h ( ) d
E X ( t ) h ( ) d
X
( t ) h ( ) d X ( t ) h ( t )
Se il processo è stazionario in valor medio ….
Y ( t ) E Y ( t )
X
E X ( t ) h ( ) d
h ( ) d
X H (0 )
…. anche l’uscita lo è …
45
Filtraggio lineare di segnali aleatori
46
Calcolo della funzione di autocorrelazione
R Y ( t1 , t 2 ) E Y ( t 1 ) Y ( t 2 )
E
X (t
1
E X ( t
R
X
) h ( ) d
1
X (t
2
)h( )d
) X ( t 2 )h ( ) h ( ) d d
( t1 , t 2 ) h ( ) h ( ) d d
t1
t2
R X ( t1 , t 2 ) h ( t 1 ) h ( t 2 )
Filtraggio lineare di segnali aleatori
Calcolo della ACF - Processi stazionari almeno in senso lato
R Y ( t1 , t 2 )
R
R
R
F (t
1
) X ( t 2 )h ( ) h ( ) d d
( t 2 t1 )h ( ) h ( ) d d
X
X
E X ( t
X
( t 2 t1 ) h ( ) d h ( ) d
(t ) h (t )
2
t t 2 t1
h ( ) d
t 1 )h ( ) d
Dove si è definito: F (t ) R (t ) h (t )
X
47
Filtraggio lineare di segnali aleatori
R Y ( t1 , t 2 )
F (t
2
F (t
2
48
t 1 )h ( ) d
t1 )h ( ) d F (t ) h ( t )
R X (t ) h (t ) h ( t )
RY (t ) R X (t ) h (t ) h ( t ) R X (t ) R h (t )
Calcolo della Densità Spettrale di Potenza:
S Y ( f ) F T R Y (t ) S X ( f ) H ( f ) H ( f ) S X ( f ) H ( f )
*
2
Processo bianco tempo-continuo
49
Un processo tempo-continuo X(t) si definisce “bianco”
quando la sua ACF e la sua PSD hanno la seguente forma:
R X (t )
N0
FT
(t )
2
Il valor medio è nullo:
X lim R X (t ) 0
2
SX ( f )
N0
2
ovvero è costante per tutte le f,
giustificando l’appellativo “bianco”
t
La potenza media statistica è infinita: PX
SX
f df
Il significato di processo “bianco” può compreso pensandolo come il
limite di un processo “bianco in banda”, per B che tende all’infinito:
R X (t ) N 0 B sinc(2 Bt )
FT
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
50
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
51
f
SX ( f )
rect
2
2
B
N0
Processo bianco in banda B
PX R X (0) N 0 B ,
52
f
SX ( f )
rect
2
2
B
N0
Esempio: Integratore a finestra mobile
Y (t )
t
1
T
X ( )d
t T
t T 2
h ( t ) rect
,
T
T
1
H(f)
sin( fT )
fT
sinc( fT )
X(t) è un processo bianco (detto anche delta-correlato):
R X (t )
N0
FT
(t )
2
SX ( f )
N0
2
Si ricava che ACF e PSD dell’uscita Y(t) sono:
t
N0
R Y (t )
1
2T
T
FT
SY ( f )
N0
2
2
sinc ( fT )
53
Esempio: Integratore a finestra mobile
Funzione di
autocorrelazione
e
densità spettrale
di potenza
di Y(t)
BY
54
t co rr T
T
T
N0
2
1
T
1 T
1T