Transcript estimare ii 1

Influenţa dispersiei asupra preciziei estimatorului
Ne referim la cazul componentei continue afectată de zgomot alb în două
situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea
componentei continue A, pe baza unui singur eșantion, x[0]=3
Dacă punem x[0]=3 în expresia densității de repartiție dependente de A obținem
 1
1
2

p  x  0  3; A  
exp  2  3  A    L  A 
2 i
 2 i

o funcție ce depinde numai de parametrul necunoscut A, numită funcție de
plauzibilitate (verosimilitate)
Considerăm că =1. Valorile „credibile” pentru A sunt cuprinse între 3-3*1=0 și
3+3*1=6 adică sunt din intervalul (0, 6). Dacă valoarea adevărată a lui A nu
este din acest interval, probabilitatea de a se măsura x[0]=3 ar fi mică. Dacă,
spre exemplu, A=6.1, x[0] ar trebui, cu o probabilitate de 99.73% să intre în
intervalul
x 0   6,1 31, 6,1  3 1  3,1, 9,1
Dacă =1/3, intervalul în care poate fi valoarea parametrului A este definit de
3-3*1/3=2 și 3+3*1/3=4 adică (2, 4). Se observă că lungimea intervalului în care
pot exista valorile credibile pentru A a scăzut de la lungimea de 6 la lungimea
de 2! Odată cu scăderea dispersiei datelor crește deci precizia de determinare
a valorii parametrului necunoscut.
Funcția
L  A   p  x  x0 ; A 
se numește funcție de plauzibilitate. Pe măsură ce funcția de plauzibilitate este
mai “ascuțită” precizia de realizare a estimării este mai mare. “Ascuțimea” unei
funcții se măsoară prin curbura ei (raza de curbură) din maxim
Curbura K și raza de curbură R ale funcției y(x), într-un punct se determină cu
K
y ''
1  y 
'2 3
x  x0
R

1 y

'2 3
/ y''
x  x0
K
1

R
y ''
x  x0
Ideea de rază de curbură vine de la raza unui cerc care aproximează bine
y(x) intr-un interval redus, centrat pe punctul de interes, așa cum se arată
în figură
Raza de curbură a funcției y(x) în punctul x=0 este R=1/2 iar curbura
ei este K=2
În punctul de maxim curbura se calculează cu
K   y ''
x  x0
Pentru a determina curburile din exemplul considerat vom lucra cu
plauzibilitatea logaritmică
l  A  ln L  A
care are expresia
l  A   ln


2 i 
1
2 i2
 3  A
2
În punctul de maxim, A=3, avem
d2
1
 2 l  A
 2
A  3 i
dA
Într-un caz general putem obtine în punctul de maxim o curbură de forma
d2
C  x    2 l  x,  
  0
d
dependentă de vectorul de date x. Pentru aceasta este bine să mediem
statistic curbura C(x) peste toate valorile posibile ale datelor, ponderate cu
densitatea de probabilitate
 2
2
 ln p  x, 
 

C  E  2 ln p  x;    
p  x;  dx
2

 


În figură se arată plauzibilitățile și plauzibilitățile logaritmice, pentru cele
două abateri standard, 1 și 1/3. Se vede că pozițiile maximelor sunt
păstrate
Teorema Cramer-Rao
Dacă densitatea de probabilitate
p  x;  satisface ”condiţia de regularitate”:
  ln p  x;     ln p  x,  
E
p  x;  dx  0, 
 



 
atunci dispersia oricărui estimator nedeplasat pentru parametrul scalar 
notat cu ˆ , satisface inegalitatea:

Disp ˆ 
1
  2 ln p  x;  
E 

2




Se poate găsi un estimator nedeplasat ce are dispersia minimă, adică un
estimator MVU eficient dacă și numai dacă avem
 ln p  x; 
 I    f (x )   

Estimatorul în cauză este chiar:
ˆ  f  x 

Dispersia minimă a unui astfel de estimator este numită limita inferioară
Cramer-Rao (CRLB)
1
CRLB 
  2 ln p  x;  
E 

2



Se arată că pentru cazul estimatorului eficient:

Disp ˆ  CRLB 
1
I  
I( se numeşte ”informaţia Fisher”.
Esimatorii pot avea dispersii dependente de valoarea parametrului adevărat .
Un estimator nedeplasat a cărui dispersie este egală, peste tot cu CRLB este
eficient. Pot exista estimatori nedeplasați care deși au cea mai mică dispersie,
aceasta este totuși mai mare decât CRLB. Ei sunt estimatori suboptimali
Vom analiza aplicarea conceptului CRLB pentru modelul de semnal cu
componentă continuă necunoscută, A, afectată de un zgomot alb, gaussian
x  n  A  w  n ;
w  n
E  x  n   A
N

0,  2
n  0,1,..., N  1

Disp  x  n    2
Densitatea de repartiție a datelor, dependentă de parametrul determinist,
necunoscut, A este
N 1
p  x; A   p  x  n ; A 
n0
1

2

N
 1
exp  2
 2
N 1
 x  n   A

n0
2


Cele N valori accesibile experimentului
x 0 , x 1,..., x  N 1
sunt măsurate (cunoscute) şi cu valorile lor înlocuite în relația de
mai sus obţinem plauzibilitatea logaritmică:
ln p  x; A   N ln


2 
N 1
1
2
2
 x  n   A

n 0
2
Derivata plauzibilității logaritmice se poate pune sub forma
 ln p  x; A 1
 2
A


N

2
N 1
1 
1
 x  n   A   2  N  N

n 0

 x  A
N 1

x n   NA

n 0

Așa cum am arătat mai înainte, media eșantion are o repartiție normală
2

x

N  A,

 N 
Vom verifica îndeplinirea condiției de regularitate, cerută de
teorema Cramer-Rao
  ln p  x; A 
N
 N
E
  E  2  x  A  2  E x  A  0
A

 


și constatăm că suntem în condiția de aplicabilitate a teoremei. Vom calcula
acum curbura nemediată
2

 ln p  x; A
A
2

N
2
Aceasta nu depinde de date și deci medierea statistică nu are, în acest caz,
nici un efect
2


 ln p  x; A 
 N
E 
 2
2
A



 
Conform teoremei Cramer-Rao, pentru orice estimator nedeplasat al
componentei continue, avem îndeplinită inegalitatea
2

ˆ
Disp A 
N

Vom aplica acum a doua parte a teoremeiCramer-Rao. Avem
 ln p  x; A N  1
 2
A
 N
N 1

x  n  A 

n 0

pe care o comparăm cu forma din enunțul teoremei
 ln p  x; 
 I    f (x)   ;

A
Prin compararea celor două forme rezultă că media eșantion este un
estimator MVU eficient
1
ˆ
A  f x 
N
N 1
x n  x

n0
a cărui dispersie este minimă și egală cu
Disp x  
1
I  

2
N
ceeace am stabilit mai înainte
Vom face câteva precizări privind “informaţia Fisher”. Avem
2
2




ln
p
x
;
A

ln
p
x
;
A










I     E 

E



 
I    0
2

A

A










Dacă datele x[n] sunt identic distribuite și statistic independente (IID) atunci
repartiția mutuală se poate pune sub forma
N 1
p  x;    p  x  n  ; 
n 0
Cu datele x[n] măsurate (cunoscute) se obține plauzibilitatea logaritmică și
apoi a doua derivată
N 1
ln p  x  n ; 

n 0
2
 2 ln p  x;  N 1  ln p  x  n ; 

ln p  x;  
 2

n 0
 2
Se poate determina informația Fisher sub forma
2
  2 ln p  x  n ;  

  ln p  x;   N 1 
I     E 
   E 

2
2









 n 0


2


  ln p  x  n ;  

 N  E 

2








Putem defini informația Fisher corespunzătoare unui singur esantion x[n]
2

  ln p  x n  ;  

i     E 

2






Cu aceasta informația Fisher corespunzătoare celor N
componente statistic independente devine
I    Ni  
Dacă eşantioanele sunt corelate, relaţia nu mai este valabilă. Spre
exemplu, pentru cazul eşantioanelor complet dependente, adică:
x 0  x 1  ...  x  N 1
rezultă
p  x;   p  x  n  ; 
ceeace înseamnă că
I    i  
Concluzia este aceea că prelucrând mai multe eşantioane identice nu
putem obţine un estimator mai bun decât prelucrând un singur eşantion.
Exemplu privind o sinusoidă cu faza iniţială necunoscută, afectată de un
zgomot alb, gaussian
Datele constă dintr-o sinusoidă cu faza inițială, , necunoscută, afectată de
un zgomot alb, gaussian
x n   A cos  0n     w n ;
w n 

N 0, 2
n  0,1,..., N  1

Zgomotul e gaussian iar datele sunt și ele, deoarece relația dintre ele este
liniară. E suficient deci să determinăm media și dispersia datelor


E  x  n   E A cos  0 n     w  n 
 A cos  0 n     E w  n 
 A cos  0 n   


 E  A cos   n     w  n   A cos   n     
Disp  x  n   E x  n   E  x  n 
2
2
0

 E  w  n 
2

0
2
Se poate determina densitatea mutuală de repartiție a componentelor
vectorului de semnal, densitate dependentă de faza necunoscută
p  x;   
1

2

N
 1
exp  2
 2
N 1
 x  n  A cos  0n   

n0
2


si apoi plauzibilitatea logaritmică
ln p  x;     N ln


2 
N 1
1
2
2
 x  n  A cos  0n   



n 0
2
care se derivează de două ori în raport cu faza
 ln p  x;  
1 N 1
  2   x  n   A cos  0 n     A sin  0 n   

 n 0
A N 1 
A

  2   x  n  sin  0 n     sin  20 n  2  
2
 n 0 

 2 ln p  x;  

2

A

2
N 1
 x  n cos  0n     Acos  20n  2 



n0
iar derivata a doua se mediază statistic
  2 ln p  x;    A
E 
 2
2


 
N 1
A2
N 1
A2
N 1


 E x n cos  0n     Acos  20n  2 

n 0
2

cos
0n     cos  20n  2 

2 
 n 0
1 1


cos
2

n

2


cos
2

n

2






0
0

 2 n 0  2 2
NA2

2 2

1
1

 N

N 1

cos
2

n

2





0
n 0

(2.45)
Se ține seama de identitatea
Nr
2 cos   N  1 r 
cos   cos   r   ...  cos    N  1 r  


r
2


sin
și obținem
2
sin
1
N
N 1
sin 0 N
cos  20n  2  
cos  N 1 0  2 

N sin 0
n0
Factorul are o valoare redusă dacă frecvența nu e foarte aproape de 0 sau .
Pentru N=20 și o frecvență de 0.045 valoarea sa este de numai 0.053
sin  0,045    20 
 0,053
20  sin  0,045   
și tinde spre zero atunci când N crește indefinit. Putem afirma că
2
2

  ln p  x;   
 NA
E 

2
2

2





sau că
2
2

ˆ 
Disp 
,
2
NA
 
 N  
 N  
Se spune că egalitatea din relaţia (2.48) este valabilă “asimptotic”,
adică pentru N suficient de mare.
Ne punem problema dacă putem stabili forma unui estimator MVU eficient.
Teorema Cramer-Rao cere să avem o formă în care f(x) să depindă numai de
date, nu și de parametrul necunoscut, .
 ln p  x;  
 I    f  x     ;
 

Am găsit că, în cazul de față avem
 ln p  x;  
A N 1
  2   x n  cos  0n     Acos  20n  2 

 n0
și deci nu putem identifica o funcție dependentă numai de date. Concluzia e că
putem avea un estimator nedeplasat, eventual cu disperia minimă, dar nu și
eficient. Dispersia sa este strict mai mare decât CRLB
Estimarea prin transformarea parametrului scalar
Uneori nu suntem interesați de parametrul necunoscut , ci de unul derivat din
el, =g. Teorema Cramer-Rao afirmă că dispersia estimatorului pentru 
satisface inegalitatea
2
 dg   


d



Disp ˆ  
  g  
2

  ln p  x;  

E 

2





Pentru exemplificare ne vom referi la estimarea puterii unei comonente
continue, A. Puterea este pătratul lui A. Pare normal2 ca, deoarece media
eșantion estimeză bine componenta continuă să estimăm puterea cu pătratul ei
2
A x
P  x
Pentru o varibilă aleatoare  cu repartiție normală se stie că

N

 , 2
 

E  2  2  2
Dar media eșantion este repartizată normal
2
x
N
 A, 
N

și aplicând relația anterioară obținem
  A
E x
2
2

2
N
 P
2
N
P
deci estimatorul “ad hoc” nu este nedeplasat, și nu este deci eficient. Eficiența
se conservă doar dacă transformarea parametrului este afină
  g    a  b
Se verifică conservarea nedeplasării prin transformarea afină



E ˆ   E  gˆ    E aˆ  b  aE ˆ  b  a  b  
Aplicând teorema Cramer-Rao pentru transformarea afină definită avem
 dg   
1
2 1
ˆ
Disp  g    


a

I  
 d  I  
2
Cum estimatorul pentru  este eficient avem

Disp ˆ 
1
I  
 CRLB

Disp  gˆ    a 2 Disp ˆ  CRLB
Calculul direct al dispersiei pentru  ne dă



Disp  gˆ    Disp aˆ  b  a 2 Disp ˆ  CRLB
ceeace înseamnă că și estimatorul transformat este eficient, atingând CRLB
Revenim la exemplul considerat privind estimarea puterii componentei
continue. Vedem că

 
Disp Pˆ  Disp x 2
2
2
 dA2 

2

Disp
x

4
A
 CRLBP



N
 dA 
Urmărim să calculăm dispersia estimatorului “ad hoc” pentru putere“. Stim că
 
E  4   4  6 2 2  3 4
 
și că
E  2   E   Disp 
2
Punem în relația de mai sus
 2
și obținem
    
E 
 E 
4
2
 
2
 Disp  2
din care deducem
   E     E  
Disp 
2
4
2
2
  
E 
4
2


2 2
și apoi
 
Disp 
2

   6   3    
4
2 2
4
2

2 2
 2 4  4 2 2
Pentru cazul estimatorului analizat, înlocuind în relația de mai sus mărimile
corespunzătoare obținem
 
Disp x
2
2 2
2

4 A2 2 2 4 4 A2 2
2
 2

 2 >
 CRLBP
  4A
N
N
N
N
 N 
Al doilea termen descrește rapid odată cu creșterea lui N. Se poate considera
că, asimptotic, acest estimator este de tip MVU, eficient. Dacă ne referim la
figură, observăm că odată cu creșterea valorii N se restrânge intervalul în care
se află valorile mediei eșantion, astfel că funcția g(x) se confundă tot mai bine
cu tangenta la curbă. Tangenta definește o relație afină, ce conservă eficiența
g  x   g  A 
dg  x 
 x  A
dx x  A
Marginea inferioară Cramer-Rao pentru semnale
deterministe, afectate de zgomot alb, gaussian
Considerăm modelul de semnal determinist, dependent de un parametru
necunoscut, afectat de un zgomot alb, gaussian
x  n  s  n;   w  n ;

n  0,1,..., N  1

w n N 0,  2
Datele x[n] sunt gaussiene, deoarece se obțin din zgomotul gaussian w[n]
printr-o transformare afină. Este deci suficient să determinăm media și
dispersia acestor date. Avem
E  x  n   E s  n;   w  n   E s  n;   E w  n   s  n; 

Disp  x  n   E x  n   E  x  n 

2


 E w2  n    2
Cu datele x[n] cunoscute și ținând seama de faptul că eșantioanele sunt IID
putem determina funcția de plauzibilitate
p  x;  
1

2

N
 1
exp  2
 2
N 1
 x n  s n; 

n0
2


Se determină apoi plauzibilitatea logaritmică și cea de-a doua derivată
ln p  x;    N ln
 ln p  x;  1
 2


 2 ln p  x; 

2


2 
1
2 2
N
  x  n  s  n; 
n 0
N 1
 x  n  s  n; 

n 0
2
s  n; 

N 1 
 2 s  n;   s  n;  
1
 2   x  n   s  n; 


2


 n 0 




2



Pentru a stabili informația Fisher este necesară medierea statistică, deoarece
derivata a doua depinde de datele x[n]. Avem
  2 ln p  x;  
E

2



N 1 

 2   E  x  n   s  n; 
 n 0 

1

1
2
N 1  s
 n;  
n 0 




2

2
 s  n;   s  n;  

 
2

   
2
În final avem limita inferioară Cramer-Rao pentru orice estimator al
parametrului necunoscut, 

Disp ˆ 
2
N 1  s

n 0 
 n;  

 
 CRLB
Derivata semnalului util în raport cu parametrul necunoscut este o măsură a
sensibilității semnalului la modificarea parametrului
s  n;  
s  n; 

 ;
  0
Pentru exemplificare considerăm un semnal util a cărui frecvență este
necunoscută
s n; 0   Acos 0n  
Determinăm sensibilitatea în raport cu frecvența
ds  n; 0 
d 0
  An sin  0 n   
Obținem, în final, CRLB pentru orice estimator al frecvenței digitale
2
2

A
ˆ 
Disp 
 CRLB
0
N 1
2
2
n
sin
 0 n   

 
n 0
Pentru faza inițială nulă și pentru N=20 eșantioane obținem
CRLB 
1
19
n2 sin 2 0 n

n 0
 f  0 
valoare plotată pentru frecvențe nu foarte apropiate de 0 sau . Reținem că
parametrii față de care semnalul util are o sensibilitate mai mare, se determină
cu dispersie mai mică, adică cu precizie mai mare