Transcript Normal multivariada

Distribución Normal Multivariada

Normal univariada
Distribución conjunta de n v.a. normales estándar independientes

Distribución conjunta de n v.a. normales N(,2) independientes

Generalización, a la distribución de n v.a normales con esperanza  y
matriz de covarianzas  no singular

Función generatriz de momentos de una NM

Distribución de combinaciones lineales de Nn(,)
Distribuciones marginales
Independencia bajo normalidad multivariada




Distribuciones condicionales
Modelo de regresión normal

Correlación múltiple y parcial

Normal univariada
Distribución conjunta de n v.a. normales estándar
independientes
f (z) 
1
2
e
1
 z2
2
Normal univariada
Distribución conjunta de n v.a. normales estándar
independientes
f (z) 
n
f (z1, z2 ,..., zn )  
i 1
1
2
e
1
 zi2
2

1
2
1
2
e
e
1
 z2
2
1
 z12
2

1
2
e
1
 z22
2
 ... 
1
2
e
1
 zn2
2
Normal univariada
Distribución conjunta de n v.a. normales estándar
independientes
f (z) 
n
f (z1, z2 ,..., zn )  
i 1
1
2
e
1
 zi2
2

1
e
2
1
2
n
e
 1 
f ( z1, z2 ,..., zn )  
 e
 2 

1
 z2
2
1
 z12
2

1 n 2
 zi
2 i 1

1
2

e
2
1
 z22
2

n
 ... 
1
 z´ z
e 2
1
2
e
1
 zn2
2
Distribución conjunta de n variables aleatorias
normales N(,2) independientes
y i  zi   i
 0
i 
zi 
y i  i

El Jacobiano de la transformación es el valor absoluto del
determinante del la matriz de derivadas parciales.
 zi 1

 yi 
La densidad de Yi se escribe como la densidad de Zi, expresada en
términos de Yi, multiplicada por el Jacobiano de la transformación.
 1 1
f (yi )   
e
   2
1 y  
  i i
2  
2
Distribución conjunta de n variables aleatorias
normales N(,2) independientes
yi ~ N(i , 2 )
La densidad conjunta de las YI ’s está dada por el
producto de sus densidades
 1 1
f ( y)    
e
i 1    2
n
1 y  
  i i
2  
2
  2 
Usando notación matricial
f ( y)   2 
n

2
 n e

1
1
 y μ 2  y μ
2


n
2
 n e
1 n  y i  i 
 

2 i 1   
2
Distribución conjunta de n
variables aleatorias
normales N(,2) independientes
Derivación de la distribución
utilizando notación matricial
Distribución conjunta de n variables aleatorias
normales N(,2) independientes – Notación Matricial
y   Iz  μ
z
1

I  y  μ
Jacobiano de la transformación: Determinante de la matriz de
derivadas parciales de z respecto de y
Derivada de trasformaciones lineales
(Timm, 1975 pag. 96-100).
 Ax
 A
x
z

y

  1I(y - μ)
y
   
I(y) 
1
y


Det  1I    n
de

la
forma
 

  1I   1I

Ax,
Distribución conjunta de n variables aleatorias
normales N(,2) independientes – Notación Matricial
La densidad de y la podemos escribir a partir de la densidad de z
como función de y, multiplicada por el Jacobiano de la
transformación.
f ( y)   2 
  2 
n

2

n
2
e
 n e
z



1 1
1
   y μ  y μ 
2 





 n 
1
 1  y μ 
y

μ



2 
2

Generalización de la
distribución conjunta de
n variables aleatorias normales
nxn
y  z  μ
z ~ N(0, I)
z      ( y  μ)
1
La derivada
El Jacobiano
z

y
    ( y  μ)
1
y


Det ( 1 )
f ( y)   2 
  
1


  1
f ( z )   2 
n

2

1

e
n

2
1  1


  yμ 1 yμ 

2




e

1
 z´z 
2

f ( y)   2 
n

2

1

e
1  1


  yμ 1 yμ 

2




f ( y)   2 
n

2

1

e
1  1

 1


y

μ

y

μ





2 




Re-escribiendo la expresión entre corchetes del exponente en se tiene

 1

1

  y  μ   y  μ 



 y  μ  1  1  y  μ 
 
  y  μ  1 1  y  μ 
1
  y  μ     y  μ
f ( y)   2 
n

2

1

e
1  1

 1


y

μ

y

μ





2 




Re-escribiendo la expresión entre corchetes del exponente en se tiene


1  y  μ 1  y  μ 



 y  μ  1  1  y  μ 
 
  y  μ  1 1  y  μ 
1
  y  μ     y  μ



 


Es simétrica y rango completo
 Definida positiva
Autovalores mayores que cero
Determinante>0
f ( y)   2 
n

2

1

e
1  1

 1


y

μ

y

μ





2 




Re-escribiendo la expresión entre corchetes del exponente en se tiene


1  y  μ 1  y  μ 



 y  μ  1  1  y  μ 
 
  y  μ  1 1  y  μ 



 


Es simétrica y rango completo
 Definida positiva
Autovalores mayores que cero
Determinante>0
1
  y  μ     y  μ
Por otra parte

1

1
 
1/ 2
f ( y)   2 
n

2

1

e
1  1

 1


y

μ

y

μ





2 




Re-escribiendo la expresión entre corchetes del exponente en se tiene


1  y  μ 1  y  μ 



 y  μ  1  1  y  μ 
 
  y  μ  1 1  y  μ 



 


Es simétrica y rango completo
 Definida positiva
Autovalores mayores que cero
Determinante>0
1
  y  μ     y  μ
Por otra parte

1
  

1
 
1/ 2
f ( y)   2 
n

2

1

e
1  1

 1


y

μ

y

μ





2 




Re-escribiendo la expresión entre corchetes del exponente en se tiene


1  y  μ 1  y  μ 



 y  μ  1  1  y  μ 



 


 
  y  μ  1 1  y  μ 
Es simétrica y rango completo
 Definida positiva
Autovalores mayores que cero
Determinante>0
1
  y  μ     y  μ
Por otra parte

1

1
 
  
f ( y)   2 
n

2

1/ 2
e

1
 y μ  1 y μ


2 
1/ 2
Densidad Normal multivariada
f ( y)   2 
n

2

1/ 2
e
1
  y μ   1  y μ  

2 
Esperanza de una normal
multivariada
E( y)  E(z  μ)
Esperanza de una normal
multivariada
E( y)  E(z  μ)
E(y)  E(z  μ)  E  z   μ  μ
Varianza de una normal
multivariada
V ( y) V (z  μ)
Varianza de una normal
multivariada
V ( y) V (z  μ)
V (z  μ)  V  z  
Varianza de una normal
multivariada
V ( y) V (z  μ)
V (z  μ)  V  z  
V  z    I    
Distribución normal
multivariada
Función generatriz de momentos
Función generatriz de
momentos
 
m( t )  E e t ' y
y ~ Nn μ, 
Función generatriz de
momentos
 
m( t )  E e t ' y
m(t ) 
 e  2 
ty
Rn
y ~ Nn μ, 
n / 2

1/ 2
e
1/ 2 yμ 1 yμ
dy
Función generatriz de
momentos
 
m( t )  E e t ' y
m(t ) 
 e  2 
ty
y ~ Nn μ, 
 n /2

1/2
e
1/2 yμ 1 yμ
dy
Rn
m(t ) 
  2 
Rn
 n /2

1/2
e
1/2 yμ 1 yμ ty
dy
Teorema 1.10.1
Graybill F.A. Theory and Application of Linear Models.
Duxbury Press. (pag. 48)

Sean




a0 y b0 constantes,
a y b vectores nx1,
A una matriz simétrica nxn de constantes y
B una matriz definida positiva de constantes.
 
I
  ...  x'Ax  x' a  a  expx'Bx  x' b  b  dx
o
 
I

o
1
dx2 ... dxn

1 n / 2 1/ 2
 B exp14 b' B 1 b  bo trAB1  b' B 1 a  12 b' B1 AB1 b  2ao
2


m(t ) 
  2 
n / 2

1/ 2
e
1/ 2 yμ 1 yμ ty
dy
Rn
a0
1

1/ 2( y  μ)  ( y  μ)  ty
A0
a0   2 
 n /2

1/2
1 1
B 
2
b  (1μ  t )
μ 1μ
b0 
2


 1/ 2 ( y  μ)1( y  μ)  yt 


 1/ 2 y1y  y1μ  μ1y  μ1μ  yt 
 y1y

μ1μ
1


 
 y μ
 y t 
2
 2

 y1y μ1μ

1

 

 y ( μ  t )  .
2
 2

1
1
m( t )   n / 2  1
2
2
1/ 2
 1 1
μ 1μ  
n / 2
1/ 2
1

exp  ( μ  t )2( μ  t ) 

 2  2 

2 
4
1
1
m( t )   n / 2  1
2
2
1/ 2
 1 1
μ 1μ  
n / 2
1/ 2
1

exp  ( μ  t )2( μ  t ) 

 2  2 

2 
4
Reordenando
 μ1μ μt tμ tt μ1μ  
1 n / 2 n / 2 1/ 2
n / 2
1/ 2

m( t )   2  exp 





 2  2 

2
2
2
2
2 
 2
1
1
m( t )   n / 2  1
2
2
1/ 2
 1 1
μ 1μ  
n / 2
1/ 2
1

exp  ( μ  t )2( μ  t ) 

 2  2 

2 
4
Reordenando
 μ1μ μt tμ tt μ1μ  
1 n / 2 n / 2 1/ 2
n / 2
1/ 2

m( t )   2  exp 





 2  2 

2
2
2
2
2 
 2
que se simplifica a:
tt 

m( t )  exp  tμ 

2 

Distribución de
combinaciones lineales
de vectores normales
Cy  c ~ ?
y ~ N(μ, )
Cqxn , rangoq


t  Cyc 
mCyc (t )  E e 

m(t ) 
e
t Cyc 
 2 
n /2

1/2
e
1/2 yμ 1 yμ
dy
Rn

  2 
Rn
 n /2

1/2
e
1/2 yμ 1 yμ t Cyc 
dy
m( t ) 
e
t Cy c 
 2 
 n /2

1/2
e
1/2 y μ  1 yμ
dy
Rn

  2 
 n /2

1/ 2
e
1/ 2 y μ  1 y μ t Cy c 
dy
Rn
 1/ 2  y  μ  1  y  μ  t  Cy  c  
m( t ) 
e
t Cy c 
 2 
 n /2

1/2
e
1/2 y μ  1 yμ
dy
Rn

  2 
 n /2

1/ 2
e
1/ 2 y μ  1 y μ t Cy c 
dy
Rn
 1/ 2  y  μ  1  y  μ  t  Cy  c  
 1/ 2  y 1y  y 1μ  μ 1y  μ 1μ  t  Cy  c 
m( t ) 
e
t Cy c 
 2 
 n /2

1/2
e
1/2 y μ  1 yμ
dy
Rn

  2 
 n /2

1/ 2
e
1/ 2 y μ  1 y μ t Cy c 
dy
Rn
 1/ 2  y  μ  1  y  μ  t  Cy  c  
 1/ 2  y 1y  y 1μ  μ 1y  μ 1μ  t  Cy  c 
 y1y

μ1μ
1


 
 y μ
  Cy  c  t 
2
2


m( t ) 
e
t Cy c 
 2 
 n /2

1/2
e
1/2 y μ  1 yμ
dy
Rn

  2 
 n /2

1/ 2
e
1/ 2 y μ  1 y μ t Cy c 
dy
Rn
 1/ 2  y  μ  1  y  μ  t  Cy  c  
 1/ 2  y 1y  y 1μ  μ 1y  μ 1μ  t  Cy  c 
 y1y

μ1μ
1


 
 y μ
  Cy  c  t 
2
2


 y1y

μ1μ
1
 
 y μ 
 yCt  ct 
2
 2

m( t ) 
e
t Cy c 
 2 
 n /2

1/2
e
1/2 y μ  1 yμ
dy
Rn

  2 
 n /2

1/ 2
e
1/ 2 y μ  1 y μ t Cy c 
dy
Rn
 1/ 2  y  μ  1  y  μ  t  Cy  c  
 1/ 2  y 1y  y 1μ  μ 1y  μ 1μ  t  Cy  c 
 y1y

μ1μ
1


 
 y μ
  Cy  c  t 
2
2


 y1y

μ1μ
1
 
 y μ 
 yCt  ct 
2
 2

 y 1y μ 1μ

 

 y  1μ  Ct  ct 
2
 2



 1
B
2
a0
A0
a0   2 
 n /2

1/2

b   1μ  Ct

μ 1μ
b0 
 ct
2
 1 1

μ1μ
n/2
1/ 2 
n / 2
1/ 2
1
1

m( t )    2    exp  ( μ  Ct )2( μ  Ct ) 
 tc  2  2 


2
2

4

 1 1

μ 1μ
1
m( t )  exp  ( μ  Ct )( μ  Ct ) 
 tc 
2
2

1

μ 1μ
1
 exp  (μ μ  μCt  tCμ  tCCt ) 
 t c 
2
2

 μ 1μ

tCCt μ 1μ
 exp 
 tCμ 

 tc 
2
2
 2

tCCt 

m( t )  exp  t  Cμ  c  

2


Cy  c ~ N(Cμ  c,CC)
Normal multivariada
Distribuciones Marginales
y   y1, y2,..., yn 
y   y1, y 2 ,..., y k ,  y k 1, y k  2 ,..., y n 
1
2 



y  y , y


¿Cuál es la
distribución marginal de y(1)?
C  Ik 0k  n k  


 11 12 
N(C μ  c , CC)  N(μ  c , 11)   



 21
22 
1
1
Normal multivariada
Independencia bajo
normalidad

Recordemos que si y1, y 2 ,...y n son variables
aleatorias independientes si y solo si su
densidad conjunta se puede escribir como
producto de sus densidades marginales
f ( y1, y2,..., y n )  f ( y1)  f ( y 2 )  ...  f ( y n )

Un resultado conocido es que la independencia de
variables aleatorias implica que sus covarianzas son
cero.

El resultado recíproco no es cierto en general.

Una propiedad notable de la distribución normal
multivariada es que covarianzas cero sí implica
independencia.
f ( y)   2 
n / 2

1/ 2
e
1/ 2 yμ 1 yμ
f ( y)   2 
n /2

1/2
e
1/2 yμ 1 yμ
  diag 11, 22,..., nn 
f ( y)   2 
n /2

1/2
e
1/2 yμ 1 yμ
  diag 11, 22,..., nn 
f ( y)   2 
n / 2
 11   22  ...   nn 
1/ 2
e
2
  y -  2  y -  2

y



1/ 2  1 1  2 2 ... n n 
 22
 nn 
  11

f ( y)   2 
n /2

1/2
e
1/2 yμ 1 yμ
  diag 11, 22,..., nn 
f ( y)   2 
n
 n /2
f ( y)    2 
i 1
 11   22  ...   nn 
1/2
 ii 
1/2
e
1  y i - i 

2  ii
2
1/2
e
2
  y -  2  y -  2
y n - n  

1
1
2
2

1/2 

...
 22
 nn 
  11

Normal multivariada
Distribuciones condicionales
y   y1, y2,..., yn 
y   y1, y 2 ,..., y k ,  y k 1, y k  2 ,..., y n 
y  y1 , y2 
f (z | x ) 
f ( z, x )
f (x)
y1 | y2 =y2 ~ ?
y   y1, y2,..., yn 
y   y1, y 2 ,..., y k ,  y k 1, y k  2 ,..., y n 
y  y1 , y2 
f (z | x ) 
f y | y
1
 2
=y
y1 | y2 =y2 ~ ?
f ( z, x )
f (x)
 2

2 


n / 2
 2 

1/ 2
( n  k ) / 2
e
22
1
1 
1
1   y μ   11 12    yμ 



2  y μ 2  21 22   y μ 2 




1/ 2
e


 
1
 2  1
y

μ
  22  yμ2
2

Inversa de una Matriz Particionada
A 11 A 12
A
A 21 A 22
1
A 
B
1
H B
'
1
B H
1

1
' 1

A 22 H B H

Inversa de una Matriz Particionada
B  A11 
1
A12A 22 A 21
H
1
A12 A 22
Det A   Det A22 Det A11  A12 A221 A21 
 Det A22 Det B 
f y | y
1
 2
=y
 2

 2 
 n /2
 2 
f  y1 | y2 =y2  
 2 

1  
1   yμ 

2  y μ  2 
 

 n /2


1/2
( n k )/2
1/2
e
1
1 
1
1   yμ   11 12    y μ 



2  y μ 2  21 22   y μ 2 




22
1/2
e

 

 1
1
 yμ2 22
 yμ2
2
1
1 
1
1   yμ   11 12    yμ  1
 2  1
 2

  y μ
22  yμ


2
2




2  y μ  21 22   y μ  2





e

 2 
( n k )/2
22
 

1/2
1
1
 11.2
11.2
H   yμ1  1
 2 1  y  μ 2


y

μ




22

 2 
1
1
1
H11.2 22  H11.2H  yμ  2


1  
1   yμ 

2  y μ  2 
 

1
1
 11.2
11.2
H   yμ1  1
 2 1  y  μ 2


y

μ




22

 2 
1
1
1
H11.2 22  H11.2H  yμ  2
1
 
2
1

2
1

2
1

2
1

2
 y  μ
 y  μ
1
 2
 y  μ
1
 y  μ
 2
 y  μ
 2
1
11.2
 y  μ

1

H 11.2  y  μ 
1
1
11.2
H
1
 22
 y  μ
 y  μ
1
H
H11.2
 2
 2
 y  μ
 2  1
 2

  y  μ   22  y  μ 
1
2
1
 2

 
1
2
 y  μ 1  1 y  μ 1  2 y  μ 1  1 H y  μ  2  y  μ  2 H 1 H y  μ  2 

 11.2 


 11.2 
 

 
11.2 




  y  μ

1
 
2

1
 2  1
y

μ

H
y

μ
11.2






1
 
2

1
 2  1
1
11.2
  y  μ  1222  y  μ

1
 
2
 1
2
 2  1
1
1
1
1
1
11.2 y   μ   12 22
 y  μ  
 y  μ  1222  y  μ

1
 2 
 H  y  μ


  y  μ



1
1
 12 22

 2 
 y  μ




 
1
2




 1
 2  1
 2 
1
1
1
1
1
y

μ



y

μ

y

μ



y

μ

 

12 22 
11.2
12 22 


 2
1
μ1.2  μ   1222
 y  μ
1
1
 
2




 1

 1
1
 y  μ1.2 11.2 y  μ1.2 


f y | y
1
 2
f y | y
1
=y
 2
 2
=y

 2
2 


n / 2
   2 
22
1/ 2
11.2
 2 
k / 2
11.2
1/ 2
( n  k ) / 2
1/ 2
e
e
22





1 1

1
 1
  y  μ1.2 11.2
y  μ1.2 
2

1/ 2



1 1

1
 1
  y  μ1.2 11.2
y  μ1.2 
2

Normal Multivariada

Distribuciones Condicionales
 1 
   
 2 
 y 1 
y    2 
y 
 11

 21


1
y1 | y2 =y2 ~ N( 1  12 22 y2   2 ,    1 )
11 12 22 21
E y | y
1
 2
1
y
=
Var  y | y
1
  1     y
 2
 2
12
 2
y
=

11

22
2
- 2 
1
122221
12
22
Normal multivariada
Resultados más importantes
y ~ N( , )
f ( y)   2 
n

2

1/ 2
tt 

m( t )  exp  tμ 

2 

e

1
y μ   1  y μ  


2 

En normalidad multivariada, covarianzas
cero implican independencia
Cy  c ~ N(Cμ  c,CC)
y ~ N( , )
y  y1 , y2 
y | y =y ~ N μ1.2, 11.2 
1
2
E y | y
1
2
 2
1
y
=
Var  y | y
1
  1     y
 2
 2
12
 2
y
=

11

22
2
- 2 
1
122221