Transcript 第16讲 - 应用数学家园

第16讲
此幻灯片可在网址
http://www.appmath.cn
上下载
1
第四节 矩 协方差矩阵
2
定义 设X和Y是随机变量，若
mk=E(Xk), k=1,2,…
(1)
存在,称它为X的k阶原点矩,简称k阶矩. 若
nk=E{[X-E(X)]k},k=2,3,…,
(2)
存在, 称它为X的k阶中心矩. 若
E(XkYl), k, l=1,2,…
(3)
存在，称它为X和Y的k+l混合原点矩. 若
E{[X-E(X)]k[Y-E(Y)]l},k,l=1,2,… (4)
存在，称它为X和Y的k+l阶混合中心矩。
3
原点矩 mk=E(Xk), k=1,2,…
(1)
中心矩 nk=E{[X-E(X)]k},k=2,3,…, (2)
混合原点矩 E(XkYl), k, l=1,2,…
(3)
混合中心矩E{[X-E(X)]k[Y-E(Y)]l},k,l=1,2,…(4)
显然，X的数学期望E(X)是X的一阶原点矩，
一阶中心矩恒等于0，方差D(X)是X的二阶中
心矩，协方差cov(X,Y)是X和Y的二阶混合中
心矩。
4
二维随机变量(X1,X2)有四个二阶中心矩(设它
们都存在)，分别记为
c11=E{[X1-E(X1)]2},
c12=E{[X1-E(X1)][X2-E(X2)]}
c21=E{[X2-E(X2)][X1-E(X1)]}
c22=E{[X2-E(X2)]2}
将它们排成矩阵的形式：
 c11 c12 
c

 21 c22 
称它为随机变量(X1,X2)的协方差矩阵。
5
设n维随机变量(X1,X2,…,Xn)的二阶混合中心
矩
cij=cov(Xi,Xj),i,j=1,2,…,n
都存在，则称矩阵
 c11 c12
c
c22
21
C 

c
 n1 cn 2
c1n 

c2 n



cnn 
为(X1,X2,…,Xn)的协方差矩阵. 由于
cij=cji(ij,i,j=1,2,…,n), C是对称矩阵.
6
一般, n维随机变量的分布是不知道的，或者
太复杂，以致在数学上不易处理，因此在实
际应用中协方差矩阵就显得重要了。
7
第五节 二维正态分布
8
一、二维正态分布及其边缘分布
定义 设二维连续随机变量(X,Y)的联合概率密
度为：
1
f ( x, y ) 

2
2s 1s 2 1 - r
 ( x - m1 ) 2
( x - m1 )( y - m2 ) ( y - m2 ) 2 
-2 r


2 
2
2
s1s 2
2(1- r )  s1
s 2 
1
e
(-  x  , -  y  ),
(1)
其中m1,m2,s12,s22,r都是常数，且s1>0,s2>0,
-<m1,m2<+,-1<r<1. 称(X,Y)服从参数为
m1,m2,s12,s22,r的二维正态分布，记作
9
( X ,Y ) ~ N ( m1 , m 2 ,s ,s , r )
x - m1
y - m2
, y1 
在(1)式中，如果记 x1 
, 以及
s1
s2
1
，则有
k
2
2s 1s 2 1 - r
记作
2
1
f ( x, y )  k e
-
1
2(1- r 2 )
2
2
( x12 - 2 r x1 y1  y12 )
10
-
1
2(1- r 2 )
( x12 - 2 r x1 y1  y12 )
f ( x, y )  k e
将指数上的分子按y1配平方，得指数上的分
子中括号里的内容写为
y12 - 2 r x1 y1  x12  y12 - 2 r x1 y1  ( r x1 ) 2 - ( r x1 ) 2  x12
 ( y1 - r x1 )  (1 - r ) x
2
2
则
f ( x, y )  k e
-
x12
2
-
e
2
1
( y1 - r x1 ) 2
2(1- r 2 )
下面计算X,Y的边缘概率密度，这里只是将
x1,y1视为记号，但是，也可以将其作积分变
元替换。
11
f X ( x)  

-
f ( x , y )d y  k e
-
x12
2

 -
-
e
( y1 - r x1 ) 2
2(1- r 2 )
dy
将上面的积分变元真的代换为y1, 则dy1=dy/s2,
将积分式中配方成好象另一个正态分布
N(rx1,1-r2)的概率密度的积分，可得
x12
1
1
f X ( x) 
e 2 
e
2 s 1
2 s 1
由对称性可得
( y - m2 )2
1
2s 22
fY ( y ) 
e
2 s 2
( x - m1 ) 2
2s 12
(3)
12
X,Y的相关系数rXY可用下面的积分来求，仍
然利用上面的x1,y1的表示法，并进行这样的
积分变元替换，可得
r XY 

 
1
s 1s 2
 
- -
1
2 1 - r
r

2
2
( x - m1 )( y - m 2 ) f ( x, y )d yd x


-
x12

2
2
- 1

x e
x1 e
-
x12
2

d x1  y1 e
-
-
( y1 - r x1 ) 2
2(1- r 2 )
d y1
d x1  r
13
二维正态分布曲面的形状如图所示：
14
由第三节已知，若随机变量X与Y相互独立,
则相关系数rXY=0, 但是, 当rXY=0时，X与Y却
不一定相互独立. 然而，在正态分布的情形
下，当相关系数r=0时，二维正态分布的联
合概率密度(1)化为下面的形式：
1
f ( x, y ) 
e
2s 1s 2
1  ( x - m1 ) 2 ( y - m 2 ) 2 
- 


2 
2
2

 f X ( x ) fY ( y )
因此，若(X,Y)服从二维正态分布，则它们相
互独立的充要条件是r=0，即对于二维正态
随机变量(X,Y)来说，不相关与独立是等价的。
15
二、n维正态分布
如二维随机变量(X1,X2)~N(m1,m2,s12,s22,r), 我
们知道(X1,X2)的联合概率密度为
1
f ( x, y ) 

2
2s 1s 2 1 - r
 ( x - m1 ) 2
( x - m1 )( y - m2 ) ( y - m2 ) 2 
-2 r


2 
2
2
s1s 2
2(1- r )  s 1
s 2 
1
e
现将上式中指数的表达式写成矩阵形式。
16
令
 x1 
 m1 
X   , μ   ,
x2 
m 2 
2
rs 1s 2 
c11 c12   s 1
C


2 
s2 
c21 c22  rs 1s 2
这里c11=cov(X1,X1), c12=c21=cov(X1,X2),
c22=cov(X2,X2), 称C为随机变量(X1,X2)的协方
差矩阵，它的行列式和逆矩阵分别为
2 2
2
| C | s 1 s 2 (1 - r ),
2

s2
1
-1
C  2 2
2 
s 1 s 2 (1 - r ) - rs 1s 2
- rs 1s 2 

2
s1 
17
经过计算得
-1
( X - μ) C ( X - μ)
T
2
2

1
( x1 - m1 )
( x1 - m1 )( x2 - m 2 ) ( x2 - m 2 ) 

- 2r


2 
2
2
(1 - r )  s 1
s 1s 2
s2

其中(X-m)T表示(X-m)的转置, 于是(X1,X2)的联
合概率密度可写成
f ( x1 , x2 ) 
 (2 )
2
2
|C |
1
2
 1

T
-1
exp  - ( X - μ ) C ( X - μ) 
 2

18
上式容易推广到n维正态随机变量(X1,X2,…,Xn)
的情形，为此引入列向量和矩阵
 x1 
 m1 
 c11 c12
x 
m 
c
c22
2
2
21
X    , μ    ,C  
 
 

x 
m 
c
 n
 n
 n1 cn 2
c1n 

c2 n



cnn 
其中mi=E(Xi) (i=1,2,…,n),
cij=cov(Xi,Xj) (i,j=1,2,…,n). 矩阵C为协方差矩
阵.
19
如n维随机变量(X1,X2,…,Xn)的联合概率密度
为
f ( x1 , x2 , , xn ) 
 1

T
-1
 (2 ) | C | exp  - ( X - μ ) C ( X - μ) 
 2

则称(X1,X2,…,Xn)服从n维正态分布.
n
2
1
2
20
n维正态分布具有以下四条重要性质(证略)：
1 n维正态变量(X1,X2,…,Xn)的每一个分量Xi,
i=1,2,…,n都是正态变量；反之，若
X1,X2,…,Xn都是正态变量，且相互独立，则
(X1,X2,…,Xn)是n维正态变量.
2 n维随机变量(X1,X2,…,Xn)服从n维正态分布
的充要条件是X1,X2,…,Xn的任意线性组合
l1X1+l2X2+…+lnXn服从一维正态分布(其中
l1,l2,…,ln不全为零).
21
3 若(X1,X2,…,Xn)服从n维正态分布，设
Y1,Y2,…,Yk是Xj(j=1,2,…,n)的线性函数, 则
(Y1,Y2,…,Yk)也服从多维正态分布.
这一性质称为正态变量的线性变换不变性.
4 设(X1,X2,…,Xn)服从n维正态分布，则
“X1,X2,…,Xn相互独立”与“X1,X2,…,Xn两两
不相关”是等价的.
n维正态分布在随机过程和数理统计中常会遇
到.
22
例1 已知(X,Y)的联合概率密度为
1  x2 y2
-  2 2
2  5 5



1
f ( x, y ) 
e
( -  x , y   )
2
2 5
问X,Y是否独立？
解 由f(x,y)的公式可知(X,Y)~N(0,0,52,52,0), 即
r=0, X,Y不相关，因此相互独立.
23
例2 设随机变量X与Y相互独立，且都服从正
态分布N(0,s2), 记U=aX+bY, V=aX-bY(a,b为
不相等的常数). 求
(1) U与V的相关系数rUV；
(2) U与V的相互独立的条件.
解 (1) 因 E(X)=E(Y)=0, D(X)=D(Y)=s2
故 E(U)=E(aX+bY)=0, E(V)=0,
D(U)=D(aX+bY)=a2D(X)+b2D(Y)=(a2+b2)s2.
D(V)=D(aX-bY)=(a2+b2)s2,
cov(U,V)=E(UV)-E(U)E(V)=E(UV)=
=E(a2X2-b2Y2)=a2D(X)-b2D(Y)=(a2-b2)s2
24
最后得：
rUV
a -b
 2
2
a b
2
2
(2) 因为X与Y是相互独立的随机变量, 故X与Y
的线性组合的随机变量U,V也是正态随机变量.
由于U与V相互独立的充要条件是rUV=0，由
上式可得|a|=|b|为U与V相互独立的条件, 但由
题意a与b必须不相等，则必有a-b.
25
例 3 设二维正态随机变量 X=(X1,X2)的均值为
 1 0.5 
E(X)=(0,1), 协方差矩阵为C  
，试

 0.5 1 
计算：(1) D(2X1-X2); (2) E ( X - X 1 X 2  X ) .
2
1
2
2
解 由协方差矩阵的定义知, D(X1)=D(X2)=1,
cov(X1,X2)=0.5
(1) D(2X1-X2)
=D(2X1)+D(X2)-2cov(2X1,X2)
=4D(X1)+D(X2)-4cov(X1,X2)=3
26
试计算：(1) D(2X1-X2); (2) E ( X - X 1 X 2  X ) .
2
1
2
2
解 由协方差矩阵的定义知, D(X1)=D(X2)=1,
cov(X1,X2)=0.5
(2) E ( X 12 )  D ( X 1 )  ( E ( X 1 )) 2  1,
E ( X )  D ( X 2 )  ( E ( X 2 ))  2,
2
2
2
E ( X 1 X 2 )  cov( X 1 X 2 )  E ( X 1 ) E ( X 2 )  0.5
所以 E ( X - X 1 X 2  X )  1 - 0.5  2  2.5
2
1
2
2
27
作业:
第120页开始
习题4-4,5 第1,2,6,7题
28
习题4-3 2. 设随机变量X与Y相互独立, 且X与Y
有相同的概率分布, 其数学期望和方差存在,
记U=X+Y, V=X-Y, 证明rUV=0.
29
习题4-3 2. 设随机变量X与Y相互独立, 且X与Y
有相同的概率分布, 其数学期望和方差存在,
记U=X+Y, V=X-Y, 证明rUV=0.
证: 只须证cov(U,V)=0即可.
E(U)=E(X+Y)=E(X)+E(Y),
E(V)=E(X-Y)=E(X)-E(Y)=0,
E(UV)=E[(X+Y)(X-Y)]=E(X2-Y2]
=E(X2)-E(Y2)=0
这是因为X与Y有相同的概率分布则X2与Y2也
有相同的概率分布, 必有E(X2)=E(Y2)
cov(U,V)=E(UV)-E(U)E(V)=0-0=0
30
习题4-4,5 3. 设二维随机变量(X,Y)的概率密度
函数为
1
f ( x, y )  [j X ( x, y )  jY ( x, y )],
2
其中jX(x,y)和jY(x,y)都是二维正态分布的概率
密度函数, 且它们对应的二维随机变量的相关
系数分别是1/3和-1/3, 它们的边缘概率密度函
数对应的随机变量的数学期望都是0, 方差都
是1.
(1) 求X,Y的边缘概率密度函数f1(x),f2(y), 及X,Y
的相关系数r; (2) X,Y是否独立, 为什么?
31
解 (1)
 1
f1 ( x)  
[j X ( x, y )  jY ( x, y )]d y
- 2

1  
  j X ( x, y )d y   jY ( x, y )d y 

-
2  -
1

e
2
x2
2
1
f2 ( y) 
e
2
即X~N(0,1), Y~N(0,1)
同理
y2
2
32
cov( X , Y )  E ( XY ) - E ( X ) E (Y )  E ( XY )
  1
 
xy[j X ( x, y )  jY ( x, y )]d x d y
- - 2
 
1   
   xyj X ( x, y )d x d y    xyjY ( x, y )d x d y 

- -
2  - -
1 1 1 
  - 0
2 3 3
因此r=0.
(2) 不独立, 因为从f(x,y)的函数形式知(X,Y)不
服从二维正态分布, f(x,y)f1(x)f2(y)
33
习题4-4,5 4. (1) 设W=(aX+3Y)2, E(X)=E(Y)=0,
D(X)=4, D(Y)=16, rXY-0.5. 求常数a使E(W)最
小, 并求E(W)的最小值.
34
习题4-4,5 4. (1) 设W=(aX+3Y)2, E(X)=E(Y)=0,
D(X)=4, D(Y)=16, rXY-0.5. 求常数a使E(W)最
小, 并求E(W)的最小值.
解 令f(a)=E[W(a)]=E[(aX+3Y)2]
=E[a2X2+6aXY+9Y2]
=a2E(X2)+6aE(XY)+9E(Y2)
令f '(a)=2aE(X2)+6E(XY)=0,
f ''(a)=2E(X2)>0,
E ( XY )
cov( X , Y )
因此所求
a  -3
2
 -3
E( X )
D( X )
-0.5  2  4
 -3
3
4
35
E ( XY )
cov( X , Y )
a  -3
 -3
2
E( X )
D( X )
-0.5  2  4
 -3
3
4
上面考虑到了E(X)=E(Y)=0, 因此
cov(X,Y)=E(XY), 此外还利用公式
cov( X , Y )  r XY D( X ) D(Y )
36
习题4-4,5 4. (1) 设W=(aX+3Y)2, E(X)=E(Y)=0,
D(X)=4, D(Y)=16, rXY-0.5. 求常数a使E(W)最
小, 并求E(W)的最小值.
解 当a=3时
E(W)=9E(X2)+18E(XY)+9E(Y2)
=94+18(-0.5)24+916=108
上面利用了公式
E(X2)=D(X)+[E(X)]2
37
习题4-4,5 4. (2) 设(X,Y)服从二维正态分布, 且
有D(X)=sX2, D(Y)=sY2. 证明当
s
a 
s 时随机变量W=X-aY与V=X+aY相互独
2
立.
2
X
2
Y
38
习题4-4,5 4. (2) 设(X,Y)服从二维正态分布, 且
有D(X)=sX2, D(Y)=sY2. 证明当
s
a 
s 时随机变量W=X-aY与V=X+aY相互独
2
X
2
Y
2
立.
证: E(W)=E(X)-aE(Y), E(V)=E(X)+aE(Y),
E(WV)=E(X2-a2Y2)=E(X2)-a2E(Y2)
=sX2+[E(X)]2-a2{sY2+[E(Y)]2}
E(W)E(V)=[E(X)]2-a2[E(Y)]2
因此cov(W,V)=sX2-a2sY2
s
当 a s
2
2
X
2
Y
时, 上式为0, W与V独立.
39
习题4-2 10. 设随机变量X与Y相互独立, 它们
的概率密度分别为
2e -2 x , x  0,
4e -4 y , y  0,
f X ( x)  
fY ( y )  
x„ 0,
y„ 0,
 0,
 0,
求D(X+Y).
解 因为X~E(2), Y~E(4)都服从指数分布, l值
分布分别为2和4, 而指数分布的方差都是1/l2,
再由X与Y独立,
1
1
1 1
5
D( X )  , D(Y )  , D( X  Y )   
4
16
4 16 16
40
习题4-2 13. 设随机变量X的概率密度为
1 - x2`  2 x -1
f ( x) 
e

求E(X), D(X).
解:
( x -1) 2
-
f ( x) 
1

e
1
X ~ N (1, ),
2
- ( x -1) 2
1

e
 1
2 

 2
 1
2

2


2
1
E ( X )  1, D( X ) 
2
41