Transcript 概率论与数理统计第16讲

概率论与数理统计第16讲
本讲义可在网址http://math.shekou.com
或
ftp://math.shekou.com
下载
1
§4.3 协方差与相关系数
2
对多维随机变量, 随机变量的数学期望和
方差只反映了各自的平均值与偏离程度,
并没能反映随机变量之间的关系. 本节将
要讨论的协方差是反映随机变量之间依
赖关系的一个数字特征.
3
在证明方差的性质时, 我们已经知道, 当
X与Y相互独立时, 有
E{[X-E(X)][Y-E(Y)]}=0
反之则说明, 当E{[X-E(X)][Y-E(Y)]}0时,
X与Y一定不相互独立. 这说明量E{[XE(X)][Y-E(Y)]}在一定程度上反映了随机
变量X与Y之间的关系.
4
一, 协方差的定义
定义1 设(X,Y)为二维随机向量, 若
E{[X-E(X)][Y-E(Y)]}
存在, 则称其为随机变量X和Y的协方差,
记为cov(X,Y), 即
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}. (3.1)
5
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
按定义, 若(X,Y)为离散型随机变量, 其概
率分布为
P{X=xi, Y=yj}=pij (i,j=1,2,)
则
cov( X , Y )  [ xi - E ( X )][ y j - E (Y )] pij
i, j
(3.2)
6
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
若(X,Y)为连续型随机变量, 其概率密度为
f(x,y), 则
cov( X , Y )


-


-
[ x - E ( x)][ y - E ( y )] f ( x, y )d x d y
(3.3)
7
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
此外, 利用数学期望性质, 易将协方差的计
算化简
cov(X,Y)=E(XY)-E(X)E(Y)
(3.4)
事实上
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)
=E(XY)-E(X)E(Y)
特别地, 当X与Y独立时, 有
cov(X,Y)=0
8
二, 协方差的性质
1. 协方差的基本性质
(1) cov(X,X)=D(X);
(2) cov(X,Y)=cov(Y,X);
(3) cov(aX,bY)=abcov(X,Y), a,b为常数;
(4) cov(C,X)=0, C为常数;
(5) cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y).
(6) 若X,Y相互独立时, 则cov(X,Y)=0.
9
2. 随机变量和方差与协方差的关系
D(XY)=D(X)+D(Y)2cov(X,Y), (3.5)
特别地, 若X与Y相互独立时, 则
D(XY)=D(X)+D(Y)
注: ①上述结果可推广至n维情形:


D   X i    D( X i )  2  cov( X i , X j ),
1i  j  n
 i 1  i 1
n
n
10
②若X1,X2,,Xn两两独立, 则
n
n


D   X i    D ( X i ).
 i 1  i 1
③可以证明: 如果X,Y的方差存在, 则
| cov( X , Y ) | E | ( X - E ( X ))(Y - E (Y )) |
 D( X ) D(Y )
(3.6)
11
例1 已知离散型随机向量(X,Y)的概率分
布为
Y
X
0
1
2
-1
0
2
0.1
0.3
0.15
0.2
0.05
0
0
0.1
0.1
求cov(X,Y)
12
解 计算E(X),
Y
-1
0
2
0
0.1
0.2
0
1
2
0.3
0.15
0.05
0
0.1
0.1
X
xipij
0
0
0
0.3
0.05
0.1
0.3
0
0.2
求和
E(X)=0.95
13
Y
计算E(Y),
-1
0
2
0
0.1
0.2
0
1
2
0.3
0.15
0.05
0
0.1
0.1
X
yjpij
-0.1
0
0
-0.3
0
0.2
-0.15
0
0.2
求和
E(Y)-0.15
14
Y
计算E(XY),
-1
0
2
0
0.1
0.2
0
1
2
0.3
0.15
0.05
0
0.1
0.1
X
xiyjpij
0
0
0
-0.3
0
0.2
-0.3
0
0.4
求和
E(XY)0
15
E(X)=0.95, E(Y)-0.15, E(XY)=0
于是
cov(X,Y)=E(XY)-E(X)E(Y)
=0.950.15=0.1425
16
例2 设连续型随机变量(X,Y)的密度函数
为
8 xy, 0  x  y  1
f ( x, y )  
其它
 0,
求cov(X,Y)和D(X+Y).
解 由(X,Y)的密度函数求边缘密度函数
4 x(1 - x ), 0  x  1,
f X ( x)  
0,
其它.

2
17
4 y , 0  y  1,
fY ( y )  
其它.
 0,
3
于是

1
2
E ( X )   xf X ( x)d x   x 4 x(1 - x )d x  8 /15
E (Y )  
-
0

1
-
yfY ( y )d y   y 4 y d y  4 / 5
E ( XY )  

-


-
1
1
0
x
3
0
xyf ( x, y )d x d y
  d x  xy 8 xy d y  4 / 5
18
从而得 cov( X , Y )  E ( XY ) - E ( X ) E (Y )
4 4 8
4
 
.
9 5 15 225
又

1
E ( X )   x f X ( x)d x   x 4 x(1 - x )d x 
-
0
3

1
2
2
2
2
3
E (Y )   y fY ( y )d y   y 4 y d y 
-
0
3
2
2
1
2
2
19
所以
2
1 8
11
D( X )  E ( X ) - [ E ( X )]  -   
3  15  225
2
2
2
2 4
2
D(Y )  E (Y )  [ E (Y )]  -   
3  5  75
2
2
故 D( X  Y )  D( X )  D(Y )  2cov( X , Y )
11
2
8
1

 
 .
225 75 225 9
20
三, 相关系数的定义
协方差是对两个随机变量的协同变化的
度量, 其大小在一定程度上反映了X和Y
相互间的关系, 但它还受X与Y本身度量
单位的影响. 例如, kX与kY之间的统计关
系与X与Y之间的统计关系应该是一样的,
但其协方差却扩大了k2倍, 即
cov(kX,kY)=k2cov(X,Y)
21
为了避免这一点, 可将每个随机变量标准
化, 即取
X - E ( X ) * Y - E (Y )
*
X 
,Y 
D( X )
D(Y )
并将cov(X*,Y*)作为X与Y之间相互关系的
一种度量, 而
cov( X , Y )
cov( X , Y ) 
D( X ) D(Y )
*
*
22
定义2 设(X,Y)为二维随机变量, D(X)>0,
D(Y)>0, 称
cov( X , Y )
 XY 
D( X ) D(Y )
为随机变量X和Y的相关系数. 有时也记
XY为. 特别地, 当XY=0时, 称X与Y不相
关.
23
四, 相关系数的性质
1. |XY|1
24
证明 对任意实数 b, 有
2
0D(Y-bX)=b D(X)+D(Y)-2bcov(X,Y),
cov( X , Y )
令b 
,则
D( X )
2
[cov( X , Y )]
D (Y - bX )  D (Y ) D( X )
 [cov( X , Y )] 
2
 D (Y ) 1  D (Y )[1 -  XY ]

D ( X ) D (Y ) 

2
由于 D(Y)0, 必有1 -  XY  0,,所以|  XY | 1
2
25
2. 若X和Y相互独立, 则XY=0. 但反之不成
立.
注: 进一步有: XY=0cov(X,Y)=0
E(XY)=E(X)E(Y)D(XY)=D(X)+D(Y).
3. 若D(X)>0, D(Y)>0, 则|XY|=1当且仅当
存在常数a(a0), 使
P{Y=aX+b}=1.
而且当a>0时, XY=1, 当a<0时, XY-1.
26
证明 必要性. 当XY=1时
X 
 Y
D

D( X ) 
 D(Y )
 Y 
 X 
 D
 D


 D(Y ) 
 D( X ) 
X 
 Y
,
2cov 

 D(Y ) D( X ) 
cov( X , Y )
 11 2
 2 2   0.
D(Y ) D( X )
27
由方差的性质可知, 存在常数C使
X
 Y

 C   1,
P
D( X )
 D (Y )

D (Y )
令a  
, b  C D (Y ),
D( X )
则有P{Y=aX+b}=1, (a0)
当XY=1时, a>0, 当XY-1时, a<0.
28
充分性. 若P{Y=aX+b}=1(a0), 于是


cov( X , aX  b)
D( X ) D(aX  b)
a cov( X , X )
2
D( X ) a D( X )
a  1, a  0



.
2
a D( X ) | a | -1, a  0
aD( X )
29
注: ①相关系数XY刻画了随机变量Y与X
之间的"线性相关"程度.
|XY|的值越接近1, Y与X的线性相关程度
越高;
|XY|的值越接近0, Y与X的线性相关程度
越弱;
当|XY|=1时, Y与X的变化可完全由X的线
性函数给出.
当XY=0时, Y与X之间不是线性关系.
30
②当XY=0时, 只说明Y与X没有线性关系.
并不能说明Y与X之间没有其它函数关系.
从而不能推出Y与X独立.
4. 设e=E[Y-(aX+b)]2, 称为用aX+b来近似
Y的均方误差, 则有下列结论:
设D(X)>0, D(Y)>0, 则
cov( X , Y )
a0 
, b0  E (Y ) - a0 E ( X )
D( X )
使均方误差达到最小.
31
证明 因
e=E[Y-(aX+b)]2
=E(Y2)+a2E(X2)+b2-2aE(XY)+2abE(X)2bE(Y).
由  e
2

2
aE
(
X
)
2
E
(
XY
)

2
bE
(
X
)

0
 a


e
  2b  2aE ( X ) - 2 E (Y )  0
 b
cov( X , Y )
解得 a0 
, b0  E (Y ) - a0 E ( X )
D( X )
32
注: 我们可用均方误差e来衡量以aX+b近
似表示Y的好坏程度, e值越小表示aX+b
与Y的近似程度越好. 且知最佳的线性近
似为a0X+b0, 这时的均方误差为
2
e  D(Y )(1 -  XY ).
从这个侧面也能说明|XY|越接近1, e越小,
反之, |XY|越接近于0, e就越大, Y与X的线
性相关性越小.
33
例3 设(X,Y)的分布律为
X
-2
-1
1
2
P{Y=yj}
1
0
4
1/4
P{X=xi} 1/4
1/4
0
1/4
1/4
0
1/4
0
1/4
1/4
1/2
1/2
1
Y
易知E(X)=0, E(Y)=5/2, E(XY)=0,
于是XY=0, X,Y不相关. 但显然X,Y不是相
互独立的, 事实上X和Y有关系: Y=X2.
34
例4 设q服从[-p, p]上均匀分布,
X=sinq, Y=cosq
判断X与Y是否不相关, 是否独立?
解 XY显然不独立, 由于
1 p
E( X ) 
sin q d q  0,

2p -p
1 p
E (Y ) 
cosq d q  0,

2p -p
1 
E ( XY ) 
sin q cosq d q  0.

2p -
所以X与Y不相关.
35
2
2
例 5 已知 X~N(1,3 ), Y~N(0,4 ), 且 X,Y 的相
X Y
关系数XY-1/2. 设 Z  - ,求 D(Z)及XZ.
3 2
1

解 cov( X , Y )  3  4   -   -6.
 2
1
X Y 1
X Y
D( Z )  D  -   D( X )  D(Y ) - 2cov  , 
4
 3 2 9
 3 2
1
1
1 1
 D( X )  D(Y ) - 2   cov( X , Y )  7
9
4
3 2
36
又因 cov( X , Z )  cov  X , X - Y 
3 2

Y
 X

 cov  X ,  - cov  X , 
3
 2

1
1
 cov( X , X ) - cov( X , Y )  6
3
2
故
cov( X , Z )
6
2 7
 XZ 


7
D( X ) D( Z ) 3  7
37
例6 设(X,Y)服从二维正态分布, 它的概率
密度为
2


( x - 1 )
1
-1
f ( x, y ) 
exp 
2
2 
2

2(1

)
2p 1 2 1 - 
1


-2 
( x - 1 )( y - 2 )
 1 2
( y - 2 ) 2  

,

2
 2 
求X和Y的相关系数XY.
38
解
cov( X , Y ) 
1
2p 1 2 1 - 
2


-
-
 
( x - 1 )( y - 2 )
 -1  ( x - 1 ) 2
( x - 1 )( y - 2 )
- 2
exp 
2
2 
 1 2
 2(1 -  )   1
( y - 2 )  

d x d y

2
 2 
2
在上式中令
x - 1
y - 2
t
,u 
,d x   1 d t ,d y   2 d u
1
2
39
则
cov( X , Y ) 
 1 2
2p 1 -  2


-
-
 
-1
tue
2(1-  2 )
( t 2 - 2  tu  u 2 )
dt du
而指数上的
t2-2tu+u2=t2-2tu+(u)2+u2-(u)2
=(t-u)2+u2(1-2), 因此
-1
2
2
2


2  (t -  u )  u (1 -  ) 
2(1 -  )
-(t -  u ) u

2
2(1 -  )
2
2
2
40
因此,
cov( X , Y ) 

 1 2
2p 1 - 
 1 2
2p 1 - 
2

-
-
 
 1 2 

u (u  )e

2p -
于是
 XY

-
-
 
2


tue
u2
2
-
2
u
2
-1
tue
-
e
2(1-  2 )
( t 2 - 2  tu  u 2 )
dt du
( t -  u )2
2(1-  2 )
dt du
d u   1 2
cov( X , Y )


D( X ) D(Y )
41
因此二维正态随机变量(X,Y)的概率密度
中的参数就是X和Y的相关系数, 因而二
维正态随机变量的分布完全可由X,Y各自
的数学期望, 方差以及它们的相关系数所
确定.
注: 若(X,Y)服从二维正态分布, 则X与Y相
互独立, 当且仅当X与Y不相关.
42
五, 矩的概念
定义3 设X和Y为随机变量, k,l为正整数, 称
E(Xk)
为k阶原点矩(简称k阶矩);
E([X-E(X)]k 为k阶中心矩;
E(|X|k) 为k阶绝对原点矩;
E(|X-E(X)|k) 为k阶绝对中心矩;
E(XkYl) 为X和Y的k+l阶混合矩;
E{[X-E(X)]k[Y-E(Y)]l} 为X和Y的k+l阶混
合中心矩.
43
注: 由定义可见:
①X的数学期望E(X)是X的一阶原点矩;
②X的方差D(X)是X的二阶中心矩;
③协方差cov(X,Y)是X和Y的二阶混合中
心矩.
44
六, 协方差矩阵
将二维随机变量(X1,X2)的四个二阶中心矩
c11=E{[X1-E(X1)]2},
c22=E{[X2-E(X2)]2},
c12=E{[X1-E(X1)][X2-E(X2)]},
c21=E{[X2-E(X2)][X1-E(X1)]}
排成矩阵的形式:  c11 c12 
(对称矩阵)
c

 21 c22 
称此矩阵为(X1,X2)的协方差矩阵.
45
类似定义n维随机变量(X1,X2,,Xn)的协方
差矩阵.
若 cij=cov(Xi,Xj)
=E{[Xi-E(Xi)][Xj-E(Xj)]} i,j=1,2,,n
都存在, 则称
c1n 
 c11 c12
c

c22
c2 n
21

C 


c

cnn 
 n1 cn 2
为(X1,X2,,Xn)的协方差矩阵.
46
七, n维正态分布的概率密度
二维正态随机变量(X1,X2)的概率密度为
f ( x1 , x2 ) 
1
2p 1 2 1 -  2
2
 x -   2
 x1 - 1  x2 - 2   x2 - 2  
1
1

-2  
 
  
 

2(1-  2 )  1 
1 
2
2

 
 
1
e
 x1 
 1 
记 X    ,     ,协方差矩阵
 x2 
 2 
 c11 c12 
C 
,

 c21 c22 
47
易验算
( X - ) C ( X - )
T
-1
2
2

1
 x1 - 1 
 x1 - 1  x2 - 2   x2 - 2  

- 2 


2 




(1 -  )   1 
  1   2    2  
故二维正态随机变量(X1,X2)的概率密度可
用矩阵表示为
1


T
-1
f ( x1 , x2 ) 
exp  - ( X -  ) C ( X -  ) 
2/2
1/ 2
(2p ) | C |
 2

1
其中(X-)T是(X-)的转置.
48
进一步, 设XT=(X1,X2,,Xn)是一个n维随机
向量, 若它的概率密度为
f ( x1 , x2 ,
, xn )
1


T
-1

exp  - ( X -  ) C ( X -  ) 
n/2
1/ 2
(2p ) | C |
 2

1
则称X服从n维正态分布. 其中, C是
(X1,X2,,Xn)的协方差矩阵, |C|是它的行列
式, C-1表示C的逆矩阵, X和是n维列向量,
(X-)T是(X-)的转置.
49
八, n维正态分布的几个重要性质
1. n维正态变量(X1,X2,,Xn)的每一个分量
Xi(i=1,2,,n)都是正态变量; 反之, 若
X1,X2,,Xn都是正态变量, 且相互独立, 则
(X1,X2,,Xn)是n维正态变量.
注: 性质中若不具有独立性, 则反之不一
定成立.
50
2. n维正态变量(X1,X2,,Xn)服从n维正态
分布的充要条件是X1,X2,,Xn的任意线性
组合
l1X1+l2X2++lnXn
均服从一维正态分布(其中l1,l2,,ln不全
为零).
51
3. 若(X1,X2,,Xn)服从n维正态分布, 设
Y1,Y2,,Yk是Xj(j=1,2,,n)的线性函数, 则
(Y1,Y2,,Yk)也服从k维正态分布.
注: 这一性质称为正态变量的线性变换不
变性.
4. 设(X1,X2,,Xn)服从n维正态分布, 则
“X1,X2,,Xn相互独立”等价于
“X1,X2,,Xn两两不相关”.
52
例7 设随机变量X和Y相互独立且
X~N(1,2), Y~N(0,1),
试求Z=2X-Y+3的概率密度.
解 按题意Z为X,Y的线性组合, 因此也服
从正态分布,
E(Z)=2E(X)-E(Y)+3=2+3=5
D(Z)=4D(X)+D(Y)=8+1=9
Z~N(5,32)
即Z的概率密度是
( z -5) 2
1
fZ ( z) 
e 18 , -  z  .
3 2p
53
课堂练习
1. 对不同品牌的某种机械的两项重要指标评
分, 设X1,X2为其所得分数(百分制). 已知
E(X1)=68.9,
E(X2)=72.8
D(X1)=81, D(X2)=49;
cov(X1,X2)=36.
9
7
现以服从正态分布的综合分 Y  X 1  X 2
16
16
来决定各参评品牌的名次.
(1) 试求Y的分布;
(2) 如果对综合分Y85的品牌颁奖, 试计算获
奖者的百分比.
54
作业 习题4-3
第1,2,9题
第141页开始
55