Transcript 4.4 协方差及相关系数

概率论与数理统计
课件制作：应用数学系
概率统计课程组
4.4
协方差及相关系数
4.4.1
协方差及相关系数的定义
4.4.1
协方差及相关系数的性质
问题 对于二维随机变量(X ,Y ):
已知联合分布
边缘分布
这说明对于二维随机变量，除了每个
随机变量各自的概率特性以外，相互之间
可能还有某种联系. 问题是用一个什么样
的数去反映这种联系.
数
E( X  EX )(Y  EY )
反映了随机变量X ,Y 之间的某种关系
4.4.1
协方差及相关系数的定义
定义 称 E ( X  E ( X ))(Y  E (Y )) 
为X ,Y 的协方差. 记为
cov( X ,Y )  E ( X  E ( X ))(Y  E (Y )) 
称
cov( X , Y ) 
 D( X )


D(Y ) 
 cov( X , Y )
为（X , Y ）的协方差矩阵
可以证明协方差矩阵为半正定矩阵
协方差的大小在一定程度上反映了X和Y
相互间的关系，但它还受X与Y本身度量单位
的影响.
例如：
Cov(kX, kY)=k2Cov(X,Y)
为了克服这一缺点，对协方差进行标准化，
这就引入了相关系数 .
若D (X ) > 0, D (Y ) > 0 ,称
 ( X  E ( X ))(Y  E (Y ) 
cov( X , Y )
E

D( X ) D(Y ) 
D( X ) D(Y )

为X ,Y 的 相关系数，记为
 XY 
cov( X , Y )
D( X ) D(Y )




cov(
X
,
Y
)
事实上， XY
若  XY  0, 称 X ,Y 不相关.
无量纲
的量
4.4.2
协方差及相关系数的性质
协方差的性质：
(1) Cov ( X , Y )  Cov (Y , X )
(2) Cov (aX , bY )  ab Cov (Y , X )
a, b 为常数
(3) Cov ( X1  X 2 ,Y )  Cov ( X1 ,Y )  Cov ( X 2 ,Y )
相关系数的性质：
(1) |  XY | 1
a  0 时 ， XY  1
(2) 若Y  aX  b, 则 
a  0 时 ， XY  1
(3)  XY  1  P(Y  aX  b)  1
(4) 若X , Y相互独立, 则 XY  0
注:  XY 的大小反映了X ,Y之间的线性关系的密切程度
 XY  0 时, X , Y之间无线性关系
 XY  1时, X ,Y之间具有线性关系

 XY  0 , X ,Y 相关

 XY  0 , X ,Y 不相关
 XY  0 , X ,Y 正相关
 XY  0 , X ,Y负相关
(  XY  1 , X ,Y 完全正相关 )
显然
(  XY  1 , X ,Y 完全负相关 )
X , Y 独立  X与Y不相关   XY  0
 Cov( X , Y )  0  E ( XY )  EXEY
注: X ,Y不相关不一定有X ,Y 独立
若( X , Y )服从二维正态分布, 则
X , Y独立  X , Y不相关
协方差和相关系数的性质回顾
协方差的性质
 cov( X , Y )  cov(Y , X )  E ( XY )  E ( X ) E (Y )
 cov( aX , bY )  ab cov( X , Y )
 cov( X  Y , Z )  cov( X , Z )  cov(Y , Z )
 cov( X , X )  D( X )
 | cov( X , Y ) |  D( X ) D(Y )
2
当D(X ) > 0, D(Y ) > 0 时，当且仅当
P(Y  E (Y )  t0 ( X  E ( X )))  1
时，等式成立 —Cauchy-Schwarz不等式
证5 令
g (t )  E[(Y  E (Y ))  t ( X  E ( X ))]2
 D(Y )  2t cov( X , Y )  t D( X )
2
对任何实数 t , g (t )  0
4 cov 2 ( X , Y )  4 D( X ) D(Y )  0
即
| cov( X , Y ) |  D( X ) D(Y )
2
等号成立
g (t0 )  0 即
g (t )  0 有两个相等的实零点
cov( X , Y ) 
D(Y ) 
t0 
 

D( X )
D( X ) 

E[(Y  E (Y ))  t0 ( X  E ( X ))]  0
2
又显然 E[(Y  E (Y ))  t0 ( X  E ( X ))]  0
D[(Y  E (Y ))  t0 ( X  E ( X ))]  0
P[(Y  E (Y ))  t0 ( X  E ( X ))  0]  1
P[(Y  E (Y ))  t0 ( X  E ( X ))  0]  1
即
P[(Y  E (Y ))  t0 ( X  E ( X ))]  1
即Y 与X 有线性关系的概率等于1，这种线性
关系为
 Y  E (Y )
X  E( X ) 
P

 1
D( X ) 
 D(Y )
完全类似地可以证明
E ( XY )  E ( X ) E (Y )
2
2
2
当E(X 2) > 0, E(Y 2 ) > 0 时，当且仅当
P(Y  t0 X )  1
时，等式成立
相关系数的性质
 |  XY | 1
 |  XY | 1
Cauchy-Schwarz不等式
的等号成立
即Y 与X 有线性关系的概率等于1，
这种线性关系为
 Y  E (Y )
X  E( X ) 
P

 1
D( X ) 
 D(Y )
 XY  1
cov( X , Y )  0
 Y  E (Y ) X  E ( X ) 
P

 1
D( X ) 
 D(Y )
PY   X    1
 XY  1
cov( X , Y )  0
 Y  E (Y )
X  E( X ) 
P

 1
D( X ) 
 D(Y )
PY    X    1
若X , Y 是两个随机变量，用X 的线性函数去
逼近 Y 所产生的平均平方误差为
E[Y  (aX  b)]
2
当取 aˆ  cov( X , Y ) ,
D( X )
bˆ  E (Y )  aˆE ( X )
 E (Y )   XY
平均平方误差最小.
D(Y )
E（X）
D( X )
协方差和相关系数的计算
—— 利用函数的期望或方差计算协方差
 cov( X , Y )  E ( XY )  E ( X ) E (Y )
1
  D( X  Y )  D( X )  D(Y ) 
2
 若 ( X ,Y ) 为离散型，


cov( X , Y )   ( xi  E ( X ))( y j  E (Y )) pij
i 1 j 1
 若 ( X ,Y ) 为连续型，
 
cov( X , Y )      ( x  E ( X ))( y  E (Y )) f ( x, y )dxdy
例4.4.1
已知 X ,Y 的联合分布为
X
1
0
Y
1
p
0
0
0
q
0 < p <1
p+q=1
求 Cov (X ,Y ), XY
解:
X
1
0
Y
1
0
XY
1
0
P
p
q
P
p
q
P
p
q
EX  p,
EY  p
DX  pq, DY  pq
E ( XY )  p
Cov ( X , Y )  E ( XY )  EXEY  pq
 XY
Cov ( X , Y )

1
DX DY
例4.4.2 设 X 的概率密度函数为
1 x
f ( x)  e
, x  (  , )
2
(1) 求 X 的期望 EX 和方差 DX
( 2) 求 X 与 X 的协方差和相关系数，并问
X 与 X 是否相关？
（3）问 X 与 X 是否相互独立？说明理由
 1  x
解: (1) EX    x e dx  0
2

2
2
DX  EX  (EX )   x 2 1 e  x dx  0

2

2 1 x
 2 x e dx  2
0
2
( 2) Cov( X , X )  E ( X X )  EX  E X

1 x
  x x e dx  0  0

2
Cov( X , X )
X X 
 0 所以X与 X 不相关
DX D X
( 3) 独立性由其定义来判断
对于任意的常数a  0, 事件( X  a )  ( X  a ),
且P ( X  a )  0, P ( X  a )  1,因此有
P ( X  a, X  a )  P( X  a )
P( X  a)P( X  a)  P( X  a)
所以 P ( X  a , X  a )  P ( X  a ) P ( X  a )
故 X与 X 不独立
例4.4.3
设 X 和 Y 是相互独立的随机变量, 都服从
正态分布 N (0,  2 ) , 又   aX  bY ,   aX  bY
(1) 求  与  的相关系数
( 2) 问  ，
 是否相关？是否独立？
( 3) 当  ，
 相互独立时 , 求 ( , ) 的联合密度函数
解: (1) X ~ N (0,  ) , Y ~ N (0,  )
2
2
EX  EY  0, DX  DY  
2
E  E (aX  bY )  aEX  bEY  0
E  E (aX  bY )  aEX  bEY  0
已知X , Y相互独立, 所以aX , bY也相互独立
故有 D  D(aX  bY )  a 2 DX  b 2 DY
 (a 2  b 2 ) 2
2
2

a
DX

b
DY
D  D(aX  bY )
 (a 2  b 2 ) 2
E ( )  E (a 2 X 2  b 2Y 2 )  a 2 EX 2  b 2 EY 2
 (a 2  b 2 ) 2
所以 
a 2  b2
Cov( , )
E ( )  EE
 2


2
a

b
D D
D D
(2) 当 a  b 时，   0
当 a  b 时，  0
 , 不相关
 , 相关
由于 X , Y 都服从正态分布且相互独立 ,
 , 为X , Y的线性组合
所以 , 都服从正态分布N (0，
(a 2  b2 ) 2 )
在正态分布中, 不相关与独立是等价的
所以当 a  b 时,
 , 独立
当 a  b 时,  , 不独立
( 3) 当 , 相互独立时,即a 2  b 2 ,  , 都服从
正态分布 N (0,2a 2 2 )
f ( s ) 
f ( t ) 
1
2 2 a 
1
2 2 a 

e

e
s2
22 a 2 2
t2
2 2 a 2 2
s2 t 2
 2 2
1
4a 
所以 f ( s, t ) 
e
4 a 2 2
  XY  0
X , Y 不相关
cov( X , Y )  0
E ( XY )  E ( X ) E (Y )
D( X  Y )  D( X )  D(Y )
X , Y 相互独立
X , Y 不相关
若 X , Y 服从二维正态分布，
X , Y 不相关
X , Y 相互独立
X和Y独立时，  =0，但其逆不真.
由于当X和Y独立时，Cov(X,Y)= 0.
故
Cov( X , Y )

=0
D( X ) D(Y )
但由   0 并不一定能推出X和Y 独立.
请看下例.
例4.4.4 设X服从(-1/2, 1/2)内的均匀分布,而
Y=cos X, 不难求得，
Cov(X,Y)=0，
（请课下自行验证）
因而  =0，
即X和Y不相关 .
但Y与X有严格的函数关系，
即X和Y不独立 .
课堂练习
设随机变量 X与Y满足 DX  0, DY  0,
E ( XY )  EXEY , 则（A ）
( A) X与Y不相关
( B ) X与Y相关
(C ) X与Y相互独立
( D ) X与Y不独立