Transcript X - 应用数学家园

第15讲
此幻灯片可在网址
http://www.appmath.cn
上下载
1
第三节 协方差与相关系数
2
一、协方差
在上一节方差性质3的证明中，我们已经看
到，如果两个随机变量X和Y是相互独立的，
则E{[X-E(X)][Y-E(Y)]}=0.
这意味着当E{[X-E(X)][Y-E(Y)]}0时，X与Y
不是相互独立的，而是存在一定关系的。
3
定义1 E{[X-E(X)][Y-E(Y)]}称为随机变量X与
Y的协方差，记为cov(X,Y), 即
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
(1)
由上述定义知，对于任意两个随机变量X和Y，
下列等式成立：
D(XY)=D(X)+D(Y)2cov(X,Y) (2)
4
因为
cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
＝E{XY-E(X)Y-XE(Y)+E(X)E(Y)}
=E(XY)-E[E(X)Y]-E[XE(Y)]+E(X)E(Y)
=E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)
=E(XY)-E(X)E(Y)
可以记忆为“相乘的均值减去均值的相乘”
5
按cov(X,Y)的定义展开，易得
cov(X,Y)=E(XY)-E(X)E(Y)
(3)
一般用(3)式计算协方差。称为相乘的均值减
均值的相乘.
其中，计算E(XY)的方法：
对于离散型随机变量，有


E ( XY )   xi y j pij
j 1 i 1
对于连续型随机变量有
E ( XY )  

-


-
xyf ( x , y )d x d y
6
协方差具有下述性质：
1 cov(X,X)=D(X);
2 cov(X,Y)=cov(Y,X);
3 cov(aX,bY)=abcov(X,Y),a,b为任意常数;
4 cov(C,X)=0, C为任意常数;
5 cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y);
6 如果X与Y相互独立，则cov(X,Y)=0.
7
对这些性质的证明:
由cov(X,Y)=E(XY)-E(X)E(Y),
1 当Y=X, 则
cov(X,Y)=cov(X,X)=E(X2)-[E(X)]2=D(X);
2 cov(X,Y)=cov(Y,X)
根据定义这是显然的.
3 cov(aX,bY)=E(aXbY)-E(aX)E(bY)
=abE(XY)-abE(X)E(Y)
=ab[E(XY)-E(X)E(Y)]=ab cov(X,Y)
8
对这些性质的证明:
由cov(X,Y)=E(XY)-E(X)E(Y),
4 当C为任意常数时;
cov(C,X)=E(CX)-E(X)E(C)
=CE(X)-CE(X)=0
5 cov(X1+X2,Y)=E[(X1+X2)Y]-E(X1+X2)E(Y)
=E(X1Y)+E(X2Y)-E(X1)E(Y)-E(X2)E(Y)
=cov(X1,Y)+cov(X2,Y)
6 如果X与Y相互独立，则E(XY)=E(X)E(Y)
由上面的定义有cov(X,Y)=0
9
二、相关系数
协方差cov(X,Y)在一定程度上描述了随机变量
X与Y的相关性，但是，协方差cov(X,Y)是具
有量纲的量.
下面，我们引入一种与量纲无关的能够描述
随机变量之间的相关性的数字特征----相关系
数.
10
定义2 设随机变量X,Y的数学期望，方差都存
在，称
cov( X ,Y )
 XY 
(4)
D ( X ) D (Y )
为随机变量X与Y的相关系数，XY是一个无量
纲的量.
11
令
cov( X ,Y )
 XY 
(4)
D ( X ) D (Y )
X - E ( X ) * Y - E (Y )
*
X 
,Y 
,
D( X )
D (Y )
X*,Y*分别称为X,Y的标准化随机变量. 易知：
E(X*)=0, D(X*)=1, E(Y*)=0, D(Y*)=1,
cov( X ,Y )
*
*
 XY 
 cov( X ,Y )
D ( X ) D (Y )
 E( X Y )
*
*
(5)
12
可以证明相关系数有如下性质：
1 |XY|1;
2 |XY|=1的充要条件为，存在常数a,b, 使得
P{Y=aX+b}=1.
当XY=0, 称X与Y不相关；当|XY|=1时，称X与
Y完全相关.
13
证明|XY|1:
任给二个随机变量X,Y, 定义它们的偏差为
X1,Y1, 即X1=X-E(X), Y1=Y-E(Y).
考虑E[(Y1-tX1)2]不管t取什么值都一定不会是
负数, 即
E[(Y1-tX1)2]=E(Y12-2tX1Y1+t2X12)
=E(Y12)-2tE(X1Y1)+t2E(X12)0
(a1)
把(a1)式左边看作变量t的一元二次多项式, 形
式是at2bt+c, 由不等式可知相应的t的一元二
次方程没有两个实根, 即判别式一定满足b24ac0, 即 4[ E ( X 1Y1 )]2  4 E ( X 12 ) E (Y12 )
14
证明|XY|1:
X1=X-E(X), Y1=Y-E(Y).
E[(Y1-tX1)2]=E(Y12-2tX1Y1+t2X12)
=E(Y12)-2tE(X1Y1)+t2E(X12)0
把上式左边看作at2-bt+c, 由不等式可知相应
的t的一元二次方程没有两个实根, 即判别式
一定满足b2-4ac0, 即
2
2
2
4[ E ( X 1Y1 )]  4 E ( X 1 ) E (Y1 )
整理得:
| E ( X 1Y1 ) |
1
2
2
E ( X 1 ) E (Y1 )
即
|XY|1
15
而如果|XY|=1, 即
| E ( X 1Y1 ) |
2
1
2
1
1
E ( X ) E (Y )
也就是 4[ E ( X 1Y1 )]  4 E ( X ) E (Y )
因此关于t的一元二次方程
E(Y12)-2tE(X1Y1)+t2E(X12)=0
有一个重根, 即存在t=a使得
E(Y12)-2aE(X1Y1)+a2E(X12)=0
因此 E(Y12-2aX1Y1+a2X12)=0
或
E[(Y1-aX1)2]=0.
则存在a使得 P{Y1=aX1}=1
2
2
1
2
1
16
如果随机变量X,Y满足Y=aX+b, a0, 称它们满
足线性关系. X,Y满足线性关系的充分必要条
件, 是Y1=aX1, X1=X-E(X), Y1=Y-E(Y).
证明: 充分性, 当Y1=aX1时, 即
Y-E(Y)=a[X-E(X)]=aX-aE(X)
Y=aX-aE(X)+E(Y)
令b=E(Y)-aE(X), 即有Y=aX+b.
必要性, 当
Y=aX+b
(a1)
对(a1)式两边取期望得 E(Y)=aE(X)+b (a2)
(a1)减去(a2)得 Y-E(Y)=a[X-E(X)]
即
Y1=aX1.
17
如果存在a,b, a0, P{Y=aX+b}=1, 就说X与Y以
概率1存在线性关系. 但是实际情况如果真是
这样, 经常就粗糙地认为X与Y存在线性关系
了.
如果X与Y存在线性关系, 则也可以写成
X=a1Y+b1, 和上面相比, a1=1/a, b1-b/a.
18
当Y=aX+b且a>0, 称Y与X成正比, 这时X越大
则Y越大. 如果a<0, 称Y与X成负比, 这时X越大
Y则往负的方向上越大.
线性关系也可以写成, Y1=aX1, X1=X-E(X),
Y1=Y-E(Y).
如果a>0, 则
cov(X,Y)=E(X1Y1)=aE(X12)=aD(X)
D(Y)=a2D(X)
cov( X , Y )
aD( X )
 XY 

1
2 2
D( X ) D(Y )
a D (X )
当a<0, 可推出XY-1.
19
因此当X越大则Y通常也越大时, XY接近于1,
例如, 假设X,Y代表任抽一个人得到他的体重
与身高, 则相信XY接近1.
而当X越大则Y通常朝负的方向越大时, XY接
近于-1.
20
从性质1可知：相关系数定量地刻画了X与Y
的相关程度，即|XY|越大，相关程度越大，
XY=0对应相关程度最低；又从性质2知，X
与Y完全相关的含义是在概率为1的意义下存
在线性关系。于是XY是一个可以表征X,Y之
间线性关系紧密程度的量. 当|XY|较大时，我
们通常说X,Y线性相关程度较好; 当|XY|较小
时，我们说X,Y线性相关程度较差. 因此，若X
与Y不相关，通常我们认为X,Y之间不存在线
性关系，但并不能排除X,Y之间可能有其他关
系.
21
此外，还要注意到，显然X与Y独立包含了
XY=0, 因而不相关；但反过来，X,Y不相关，
X与Y可以不独立. 因此，“不相关”是一个
比“独立”要弱的概念.
22
例1 设二维随机变量(X,Y)的联合概率分布如
下：
X
-1
0
1
0
0
1/3
0
1
1/3
0
1/3
Y
证明：X与Y不相关，但不是相互独立.
23
X
-1
0
1
0
0
1/3
0
1
1/3
0
1/3
Y
证 计算E(X), 将上面6个概率值都乘上方X的
值得下表:
0
0
0
-1/3
0
1/3
将表中数字加起来就得
E(X)=0
24
X
-1
0
1
0
0
1/3
0
1
1/3
0
1/3
Y
证 计算E(Y), 将上面6个概率值都乘左方Y的
值得下表:
0
0
0
1/3
0
1/3
将表中数字加起来就得
E(Y)=2/3
25
X
-1
0
1
0
0
1/3
0
1
1/3
0
1/3
Y
证 计算E(XY), 将上面6个概率值都乘相应的
XY的值得下表:
0
0
0
-1/3
0
1/3
将表中数字加起来就得
E(XY)=0
26
X
-1
0
1
0
0
1/3
0
1
1/3
0
1/3
Y
证 计算协方差
2
E ( X )  0, E (Y )  , E ( XY )  0
3
cov( X ,Y )  E ( XY ) - E ( X ) E (Y )  0
因此X与Y不相关，但是，X与Y满足函数关系
Y=X2, 所以不是相互独立的 .
27
习题4-1 3题 (X,Y)的联合分布律为
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
求E(X), E(Y), E(X-2Y), E(3XY), 再加一个求
XY.
28
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
计算E(X), 将表中4个概率值都乘上方的X的取
值, 得下表
0
0.4
0
0.1
将表中4个数加起来就是 E(X)=0.5
29
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
计算E(Y), 将表中4个概率值都乘左方的Y的取
值, 得下表
0
0
0.2
0.1
将表中4个数加起来就是 E(Y)=0.3
30
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
计算E(X-2Y), 将表中4个概率值都乘相应的
X-2Y的取值, 得下表
0
0.4
-0.4
-0.1
将表中4个数加起来就是 E(X-2Y)-0.1
31
也可以根据期望的性质来求, 在已经求得
E(X)=0.5, E(Y)=0.3的情况下,
E(X-2Y)=E(X)-2E(Y)=0.5-0.6-1.
32
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
计算E(XY), 将表中4个概率值都乘相应的XY
的取值, 得下表
0
0
0
0.1
将表中4个数加起来就是 E(XY)0.1,
则E(3XY)=3E(XY)=0.3
33
已计算出E(X)=0.5, E(Y)=0.3, E(XY)=0.1, 则
cov(X,Y)=E(XY)-E(X)E(Y)=0.1-0.15-0.05
下面还要计算D(X), D(Y)才能够计算XY.
34
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
计算E(X2), 将表中4个概率值都乘相应的X2的
取值, 得下表
0
0.4
0
0.1
将表中4个数加起来就是 E(X2)0.5,
则D(X)=E(X2)-[E(X)]2=0.25
35
X
0
1
0
0.3
0.4
1
0.2
0.1
Y
计算E(Y2), 将表中4个概率值都乘相应的Y2的
取值, 得下表
0
0
0.2
0.1
将表中4个数加起来就是 E(Y2)0.3,
则D(Y)=E(Y2)-[E(Y)]2=0.3-0.09=0.21
36
cov(X,Y)-0.05, D(X)=0.25, D(Y)=0.21, 则
 XY
cov( X , Y )
-0.05


 -0.2182
D( X ) D(Y ) 0.5  0.4583
应用数学家园网站上的“离散相关系数”网
页用来计算各种类似的习题，可以用它来检
查作业的答案。
37
例 2 设 X 服从(-,)上的均匀分布, X1=sinX,
X2=cosX, 求  X1 X 2
解 随机变量 X 的概率密度为
1
 , x  ( - , ),
f ( x )   2
 0,
其它.
1 
E ( X 1 )  E (sin X ) 
sin xd x  0,

2 -
1 
E ( X 2 )  E (cos X ) 
cos xd x  0,

2 -
38
例 2 设 X 服从(-,)上的均匀分布, X1=sinX,
X2=cosX, 求  X1 X 2
解 随机变量 X 的概率密度为
1
 , x  ( - , ),
f ( x)   2
 0,
其它.

E ( X 1 X 2 )  E (sin X cos X )   ( f ( x)sin xcos x)d x
-
1 

sin xcos xd x  0,

2 -
39
由sin(x+y)=sinxcosy+cosxsiny得
sin(2x)=2sinxcosx
1
即
sin x cos x  sin 2 x
2

1 
- sin x cos x d x  2 - sin 2 x d x
1

- cos 2 x -  0
4
40
例 2 设 X 服从(-,)上的均匀分布, X1=sinX,
X2=cosX, 求  X1 X 2
解 E(X1)=E(X2)=E(X1X2)=0
所以 cov(X1,X2)=E(X1X2)-E(X1)E(X2)=0
2
2
于是  X1 X 2  0即 X1,X2 不相关，但 X 1  X 2  1.
由此例可知，X1,X2 之间虽然没有线性关系，
但可能有另外的函数关系.
41
作业:
第113页开始
习题4-3, 第1,3,5,7题
42
用应用数学家园的定积分功能计算数字特征
习题4-1, 7. 设随机变量X1,X2的概率密度如下:
-2 x
-4 x
2e , x  0,
4e , x  0,
f X1 ( x )  
f X 2 ( x)  
x„ 0,
x„ 0,
 0,
 0,
求E(X1+X2), E(2X1-3X22), 设X1,X2独立, 求
E(X1X2).
在计算中设二重积分的函数字串为
8*e^(-2*x-4*y)
设x1,x2为0,10, y1,y2为0,6,
还可以计算习题4-2, 10中的D(X+Y)
43
习题4-1 9. 设(X,Y)服从在A上的均匀分布, 其
中A为x轴, y轴及直线x+y+1=0所围成的区域.
求(1) E(X); (2) E(-3X+2Y); (3) E(XY).
相应的函数字串为
2*GE(x+y+1,0)
x1,x2设为-1,0, y1,y2设为-1,0
分别在函数字串后加上x, (-3*x+2*y), *x*y, 再
计算积分就可获得相应的答案.
44
习题4-1 10. 设X,Y相互独立, 且都服从N(0,1)分
布, 试求 E ( X 2  Y 2 )
给出函数字串
1/(2*p)*e^(-x^2/2-y^2/2)*(x^2+y^2)^(1/2)
x1,x2设为-5, 5
y1,y2设为-5, 5 再积分就可获得答案.
用这种办法甚至可以计算根本无法笔算的更
为复杂的X,Y的函数的期望值, 例如
E

2 X  3Y
2
2

45
习题4-2 9. 设(X,Y)的概率密度为
15 xy 2 , 0„ y„ x„ 1,
f ( x, y )  
其它.
 0,
函数字串为 15*x*y^2*GE(x,y)
x1,x2设为0,1, y1,y2设为0,1
46
习题4-2 11. (2) 设X,Y独立, X~N(720,302),
Y~N(640,252) 求P{X>Y}, P{X+Y>1400}
函数字串设为
1/(2*p*30*25)*e^(-(x-720)^2/(2*30^2)-(y640)^2/(2*25^2))
x1=720-5*30, x2=720+5*30
y1=640-5*25, y2=640+5*25
47
习题4-3 3. 设二维随机向量(X,Y)在由x轴, y轴
及直线x+y-2=0所围成的区域G上服从均匀分
布, 求X与Y的相关系数XY
函数字串为1/2*GE(0,x+y-2)
x1=0, x2=2, y1=0, y2=2
然后可以进行一系列的计算.
48
习题4-1 4.把4个球随机地放入四个盒子中去,
设X表示空盒子的个数, 求E(X).
解 这个题的实质和例15一样, 一个民航送客
车上来4个球, 客车共有4个盒子可下车, 以X
表示不停车的盒子数,
引入计数随机变量
1, 第i个盒子是空盒子,
Xi  
i  1,2,3,4.
0, 第i个盒子不是空盒子.
则X=X1+X2+X3+X4
3
P{ X i  1}   
4
4
49
习题4-1 4.把4个球随机地放入四个盒子中去,
设X表示空盒子的个数, 求E(X).
解
1, 第i个盒子是空盒子,
Xi  
i  1,2,3,4.
0, 第i个盒子不是空盒子.
4
3


则X=(X1+X2+X3+X4)
P{ X i  1}   
4

4
3
E ( X i )  P{ X i  1}    i  1, 2,3, 4
4
4
 3  81
E ( X )  4E ( X i )  4   
 1.266
 4  64
50
习题4-1 14.将n个球放入M个盒子中去, 设每
只球落入各个盒子是等可能的, 求有球的盒子
X的数学期望.
解 这个问题也是和例15一样, 一民航客车将n
个球送到M个盒子, 停车的次数X就是有球下
车的盒子数. 定义随机变量
0, 第i个盒子没有球,
Xi  
i  1,2, , M
第i个盒子有球.
1,
 M -1 
 M -1 
P{ X i  0}  
 , P{ X i  1}  1 - 

 M 
 M 
n
51
n
 M -1 
 M -1 
P{ X i  0}  
 , P{ X i  1}  1 - 

 M 
 M 
X=X1+X2+…+XM
n
E( X )  E ( X1) 
 E( X M )
 ( M - 1) 
 M 1 
n
M


n
52
n