Transcript 概率论第10讲

概率论第10讲
相互独立随机变量的和
相关系数
本文件可从网址
http://www.appmath.cn
上下载
1
2015/4/8
当一个随机变量x服从零-壹分布时, 它
的分布密度如下表所示
x
0
1
概率
1-p
p
(0<p<1)
因此, Ex=0(1-p)+1p=p
Ex2=02(1-p)+12p=p
Dx=Ex2-(Ex)2=p-p2=p(1-p)
现在设随机变量x1,x2,...,xn相互独立且每个
都服从同一个零一分布, 来求出
hn=x1+x2+...+xn的分布
2
2015/4/8
这里, 每个xi只能取0,1(i=1,2,...,n). 因此,
hn只能取0,1,2,...,n. 设i为这些数字中的
任一个. hn取i等于说x1,x2,...,xn中恰好有i
个值取1而其余的取0. 在x1,x2,...,xn中i个
n
取1而其余取0的共有 种方式, 这些
i
方式两两互斥. 按诸xi的相互独立性, 每
种方式出现的概率为pi(1-p)n-i. 因此
n i
P{hn  i}    p (1 - p)n -i
i
即hn服从B (n,p).
(i  0,1, 2,
, n)
3
2015/4/8
因为hn=x1+x2+...+xn且x1,x2,...,xn相互独
立, Exi=p, Dxi=p(1-p), i=1,2,...,n, 所以
Ehn=Ex1+Ex2+...+Exn=np
Dhn=Dx1+Dx2+...+Dxn=np(1-p)
4
2015/4/8
中心极限定律:
设随机变量x1,x2,...,xn相互独立, 均值和
方差都一样, 设Exi=m, Dxi=s2, i=1,2,...,n,
则当n很大时(通常在100以上), 它们的和
hn=x1+x2+...+xn近似服从正态分布N(nm,
ns2)
推论:
当n很大时, 二项分布B (n,p)近似服从正
态分布N(np,np(1-p))
(隶莫佛-拉普拉斯中心极限定理)
5
2015/4/8
第三节 相关系数
6
2015/4/8
一, 线性回归 回归系数
在研究实际问题时, 会遇到一些相互制
约的量, 即它们之间存在一定的联系. 这
些联系中有一类是大家所熟悉的函数关
系, 即所谓确定性关系. 譬如, 自由落体
运动中, 物体下落的距离s与所需的时间t
的关系为
1 2
s  gt
2
7
2015/4/8
但是, 经常还会遇到两个随机变量, 它们
并不具有函数关系. 例如, 一族人的身长
与体重之间就是这样, 一般说来, 身高者,
体亦重. 但这种联系不是确定性的, 一个
人的体重并不能完全确定其身高. 对于
这样两个随机变量x,h, 希望用x的某个
线性函数ax+b(a,b都是常数)来近似表达
h. 当然问题是如何选取a,b, 使得在某种
含义上近似程度尽可能好.
8
2015/4/8
以ax+b近似表达h时的均方误差为
E[h-(ax+b)]2
=E[(h-Eh)-a(x-Ex)+(Eh-aEx-b)]2
=E[(h-Eh)2+a2(x-Ex)2+(Eh-aEx-b)2
-2a(h-Eh)(x-Ex)+2(h-Eh)(Eh-aEx-b)
-2a(x-Ex)(Eh-aEx-b)]
=E(h-Eh)2+a2E(x-Ex)2+(Eh-aEx-b)2
-2aE[(h-Eh)(x-Ex)].
为了表达方便, 令
E[(h - Eh )(x - Ex )]
 (x ,h ) 
.
(1)
s (x )s (h )
9
2015/4/8
E[h-(ax+b)]2
=E(h-Eh)2+a2E(x-Ex)2+(Eh-aEx-b)2
-2aE[(h-Eh)(x-Ex)].
E[(h - Eh )(x - Ex )]
 (x ,h ) 
.
s (x )s (h )
2
2
2 2
E[h - (ax  b)]  s (h )  a s (x )
(1)
-2a  (x ,h )s (x )s (h )  ( Eh - aEx - b) 2
2

s (h ) 
 s (x )  a -  (x ,h )

s (x ) 

2
2
2
s (h )[1 -  (x ,h )]  ( Eh - aEx - b)
2
10
2015/4/8
2

s (h ) 
E[h - (ax  b)]  s (x )  a -  (x ,h )

s (x ) 

2
2
2
s (h )[1 -  (x ,h )]  ( Eh - aEx - b)
2
2
从表达式可以看出, 为了使均方误差尽可
能地小, 应该取
 b  Eh - aEx ,

s (h )

a


(
x
,
h
)
,

s (x )

11
2015/4/8
 b  Eh - aEx ,

s (h )

a   (x ,h ) s (x ) ,

即取
s (h )

a   (x ,h )
,

s (x )


b  Eh -  (x ,h ) s (h ) Ex .

s (x )
(2)
(3)
这时, ax+b为
s (h )
 (x ,h )
(x - Ex )  Eh
s (x )
(4)
12
2015/4/8
以x的这个线性函数(4)作为h的近似值时,
均方误差最小, 最小值为
s2(h)[1-2(x,h)].
(5)
称x的线性函数(4)为h对x的线性回归. 称
线性函数(4)的一次项的系数
s (h )
 (x ,h )
(6)
s (x )
为h对x的回归系数, 记作a(x,h).
13
2015/4/8
类似地, 可以考虑以h的线性函数近似表
达x的问题. 得到x对于h的线性回归为
s (x )
(7)
 (h, x )
(h - Eh )  Ex .
s (h )
又, x对于h的回归系数a(h,x)为
s (x )
(8)
 (h, x )
.
s (h )
按定义知(x,h)=(h,x), a(h,x)也可写成
s (x )
 (x ,h )
.
(9)
s (h )
14
2015/4/8
例10 设二维随机变量(x,h)的分布密度为
h
x
1
2
3
4
5
1
2
3
4
5
1
12
1
24
1
24
1
24
1
24
1
24
1
30
1
12
1
24
1
24
1
12
1
24
1
24
1
24
1
24
1
30
0
1
24
1
30
0
1
30
0
1
24
1
24
1
30
求h对于x的线
性回归及x对h
的线性回归.
15
2015/4/8
解 (x,h)关于x的边缘分布密度为
x
1
2
3
4
5
1
概率
3
1
6
1
6
1
6
1
6
(x,h)关于h的边缘分布密度为
h
1
2
3
4
5
1
概率
5
1
5
1
5
1
5
1
5
16
2015/4/8
从而推得
8
Ex  , s (x )  1.49, Eh  3, s (h )  1.41
3
E[(x - Ex )(h - Eh )]
 (x ,h ) 
s (x )s (h )
E[xh - x Eh - h Ex  Ex Eh ]

s (x )s (h )
E (xh ) - Ex Eh

 0.06
s (x )s (h )
17
2015/4/8
因此, h对x的线性回归为
1.41 
8
0.06 
 x -   3  0.056x  2.85;
1.49 
3
x对h的线性回归为
1.49
8
0.06 
(h - 3)   0.063h  2.52
1.41
3
18
2015/4/8
二, 相关系数 协方差
19
2015/4/8
上面已经求得: 如限用x的线性函数来近
似表达h, 取h对于x的线性回归
s (h )
 (x ,h )
(x - Ex )  Eh
s (x )
时, 均方误差最小, 最小值为
s2(h)[1-2(x,h)].
而在误差理论中使用相对误差更为合适.
用上述均方误差s2(h)[1-2(x,h)]除以s2(h)
后的商1-2(x,h)(以后简称相对均方误差)
来计量上述近似程度. 同理, 1-2(x,h)也可
以用来计量x对h的线性回归作为x的近似
程度.
20
2015/4/8
由此可见, 可以用1-2(x,h)来计量x,h的
线性联系的紧密程度. 由于1-2(x,h)是
|(x,h)|的单调减函数, 也可用|(x,h)|来
计量这种联系的紧密程度.
称(x,h)为x,h的相关系数, 它是(x,h)的
一个数字特征.
21
2015/4/8
下面讨论|(x,h)|的大小与这种联系的关
系.
首先, 由于上述均方误差总不为负, 所以
1-2(x,h)0,
即
|(x,h)|1
其次当|(x,h)|较大时, 相对均方误差12(x,h)较小, 这就表明x,h的线性联系比
较紧密. 反之,就比较不紧密.
22
2015/4/8
特殊地, 当|(x,h)|=1时, x,h的联系最紧
密. 这时, 线性回归的均方误差均为零,
即x与h有线性关系
x - Ex
h - Eh

s (x )
s (h )
按(x,h)为+1或-1而确定等式右端为+或
为-.
23
2015/4/8
当(x,h)=0时, x,h的联系最不紧密. 这时,
两个线性回归都是常数, 它们依次为Eh
及Ex. 称这样的x,h为互不相关.
24
2015/4/8
当x,h相互独立时, x-Ex, h-Eh也相互独
立, 再按数学期望的性质有
E[(x-Ex)(h-Eh)]=[E(x-Ex)]E[(h-Eh)]
=(Ex-Ex)(Eh-Eh)=0
所以, 这时
E[(x - Ex )(h - Eh )]
 (x ,h ) 
0
s (x )  (h )
25
2015/4/8
即, x,h相互独立保证x,h互不相关. 但反
过来不成立, x,h互不相关并不保证x,h相
互独立.
26
2015/4/8
例11 已知随机变量x的分布密度为
x
-1 0 1
概率
1
3
1
3
1
3
而h=x2. 试证随机变量x与h不相互独立而
互不相关.
证 x与h不相互独立是显然的, 因为h的值
完全由x的值所决定.
但E(xh)=E(x3)=E(x)=0, E(x)E(h)=0
所以(x,h)=0, 故x,h互不相关.
27
2015/4/8
当(x,h)服从正态分布时, x,h相互独立与
x,h互不相关是等价的.
28
2015/4/8
例12 设服从以(x,h)

1
2
2 
 ( x, y) 
exp  ( x - 2  xy  y ) 
2
2
2 1 - 
 2(1 -  )

1
为分布密度的二维正态分布. 证明:(x,h)=.
证 按第六章例5的结论, x,h的边缘分布密度
为标准正态分布, 因此
Ex=0, s2(x)=1, Eh=0, s2(h)=1.
(x,h)=E(xh)
29
2015/4/8
(x,h)=E(xh)


-


-


-


-

xy
1
2
2
exp  ( x - 2  xy  y  dydx
2
2 1 - 
 2(1 -  )

 
 ( y -  x)  
xy
exp  dy  e
 -
2 
2 1 - 

 2(1 -  )  
2
x(  x)
e
2
x2
2
dx   

-
2
x
e
2
x2
2
x2
2
dx
dx   .
30
2015/4/8
在讨论误差时有绝对误差及相对误差一
样, 在讨论表达两个随机变量之间联系
的紧密程度时, 通常也有两种方法. 上面
介绍过的相关系数相应于相对误差的地
位, 相应于绝对误差地位的数字特征是
E[(x-Ex)(h-Eh)]=(x,h)s(x)s(h). 称这
个数字特征为x,h的协方差, 记作
cov(x,h), 即规定
cov(x,h)=E[(x-Ex)(h-Eh)].
显然有: cov(x,h)=cov(h,x)
31
2015/4/8
又当x,h相互独立时, cov(x,h)=0. 但是,
反之不一定成立. 特殊地, 对于服从二维
正态分布的随机变量(x,h)中的x,h讲,
cov(x,h)=s1s2, 且x,h的协方差为零等
价于x,h相互独立.
注意到: 只要x,h互不相关, 便有
s2(xh)=s2(x)+s2(h).
32
2015/4/8
第四节 契比晓夫不等式 大数定律
33
2015/4/8
方差是用来计量一个随机变量取值的分
散程度的. 设x的方差为s2(x), 标准差为
s(x). 要估计事件{|x-Ex|ks(x)}的概率,
其中k>0为任一常数. 为了简便起见, 在
此只讨论连续型情形.
34
2015/4/8
设x的分布密度为(x), 则
P{| x - Ex | ks (x )}
( x - Ex ) 2

 ( x)dx 
 ( x)dx
2 2


k s (x )
| x - Ex |  ks (x )
| x - Ex |  ks (x )
1

1
 2 2
( x - Ex )  ( x)dx  2 2 s (x )  2

k s (x ) -
k s (x )
k
2
1
2
从而得到不等式
1
P{| x - Ex | ks (x )}  2
k
35
2015/4/8
1
P{| x - Ex | ks (x )}  2
k
e
如果令ks(x)=e, 即 k 
, ,则上式可写为
s (x )
s (x )
P{| x - Ex | e } 
2
e
2
e为任意正数
称此不等式为契比晓夫不等式.
36
2015/4/8
贝努利大数定律: 设hn服从B (n,p), 其
中0<p<1, n=1,2,..., 那末, 对于任一正数e,
有
 hn

lim P  - p  e   0.
n 
 n

37
2015/4/8
 hn

lim P  - p  e   0.
n 
 n

证 由于hn服从B (n,p), 所以
Ehn=np, s2(hn)=np(1-p).
因此按契比晓夫不等式
2
 hn
 s (hn )
0  P{| hn - Ehn | ne }  P  - p  e  
2
 n
 (ne )
np(1 - p) p(1 - p)



0
n 
2 2
2
ne
e n
证毕
38
2015/4/8
由于hn/n可以看作在n次重复独立试验中
指定的事件A出现的频率, 而p为每次试
验中A出现的概率, 因此上述定理的结论
可理解为: 当n足够大时, 事件A出现的频
率与A的概率的差的绝对值不小于任一
指定的正数e的概率可以小于任何预先
指定的正数. 这是频率稳定性的一种较
确切的解释.
39
2015/4/8
契比晓夫大数定律 设随机变量
x1,x2,...,xn,...相互独立, 每个变量分别存
在数学期望Ex1,Ex2,...,Exn,...及方差
s2(x1),s2(x2),...,s2(xn),...,并且这些方差是
有界的, 所有的方差小于一正常数K
则对于任一个正数e, 有
n
1 n

1
lim P   xi -  Exi  e   0.
x 
n i 1
 n i 1

40
2015/4/8
证
1 n  1 n
E   xi    Ex i ,
 n i 1  n i 1
n
n
1
1
nK K

2
2
s   xi   2  s (xi )  2 
n
n
 n i 1  n i 1
n
将契比晓夫不等式用在 1  x
i
n i 1
给e>0, 有
1

1
0  P   xi -  Ex i  e  
n i 1
 n i 1

K


0
n 
ne
n
n
上, 任
n
s
i 1
2
ne
2
(xi )
2
41
2015/4/8
设随机变量x1,x2,...,xn,...相互独立且服从
同一分布, 并且存在数学期望a和方差s2,
则x1,x2,...,xn的算术平均数对于任一个正
数e , 有
1

lim P   xi - a  e   0
x 
 n i 1

n
42
2015/4/8
第120页开始
第11，15，16题
43
2015/4/8