Transcript 郑州轻工业学院数学与信息科学系 第五章：大数定律和中心极限定理 概率统计教研组 第五章 大数定律和中心极限定理  人们在长期的实践中发现，事件发生的频率具有稳定 性，也就是说随着试验次数的增多，事件发生的频率将 稳定在一个确定的常数，即概率值附近． 频率的稳定性是概率定义的客观基础，在第一章中我们 从直观上描述了这一事实。 本章将用大数定律对频率的稳定性作出理论上的说明． 第五章 大数定律和中心极限定理 另外，在前面，我们还看到相互独立的正态随机变量的 和仍是正态随机变量。 本章将要介绍的中心极限定理将给出概率论中的另一个 重要结果:在相当一般的条件下，充分多个相互独立的非 正态随机变量（不管它们的分布如何）的和近似服从正 态分布．这一事实更说明了正态分布的重要性． 大数定律和中心极限定理无论在应用上还是理论上都具 有极其重要的作用． 第五章 大数定律和中心极限定理 【吸烟率调查问题】 某卫生组织为确定某城市成年男子的吸烟率p，将被调 查的成年男子中吸烟的频率作为p的估计，现在要保证有 90%以上的把握，使得调查对象吸烟者的频率与该城市 成年男子的吸烟率p之间的差异不大于5%，问至少要调 查多少对象？ 第五章 大数定律和中心极限定理 主要内容 一 大数定律 二 中心极限定理 第五章：总结 §5.1 大 数 定 律 对某个随机变量X进行大量的重复观测，所得到的大批 观测数据的算术平均值也具有稳定性. 由于这类稳定性都是在对随机变量进行大量重复试验的 条件下呈现出来的，历史上把这种试验次数很大时出现 的规律统称为大数定律． 首先来引进证明大数定律所需要的预备知识——契比谢 夫（Chebyshev）不等式． §5.1 大 数 定 律 【定理5.1】 设随机变量X的数学期望E(X)及方差D(X) 都存在，则对于任意正数，有不等式 P{| X  E.

郑州轻工业学院数学与信息科学系
第五章：大数定律和中心极限定理
概率统计教研组
第五章 大数定律和中心极限定理
 人们在长期的实践中发现，事件发生的频率具有稳定
性，也就是说随着试验次数的增多，事件发生的频率将
稳定在一个确定的常数，即概率值附近．
频率的稳定性是概率定义的客观基础，在第一章中我们
从直观上描述了这一事实。
本章将用大数定律对频率的稳定性作出理论上的说明．
第五章 大数定律和中心极限定理
另外，在前面，我们还看到相互独立的正态随机变量的
和仍是正态随机变量。
本章将要介绍的中心极限定理将给出概率论中的另一个
重要结果:在相当一般的条件下，充分多个相互独立的非
正态随机变量（不管它们的分布如何）的和近似服从正
态分布．这一事实更说明了正态分布的重要性．
大数定律和中心极限定理无论在应用上还是理论上都具
有极其重要的作用．
第五章 大数定律和中心极限定理
【吸烟率调查问题】
某卫生组织为确定某城市成年男子的吸烟率p，将被调
查的成年男子中吸烟的频率作为p的估计，现在要保证有
90%以上的把握，使得调查对象吸烟者的频率与该城市
成年男子的吸烟率p之间的差异不大于5%，问至少要调
查多少对象？
第五章 大数定律和中心极限定理
主要内容
一 大数定律
二 中心极限定理
第五章：总结
§5.1 大 数 定 律
对某个随机变量X进行大量的重复观测，所得到的大批
观测数据的算术平均值也具有稳定性.
由于这类稳定性都是在对随机变量进行大量重复试验的
条件下呈现出来的，历史上把这种试验次数很大时出现
的规律统称为大数定律．
首先来引进证明大数定律所需要的预备知识——契比谢
夫（Chebyshev）不等式．
§5.1 大 数 定 律
【定理5.1】 设随机变量X的数学期望E(X)及方差D(X)
都存在，则对于任意正数，有不等式
P{| X  E ( X ) |  } 
即
D( X )

P{| X  E ( X ) |  }  1 
.
2
D( X )
(5.1)
(5.2)

成立．称上述不等式为契比谢夫(Chebyshev)不等式．
2
此定理进一步说明方差是一个反映随机变量在其分布中
心E(X)附近集中程度的数量指标
 利用契比谢夫不等式，我们可以在随机变量X的分布未
知的情况下估算概率值的界限
§5.1 大 数 定 律
P{| X  E ( X ) |  }  1 
D( X )
2
【例5-1】若某班某次考试的平均分为80分，标准差为10，
试估计及格率至少为多少？
解：用随机变量X表示学生成绩，则数学期望E(X) = 80，
方差D(X) = 100，所以
P{60  X  100}  P{60 < X < 100}
= P{|X – 80| < 20}
100
 1
 0.75  75%
2
( 20)
所以及格率至少为75%．
§5.1 大 数 定 律
【例5-2】已知n重伯努利试验中参数p = 0.75，问至少应
做多少次试验，才能使试验成功的频率在0.74和0.76之
间的概率不低于0.90？
解:设需做n次试验,其中成功的次数为X,则X～B(n，p)，
E(X) = np，D(X) = np(1 – p)。
因为
X
X
( X}) P{|  0.75 | 0.01}
P{0.74 
 0D.76
P{| X  E ( X ) |  } n1 
n
2

根据契比谢夫不等式应有
1
X
np(1  p)
D( )
2
X
n  1 n
P{0.74 
 0.76}  1 
n
0.01 2
0.01 2
§5.1 大 数 定 律
【例5-2】已知n重伯努利试验中参数p = 0.75，问至少应
做多少次试验，才能使试验成功的频率在0.74和0.76之
间的概率不低于0.90？
解:设需做n次试验,其中成功的次数为X,则X～B(n，p)，
E(X) = np，D(X) = np(1 – p)。
根据契比谢夫不等式应有
1
X
np(1  p)
D( )
2
X
n  1 n
P{0.74 
 0.76}  1 
n
0.01 2
0.01 2
1
令
np(1  p)
2
1 n
 0.90
2
0.01
p(1  p)
0.75  0.25
解得
n

 18750
2
2
0.1  0.01
0.1  0.01
§5.1 大 数 定 律
【定义5.1】 设X1，X2，…，Xn…是一随机变量序列，a
是一常数，若对任意正数，有
lim P{| X n  a |  }  1
n 
则称序列X1，X2，…，Xn，…依概率收敛于a，记为
P
P
X n  a( n   )
注：若 X n  a( n   ),当n充分大时， Xn 以很大的可能
性接近于a，这种接近是“概率意义下的接近”，与微积
分中数列收敛中的“接近”不同
§5.1 大 数 定 律
【定理5.2】（契比谢夫大数定律）设X1, X2, …, Xn…
是相互独立，服从同一分布的随机变量序列，且具有数
学期望E(Xi) = 及方差D(Xi) =  2(i = 1, 2,…)，
则
依概率收敛于，即对于任意正数，有
1 n

lim P   X i       1
n 
 n i 1

1 n
P

 (n  )
即  Xi 
n i 1
1 n
1 n
1
证： E (  X i )   E ( X i )   n  
n i 1
n i 1
n
1 n
1 n
1
1 2
2
D (  X i )  2  D( X i )  2 n   
n
n i 1
n
n i 1
(5.3)
§5.1 大 数 定 律
【定理5.2】（契比谢夫大数定律）设X1, X2, …, Xn…
是相互独立，服从同一分布的随机变量序列，且具有数
学期望E(Xi) = 及方差D(Xi) =  2(i = 1, 2,…)，
依概率收敛于，即对于任意正数，有
则
1 n

lim P   X i       1
n 
 n i 1

1 n
P

 (n  )
即  Xi 
n i 1
证：对
P{| X  E ( X ) |  }  1 
运用Chebyshev不等式
2
1 n

/n
1  P{|  X i   |  }  1 
.
2
n i 1

D( X(5.3)
)
2
1 n
E (  X i )  ,
n i 1
1 n
2
D(  X i ) 
n i 1
n
1 n

P  定
Xi       1
§5.1 lim
大
数
律
n 
 n i 1

定理5.2表明，当n充分大时，随机变量序列的算术平均
值接近于数学期望E(Xk) = ，这种接近是概率意义下的
接近．通俗地说，在定理条件下，n个相互独立同分布随
机变量的算术平均值，当n无限增大时，几乎变成了一常
数
这一定理从理论上说明了大量观测值的算术平均具有稳
定性，为实际应用提供了理论依据．例如，在进行精密
测量时，人们为了提高测量的精度，往往要进行若干次
重复测量，然后取测量结果的算术平均值．
§5.1 大 数 定 律
【定理5.3】（伯努利大数定律）设nA是n重伯努利试验
中事件A发生的次数，p是事件A在每次试验中发生的概
率，则对于任意正数，有
 nA

lim P 
 p    1
n 
 n

nA P
即

 p ( n   )
n
证：引入随机变量Xi（i = 1，2，…）：
1, 第i次试验中A发生
Xi  
0, 第i次试验中A不发生
则
n A  X 1  X 2    X n ~ B(n, p)
(5.4)
§5.1 大 数 定 律
【定理5.3】（伯努利大数定律）设nA是n重伯努利试验
中事件A发生的次数，p是事件A在每次试验中发生的概
率，则对于任意正数，有
 nA

lim P 
 p    1
n 
 n

证：其中Xi相互独立且均服从参数为p的0-1分布，即
P{ X in  1}  p, P{ X i  0}  1  p, i  1,2,..., n
1

lim P  ) =
X i   ) =
 p(1
 1– p)，i = 1，2，…，n

且有E(X
p，D(X
i
i
n 
 n i 1

由定理5.2得到
1 n

lim P   X i  p     1
n 
 n i 1

§5.1 大 数 定 律
【定理5.3】（伯努利大数定律）设nA是n重伯努利试验
中事件A发生的次数，p是事件A在每次试验中发生的概
率，则对于任意正数，有
 nA

lim P 
 p    1
n 
 n

nA P
即

 p ( n   )
n
证： n A  X 1  X 2    X n ~ B(n, p)
由定理5.2得
1 n

lim P   X i  p     1
n 
 n i 1


即 lim P  nA  p     1
n
 n


(5.4)
 nA

P
 p    1
§5.1 lim
大
数
定
律

n 
 n

伯努利大数定律表明事件A发生的频率nA/n依概率收敛
于事件A发生的概率p．
这也正是在大量重复独立试验中，频率nA/n接近于概率
p的真正含义，也就是我们所说的频率稳定性的真正含
义．
所以当试验次数很大时，就可以利用事件发生的频率来
近似地代替事件发生的概率．
§5.1 大 数 定 律
【定理5.4】（辛钦大数定律）设X1，X2，…，Xn，…是
相互独立，服从同一的分布的随机变量序列，且具有数
1 n
学期望E(Xi) =  (i = 1，2，…)，则  X i依概率收敛于
n i 1
，即
p
1 n
X i   (n  )

n i 1
(5.5)
辛钦大数定律提供了求随机变量数学期望E(X)的近似值
的方法．
辛钦大数定律是数理统计部分中点估计理论的重要依据
§5.1 大 数 定 律
【例5-3】设随机变量X1，X2，…，Xn独立同分布，且
E ( X ik )  k ( i  1,2,, n) 存在，
令
1 n k
Ak ( n)   X i , ( k  1,2,)
n i 1
P
则 A 
k , ( n  )
k
证：因为X1，X2，…，Xn独立同分布，所以X 1k , X 2k ,..., X nk
独立同分布。
又 E ( X ik )   k存在，由辛钦大数定律
1 n k P
Ak   X i 
  k
n i 1
§5.2 中心极限定理
大数定律讨论的是多个随机变量的算术平均的渐近性
质．现在我们来讨论独立随机变量和的极限分布．先给
出一个例子．
§5.2 中心极限定理
【例5-4】误差分析是人们经常遇到且感兴趣的随机变量，
大量的研究表明，误差产生是由大量微小的相互独立的
随机因素叠加而成的．现在考虑一位操作工在机床上加
工机械轴，要求其直径应符合规定要求，但加工后的机
械轴与规定要求总会有一定误差，这是因为在加工时受
到一些随机因素的影响，它们是：
(1) 在机床方面有机床振动与转速的影响；
(2) 在刀具方面有装配与磨损的影响；
(3) 在材料方面有钢材的成分、产地的影响；
(4)在操作者方面有注意力集中程度、当天的情绪的影响
§5.2 中心极限定理
【例5-4】误差分析是人们经常遇到且感兴趣的随机变量，
大量的研究表明，误差产生是由大量微小的相互独立的
随机因素叠加而成的．现在考虑一位操作工在机床上加
工机械轴，要求其直径应符合规定要求，但加工后的机
械轴与规定要求总会有一定误差，这是因为在加工时受
到一些随机因素的影响，它们是：
(1) 在机床方面有机床振动与转速的影响；
(5) 在测量方面有度量工具误差、测量技术的影响；
(6) 在环境方面有车间温度、湿度、照明、工作电压的影
响；
(7) 在具体场合还可列出许多其他影响因素．
§5.2 中心极限定理
由于这些因素很多，每个因素对加工精度的影响都是很
微小的，而且每个因素的出现又都是人们无法控制的、
随机的、时有时无、时正时负的．
这些因素的综合影响最终使每个机械轴的直径产生误差，
若将这个误差记为Yn，那么Yn是随机变量，且可以将Yn看
作很多微小的随机波动X1，X2，…，Xn之和，即
Yn = X1 + X2 +…+ Xn
这里n是很大的，那么我们关心的是，当时n时，Yn的
分布是什么？
§5.2 中心极限定理
由于这些因素很多，每个因素对加工精度的影响都是很
微小的，而且每个因素的出现又都是人们无法控制的、
随机的、时有时无、时正时负的．
Yn = X1 + X2 +…+ Xn
这里n是很大的，那么我们关心的是，当时n时，Yn的
分布是什么？
当然，我们可以考虑用卷积公式去计算Yn的分布，但这
样的计算是相当复杂的、不现实的，而且也是不易实现
的．有时即使能写出Yn 的分布，但由于其形式复杂而无
法使用．
§5.2 中心极限定理
5.2.1
独立同分布的中心极限定理
【 定 理 5.5】 （ 独 立同 分 布 的中 心 极 限 定 理 ） 设 X1 ，
X2，…，Xn，…为相互独立、服从同一分布的随机变量
序列，且E(Xi) =  ，D(Xi) = 2  0（i = 1，2，…），则
对于任意x，有
 n

t2
  X i  n

x
1 2
i 1
lim P 
 x  
e dt  Φ( x ) (5.6)

n
n

2



n 

X i  n

记 Yn  i 1
, 记FYn ( x )为Yn的分布函数，则
n
lim FYn ( x )  Φ( x )
n
§5.2 中心极限定理
5.2.1
独立同分布的中心极限定理
推论1：当n充分大时,
n
Yn 
X
i 1
i
 n 近 似
~ N (0, 1) 或
n
n
近似
2
X
~
N
(
n

,
n

)
 i
i 1
推论2：当n充分大时
X   近似
~ N (0,1)
 n
n
1
其中， X   X i
n i 1
或
近似
X ~ N ( ,
2
n
)
§5.2 中心极限定理
5.2.1
独立同分布的中心极限定理
【例5-5】用机器包装味精，每袋净重为随机变量，期望
值为100克，标准差为10克，一箱内装200袋味精，求一
箱味精净重大于20400克的概率．
解：设箱中第i袋味精的净重为Xi克, X1, X2,…, Xn是200个
相互独立同分布的随机变量，且
E ( X i )  100, D( X i )  100, i  1,2,,200
由中心极限定理
即
200
X
i 1
近似
~ N ( 200  100,200  100)
i
200
X
i 1
近似
i
~ N ( 20000,20000)
§5.2 中心极限定理
5.2.1
独立同分布的中心极限定理
【例5-5】用机器包装味精，每袋净重为随机变量，期望
值为100克，标准差为10克，一箱内装200袋味精，求一
箱味精净重大于20400克的概率．
解：由中心极限定理
200
200
X
i 1
近似
i
~ N ( 20000,20000)
200
所以，P{  X i  20400}  1  P{  X i  20400}
i 1
i 1
 200

  X i  20000 20400  20000 
 1  P  i 1

  1  Φ(2.83)
20000
20000




 1  0.9977  0.0023
§5.2 中心极限定理
5.2.2
二项分布的正态近似
现在将定理5.5应用于服从0-1分布的随机变量，即
设X1，X2，…，Xn，…相互独立，且都服从参数为的0-1
分布：
P{X = k} = pk(1 – p)1- k，k = 0，1
此时EXi=p, DXi=p(1-p), i=1,2…，
n
又记 n   X i , 则n~B(n，p)．此时定理5.5的结论可写成
i 1


  n  np

limP 
 x 
n 


 n p(1  p)

于是，有下述定理：

x

1
2
e
t2

2
dt  Φ( x )
§5.2 中心极限定理
5.2.2
二项分布的正态近似
【定理5.6】（棣莫弗—拉普拉斯定理）
设n（n = 1，2，…）服从参数为n，p（0 < p < 1）的二
项分布，则对于任意实数x，有
t
  n  np


x
1
lim P 
 x  
e 2 dt  Φ( x )
n 
 np(1  p)
   2
2
(5.9)
这个定理表明，当n充分大时，服从二项分布的随机变
量n的标准化变量近似服从标准正态分布．即有

n  np
np(1  p)
近似
~ N (0,1)
近似
即  n ~ N ( np, np(1  p))
§5.2 中心极限定理
5.2.2
二项分布的正态近似
【例5-6】设电路供电网内有10000盏相同的灯，夜间每
一盏灯开着的概率为0.8，假设各灯的开关彼此独立，计
算同时开着的灯数在7800与8200之间的概率．
解：记同时开着的灯数为X，它服从二项分布
B(10000，0.8)，于是由棣莫弗-拉普拉斯定理，有
P{7800  X  8200}
 Φ(
8200  8000
)  Φ(
7800  8000
10000  0.8  0.2
10000  0.8  0.2
2
 2Φ ( )  1  2Φ (5)  1  1
0.4
)
§5.2 中心极限定理
5.2.2
二项分布的正态近似
【例5-7】某单位内部有260部电话分机，每个分机有4%
的时间要与外线通话，可以认为每个电话分机用不同的
外线是相互独立的，问总机需备多少条外线才能以95%
的概率满足每个分机在用外线时不用等候?
解：设  表示同时使用外线的分机数, 则  ～B(260，p)，
其中p = 0.04．根据题意应确定最小的x使P{  x }  95%
成立．由棣莫弗—拉普拉斯定理，有
   260 p
P{  x }  P 

 260 p(1  p)

x  260 p
)
 Φ(
260 p(1  p)
260 p(1  p) 
x  260 p
§5.2 中心极限定理
5.2.2
二项分布的正态近似
【例5-7】某单位内部有260部电话分机，每个分机有4%
的时间要与外线通话，可以认为每个电话分机用不同的
外线是相互独立的，问总机需备多少条外线才能以95%
的概率满足每个分机在用外线时不用等候?
解：应确定最小的x使 P{  x }  95%
   260 p
x  260 p 
P{  x }  P 

 Φ(
 260 p(1  p)
令 Φ(
x  260 p
260 p(1  p)
260 p(1  p) 
x  260 p
260 p(1  p)
)  95%,查得Φ (1.65)  0.9505  0.95
)
§5.2 中心极限定理
5.2.2
二项分布的正态近似
【例5-7】某单位内部有260部电话分机，每个分机有4%
的时间要与外线通话，可以认为每个电话分机用不同的
外线是相互独立的，问总机需备多少条外线才能以95%
的概率满足每个分机在用外线时不用等候?
解：应确定最小的x使 P{  x }  95%
x  260 p
令 Φ(
260 p(1  p)
故取
于是
)  95%,查得 Φ (1.65)  0.9505  0.95
x  260 p
260 p(1  p)
 1.65
x  1.65  260 p(1  p)  260 p
 1.65  260  0.04  0.96  260  0.04  15.61
§5.2 中心极限定理
【吸烟率调查问题解答】
 某卫生组织为确定某城市成年男子的吸烟率p，将被
调查的成年男子中吸烟的频率作为p的估计，现在要保证
有90%以上的把握，使得调查对象吸烟者的频率与该城
市成年男子的吸烟率p之间的差异不大于5%，问至少要
调查多少对象？
解：设共调查n个成年男子，记
1, 第i个成年男子吸烟，
Xi  
i  1,2,n.
0， 第i个成年男子不吸烟，
则Xi独立同分布，且P{Xi=1}=p,P{Xi=0}=1-p,i=1,2, … ,n
§5.2 中心极限定理
【吸烟率调查问题解答】
 某卫生组织为确定某城市成年男子的吸烟率p，将被
调查的成年男子中吸烟的频率作为p的估计，现在要保证
有90%以上的把握，使得调查对象吸烟者的频率与该城
市成年男子的吸烟率p之间的差异不大于5%，问至少要
调查多少对象？
解：又记n个调查对象中，吸烟的人数为X，则有
n
X   X i ~ B(n, p)
i 1
由大数定理知，当n很大时，频率X / n与概率p很接近，
可用频率作为p的估计．依题意
§5.2 中心极限定理
【吸烟率调查问题解答】
 某卫生组织为确定某城市成年男子的吸烟率p，将被
调查的成年男子中吸烟的频率作为p的估计，现在要保证
有90%以上的把握，使得调查对象吸烟者的频率与该城
市成年男子的吸烟率p之间的差异不大于5%，问至少要
调查多少对象？
解：又记n个调查对象中，吸烟的人数为X，


1 n

n
  1  0.90
P   X i  p  0.05  2Φ  0.05
p(1  p) 
 n i 1


即


n
  0.95
Φ  0.05
p(1  p) 

§5.2 中心极限定理
【吸烟率调查问题解答】
 某卫生组织为确定某城市成年男子的吸烟率p，将被
调查的成年男子中吸烟的频率作为p的估计，现在要保证
有90%以上的把握，使得调查对象吸烟者的频率与该城
市成年男子的吸烟率p之间的差异不大于5%，问至少要
调查多少对象？
解：又记n个调查对象中，吸烟的人数为X，
查表得，Φ (1.645)  0.95
所以，
n
0.05
 1.645
p(1  p)
§5.2 中心极限定理
【吸烟率调查问题解答】
 某卫生组织为确定某城市成年男子的吸烟率p，将被
调查的成年男子中吸烟的频率作为p的估计，现在要保证
有90%以上的把握，使得调查对象吸烟者的频率与该城
市成年男子的吸烟率p之间的差异不大于5%，问至少要
调查多少对象？
解：
从而
n
0.05
 1.645
p(1  p)
1.6452
n  p(1  p)
 p(1  p)  1082.41
2
0.05
又因p(1-p)0.25,所以n270.6,即至少要调查271成年男子
§5.2 中心极限定理
【实验5.1】用Excel验证二项分布逼近正态分布
实验准备:
A
B
C
1
n=
7
2
p=
0.5
3
np=
3.5
4
np(1-p)=
1.75
5
x
B(n,p)
N(np, np(1-p))
6
1
0.0546875
0.050566766
…
…
=NORMDIST(A6,C$3,SQRT(C$4),FALSE)
=BINOMDIST(A6,$C$1,$C$2,FALSE)
§5.2 中心极限定理
【实验5.1】用Excel验证二项分布逼近正态分布
实验结果：
n=7, p=0.5
n=10, p=0.5
n=100, p=0.5
说明：随着n的增大，二项分布逐渐逼近正态分布
§5.2 中心极限定理
【实验5.1】用Excel验证二项分布逼近正态分布
实验结果：
x
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
n=
p=
np=
np (1-p)=
b (n , p )
0.0546875
0.1640625
0.2734375
0.2734375
0.1640625
0.0546875
0.0078125
#NUM!
#NUM!
#NUM!
#NUM!
#NUM!
#NUM!
#NUM!
#NUM!
#NUM!
#NUM!
7
0.5
3.5
1.75
N (np , np (1-p ))
0.050566766
0.158562955
0.280782481
0.280782481
0.158562955
0.050566766
0.009106686
0.000926163
5.31919E-05
1.72519E-06
3.15979E-08
3.26823E-10
1.90896E-12
6.29673E-15
1.17291E-17
1.2338E-20
7.32921E-24
第五章：总 结
大数定律：
1 n
P
X


 ( n   ) Chebyshev大数定律

i
n i 1
nA P

 p ( n   )
n
伯努利大数定律
中心极限定理:
n
近似
近似
2
当n充分大时，  X i ~ N ( n , n 2 ) 独立同分布的中心极限定理
X ~ N ( , )
n
i 1
近似
 n ~ N ( np, np(1  p))
棣莫弗-拉普拉斯中心极
限定理