第五章 大数定律和中心极限定理 概率论与数理统计是研究随机现象统计 规律性的学科. 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 来. 也就是说，要从随机现象中去寻求必然 的法则，应该研究大量随机现象. 大数定律 与 中心极限定理 一、切比雪夫不等式 设有随机变量X ， 则对于任意实数 > 0,有 E ( X ) , D( X )
Download ReportTranscript 第五章 大数定律和中心极限定理 概率论与数理统计是研究随机现象统计 规律性的学科. 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 来. 也就是说，要从随机现象中去寻求必然 的法则，应该研究大量随机现象. 大数定律 与 中心极限定理 一、切比雪夫不等式 设有随机变量X ， 则对于任意实数 > 0,有 E ( X ) , D( X )
Slide 1
第五章
大数定律和中心极限定理
Slide 2
概率论与数理统计是研究随机现象统计
规律性的学科. 随机现象的规律性只有在相
同的条件下进行大量重复试验时才会呈现出
来. 也就是说，要从随机现象中去寻求必然
的法则，应该研究大量随机现象.
大数定律 与 中心极限定理
Slide 3
一、切比雪夫不等式
设有随机变量X ，
则对于任意实数 > 0,有
E ( X ) , D( X )
P{| X | }
或
2
2
P{| X | } 1
2
2
证：仅证连续型随机变量情形
P {| X | }
x
x
1
2
( x ) f ( x )dx
2
x
f ( x )dx
1
2
(x )
2
2
2
f ( x )dx
2
( x ) f ( x )dx
2
2
Slide 4
P{| X | }
2
2
或 P{| X | } 1
2
2
不等式给出了随机变量X 的分布未知的情况下，
利用E(X) 、 D(X)，对 X 的概率分布进行估计的一
种方法。他具体地估算了随机变量X 取值时以E(X)
为中心的分散程度。
例如，不论随机变量X 是何分布，对任一 k>0
1
都有
P {| X | k } 1
2
k
P{| X | 3 } 0.8889
若 k=3 时，
2
X
~
N
(
,
) ，则
但若知
P{| X | 3 } 2( 3) 1 0.9973
因此，不等式估计是粗糙的。
Slide 5
P{| X | }
2
2
或 P{| X | } 1
2
2
又如，一射手命中率为 1/2 ，试问射击 900 次后，
命中的次数介于400至500次之间的概率是多少？
解 此试验是属于贝努里概型，故命中次数：
X X 1 X 2 X 900
服从二项分布， X ~ B (900,1/2 )
499
P {400 X 500}
k
k
C 900 0.5 0.5
900 k
k 401
E ( X ) np 450, D( X ) np(1 p) 225
P 400 X 500 P{ X 450 50 }
1
2
2
1
225
50
2
0.91
Slide 6
二、大数定律
1 贝努里（Bernoulli） 大数定律：
定理1 设 nA 是 n 次独立重复试验中事件 A 发生的
次数, p 是每次试验中 A 发生的概率，则
0 有
nA
lim P
p 0
n
n
或
nA
lim P
p 1
n
n
Slide 7
证
引入随机变量序列{Xk}
1,
Xk
0,
设
第k次试验A发生
第k次试验A 发生
P{ X k 1} p,
则
E ( X k ) p, D( X k ) pq
n
X 1 , X 2 ,, X n
相互独立，
nA
Xk
k 1
E(
nA
n
) p , D(
nA
n
)
1
n
2
D( n A )
1
n
2
npq
由切比雪夫不等式 P{| X | }
或 P{| X | } 1
2
2
pq
n
2
2
Slide 8
P{| X | }
2
2
或 P{| X | } 1
nA
0 P
p 1 pq
2
n
n
故
2
2
nA
lim P
p 0
n
n
贝努里（Bernoulli） 大数定律的意义：
在概率的统计定义中，事件 A 发生的频率
“ 稳定于”事件 A 在一次试验中发生的概率是指：
频率
nA
n
与 p 有较大偏差 n A
p
n
是
小概率事件, 因而在 n 足够大时, 可以用频率
近似代替 p . 这种稳定称为依概率稳定.
Slide 9
P{| X | }
2
2
2
或 P{| X | } 1 2
2 切比雪夫大数定律
定理2 设 X 1 , X 2 ,, X n ,是相互独立的随机变量，
且分别有数学期望
E( X k )
若存在常数C , 使
和方差
D( X k ) C
D( X k ) ，k 1,2,
，则 0 有
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
证：因为 X 1 , X 2 , , X n 相互独立，故
E(
1
n
n k 1
Xk )
1
n
n k 1
E ( X k ) D(
1
n
1
n
Xk )
D( X k )
2
n
n
k 1
k 1
C
n
1 n
1 n
C n
C
limP X k E ( X k ) lim(1 2 ) lim(1
)
2 1
n
n
n
n k 1
n
n k 1
Slide 10
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
推论 设随机变量 X 1 , X 2 , , X n , 相互独立，
2
且具有相同的数学期望 和方差
则
0
有
n
1
lim P
Xk 1
n
n k 1
定理的意义：
具有相同数学期望和方差的独立随机变量序
列的算术平均值依概率收敛于数学期望.
当 n 足够大时，算术平均值几乎就是一个常
数,可以用算术平均值近似地代替数学期望.
Slide 11
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
辛钦大数定律：
定理3 设
X 1 , X 2 , , X n , 相互独立，服从同一
分布，且具有数学期望 E(X k) = , k= 1,2,…,
则对任意正数 > 0
1 n
lim P X k 1
n
n k 1
Slide 12
P{| X | }
2
2
或 P{| X | } 1
2
2
1 贝努里（Bernoulli） 大数定律： 定理1
nA
nA
p 1
lim P
p 0 或 lim P
n
n
n
n
2 切比雪夫大数定律
定理2
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
n
1
P
Xk 1
推论 nlim
n k 1
3 辛钦大数定律： 定理3
1 n
lim P X k 1
n
n k 1
Slide 13
三、 中心极限定理
中心极限定理的客观背景
在实际问题中，常常需要考虑许多随机因素所
产生总影响.
例如：炮弹射击的落点与目标的偏差，就受着许多
随机因素的影响.
Slide 14
观察表明，如果一个量是由大量相互独立的随
机因素的影响所造成，而每一个别因素在总影响中
所起的作用不大.
则这种量一般都服从或近似服
从正态分布.
Slide 15
现在我们就来研究独立随机变量之和所特
有的规律性问题.
当 n 无限增大时，这个和的极限分布是什
么呢？
由于无穷个随机变
量之和可能趋于∞，故
我们不研究 n 个随机变
量之和本身而考虑它的
标准化的随机变量的分
布函数的极限.
n
n
k 1
k 1
X k E ( X k )
Zn
n
D(
Xk )
k 1
Slide 16
n
考虑
X
Zn
k 1
n
k
E ( X k )
k 1
n
的分布函数的极限.
D( X k )
k 1
可以证明，满足一定的条件，上述极限分布
是标准正态分布. 这就是下面要介 绍的
中心极限定理
在概率论中，习惯于把和的分布收敛于正
态分布这一类定理都叫做中心极限定理.
我们只讨论几种简单情形.
Slide 17
定理4 （独立同分布的中心极限定理）
设随机变量序列 X 1 , X 2 , , X n , 相互
独立，服从同一分布，且有期望和方差：
E ( X k ) , D( X k ) 0 ,
k 1,2,
n
2
X
Zn
k 1
n
k
E ( X k )
k 1
n
D( X k )
则对于任意实数 x ,
k 1
n
X k n
lim F ( x ) lim P k 1
x
n
n
n
n
2 2
11
t t
xx
e 2 2dt
e
22
dt
Slide 18
n
X k n
k 1
x
lim Fn ( x ) lim P
n
n
n
1
2
x
e
t
2
2
dt
它表明，当n充分大时，n个具有期望和方
差的独立同分布的随机变量之和近似服从分布.
虽然在一般情况下，我们很难求出
X1+X2+ …+Xn 的分布的确切形式，但当n很大时，
可以求出近似分布.
Slide 19
定理5 德莫佛 — 拉普拉斯中心极限定理
设 Y n ~ B( n , p) , 0 < p < 1, n = 1,2,…
则对任一区间 x，有
Yn np
lim P
x
n
np(1 p )
1
2
x
e
t
2
2
dt
t
即对任意的 a < b,
lim P a
n
b
np(1 p )
Yn np
1
2
b
ae
2
2
dt
定理表明，当n很大，0
布近似服从正态分布 N(np, np(1-p)).
Slide 20
Yn np
Yn～ N(np, np(1-p))
np(1 p)
～N(0,1)
t
x
1
Yn np
2
lim P
x
e
dt
n
2
np(1 p )
2
t
b
Yn np
1
2
lim P a
b
e
dt
a
n
np(1 p )
2
2
(b) (a )
该定理常用的两个公式为：
(1) P { Yn } (
np
) (
npq
Yn
( 2) P
p 2(
n
np
npq
n
pq
)1
)
Slide 21
中心极限定理的意义
在实际问题中，若某随机变量可以看作是有
相互独立的大量随机变量综合作用的结果，每一
个因素在总的影响中的作用都很微小，则综合作
用的结果服从正态分布.
Slide 22
例1 根据以往经验，某种电器元件的寿命服从均
值为100小时的指数分布. 现随机地取16只，设它
们的寿命是相互独立的. 求这16只元件的寿命的
总和大于1920小时的概率.
解: 设第i只元件的寿命为 Xi , i=1,2, …,16
由题给条件知，诸 Xi 独立，
E(Xi)=100, D(Xi)=10000
16
16只元件的寿命的总和为 Y X k
k 1
依题意，所求为P(Y>1920)
Slide 23
由于E(Y)=1600,
由中心极限定理,
D(Y)=160000
Y 1600
近似服从N(0,1)
400
1920 1600
P(Y>1920)=1-P(Y1920) 1- (
)
400
=1-(0.8) =1-0.7881=0.2119
Slide 24
例2 设有一大批种子，其中良种占1/6. 试估计
在任选的6000粒种子中，良种所占比例与
1/6比较上下不超过1%的概率.
解 设 X 表示6000粒种子中的良种数 , 则
X ~ B(6000,1/6)
E ( X ) 1000, D( X )
1
X
P
0.01 P{ X 1000 60}
6000 6
1060 1000
940 1000
5000 6
5000 6
2
1 0.9624
5000 6
60
5000
6
60
5000 6
5000 6
60
第五章
大数定律和中心极限定理
Slide 2
概率论与数理统计是研究随机现象统计
规律性的学科. 随机现象的规律性只有在相
同的条件下进行大量重复试验时才会呈现出
来. 也就是说，要从随机现象中去寻求必然
的法则，应该研究大量随机现象.
大数定律 与 中心极限定理
Slide 3
一、切比雪夫不等式
设有随机变量X ，
则对于任意实数 > 0,有
E ( X ) , D( X )
P{| X | }
或
2
2
P{| X | } 1
2
2
证：仅证连续型随机变量情形
P {| X | }
x
x
1
2
( x ) f ( x )dx
2
x
f ( x )dx
1
2
(x )
2
2
2
f ( x )dx
2
( x ) f ( x )dx
2
2
Slide 4
P{| X | }
2
2
或 P{| X | } 1
2
2
不等式给出了随机变量X 的分布未知的情况下，
利用E(X) 、 D(X)，对 X 的概率分布进行估计的一
种方法。他具体地估算了随机变量X 取值时以E(X)
为中心的分散程度。
例如，不论随机变量X 是何分布，对任一 k>0
1
都有
P {| X | k } 1
2
k
P{| X | 3 } 0.8889
若 k=3 时，
2
X
~
N
(
,
) ，则
但若知
P{| X | 3 } 2( 3) 1 0.9973
因此，不等式估计是粗糙的。
Slide 5
P{| X | }
2
2
或 P{| X | } 1
2
2
又如，一射手命中率为 1/2 ，试问射击 900 次后，
命中的次数介于400至500次之间的概率是多少？
解 此试验是属于贝努里概型，故命中次数：
X X 1 X 2 X 900
服从二项分布， X ~ B (900,1/2 )
499
P {400 X 500}
k
k
C 900 0.5 0.5
900 k
k 401
E ( X ) np 450, D( X ) np(1 p) 225
P 400 X 500 P{ X 450 50 }
1
2
2
1
225
50
2
0.91
Slide 6
二、大数定律
1 贝努里（Bernoulli） 大数定律：
定理1 设 nA 是 n 次独立重复试验中事件 A 发生的
次数, p 是每次试验中 A 发生的概率，则
0 有
nA
lim P
p 0
n
n
或
nA
lim P
p 1
n
n
Slide 7
证
引入随机变量序列{Xk}
1,
Xk
0,
设
第k次试验A发生
第k次试验A 发生
P{ X k 1} p,
则
E ( X k ) p, D( X k ) pq
n
X 1 , X 2 ,, X n
相互独立，
nA
Xk
k 1
E(
nA
n
) p , D(
nA
n
)
1
n
2
D( n A )
1
n
2
npq
由切比雪夫不等式 P{| X | }
或 P{| X | } 1
2
2
pq
n
2
2
Slide 8
P{| X | }
2
2
或 P{| X | } 1
nA
0 P
p 1 pq
2
n
n
故
2
2
nA
lim P
p 0
n
n
贝努里（Bernoulli） 大数定律的意义：
在概率的统计定义中，事件 A 发生的频率
“ 稳定于”事件 A 在一次试验中发生的概率是指：
频率
nA
n
与 p 有较大偏差 n A
p
n
是
小概率事件, 因而在 n 足够大时, 可以用频率
近似代替 p . 这种稳定称为依概率稳定.
Slide 9
P{| X | }
2
2
2
或 P{| X | } 1 2
2 切比雪夫大数定律
定理2 设 X 1 , X 2 ,, X n ,是相互独立的随机变量，
且分别有数学期望
E( X k )
若存在常数C , 使
和方差
D( X k ) C
D( X k ) ，k 1,2,
，则 0 有
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
证：因为 X 1 , X 2 , , X n 相互独立，故
E(
1
n
n k 1
Xk )
1
n
n k 1
E ( X k ) D(
1
n
1
n
Xk )
D( X k )
2
n
n
k 1
k 1
C
n
1 n
1 n
C n
C
limP X k E ( X k ) lim(1 2 ) lim(1
)
2 1
n
n
n
n k 1
n
n k 1
Slide 10
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
推论 设随机变量 X 1 , X 2 , , X n , 相互独立，
2
且具有相同的数学期望 和方差
则
0
有
n
1
lim P
Xk 1
n
n k 1
定理的意义：
具有相同数学期望和方差的独立随机变量序
列的算术平均值依概率收敛于数学期望.
当 n 足够大时，算术平均值几乎就是一个常
数,可以用算术平均值近似地代替数学期望.
Slide 11
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
辛钦大数定律：
定理3 设
X 1 , X 2 , , X n , 相互独立，服从同一
分布，且具有数学期望 E(X k) = , k= 1,2,…,
则对任意正数 > 0
1 n
lim P X k 1
n
n k 1
Slide 12
P{| X | }
2
2
或 P{| X | } 1
2
2
1 贝努里（Bernoulli） 大数定律： 定理1
nA
nA
p 1
lim P
p 0 或 lim P
n
n
n
n
2 切比雪夫大数定律
定理2
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
n
1
P
Xk 1
推论 nlim
n k 1
3 辛钦大数定律： 定理3
1 n
lim P X k 1
n
n k 1
Slide 13
三、 中心极限定理
中心极限定理的客观背景
在实际问题中，常常需要考虑许多随机因素所
产生总影响.
例如：炮弹射击的落点与目标的偏差，就受着许多
随机因素的影响.
Slide 14
观察表明，如果一个量是由大量相互独立的随
机因素的影响所造成，而每一个别因素在总影响中
所起的作用不大.
则这种量一般都服从或近似服
从正态分布.
Slide 15
现在我们就来研究独立随机变量之和所特
有的规律性问题.
当 n 无限增大时，这个和的极限分布是什
么呢？
由于无穷个随机变
量之和可能趋于∞，故
我们不研究 n 个随机变
量之和本身而考虑它的
标准化的随机变量的分
布函数的极限.
n
n
k 1
k 1
X k E ( X k )
Zn
n
D(
Xk )
k 1
Slide 16
n
考虑
X
Zn
k 1
n
k
E ( X k )
k 1
n
的分布函数的极限.
D( X k )
k 1
可以证明，满足一定的条件，上述极限分布
是标准正态分布. 这就是下面要介 绍的
中心极限定理
在概率论中，习惯于把和的分布收敛于正
态分布这一类定理都叫做中心极限定理.
我们只讨论几种简单情形.
Slide 17
定理4 （独立同分布的中心极限定理）
设随机变量序列 X 1 , X 2 , , X n , 相互
独立，服从同一分布，且有期望和方差：
E ( X k ) , D( X k ) 0 ,
k 1,2,
n
2
X
Zn
k 1
n
k
E ( X k )
k 1
n
D( X k )
则对于任意实数 x ,
k 1
n
X k n
lim F ( x ) lim P k 1
x
n
n
n
n
2 2
11
t t
xx
e 2 2dt
e
22
dt
Slide 18
n
X k n
k 1
x
lim Fn ( x ) lim P
n
n
n
1
2
x
e
t
2
2
dt
它表明，当n充分大时，n个具有期望和方
差的独立同分布的随机变量之和近似服从分布.
虽然在一般情况下，我们很难求出
X1+X2+ …+Xn 的分布的确切形式，但当n很大时，
可以求出近似分布.
Slide 19
定理5 德莫佛 — 拉普拉斯中心极限定理
设 Y n ~ B( n , p) , 0 < p < 1, n = 1,2,…
则对任一区间 x，有
Yn np
lim P
x
n
np(1 p )
1
2
x
e
t
2
2
dt
t
即对任意的 a < b,
lim P a
n
b
np(1 p )
Yn np
1
2
b
ae
2
2
dt
定理表明，当n很大，0
布近似服从正态分布 N(np, np(1-p)).
Slide 20
Yn np
Yn～ N(np, np(1-p))
np(1 p)
～N(0,1)
t
x
1
Yn np
2
lim P
x
e
dt
n
2
np(1 p )
2
t
b
Yn np
1
2
lim P a
b
e
dt
a
n
np(1 p )
2
2
(b) (a )
该定理常用的两个公式为：
(1) P { Yn } (
np
) (
npq
Yn
( 2) P
p 2(
n
np
npq
n
pq
)1
)
Slide 21
中心极限定理的意义
在实际问题中，若某随机变量可以看作是有
相互独立的大量随机变量综合作用的结果，每一
个因素在总的影响中的作用都很微小，则综合作
用的结果服从正态分布.
Slide 22
例1 根据以往经验，某种电器元件的寿命服从均
值为100小时的指数分布. 现随机地取16只，设它
们的寿命是相互独立的. 求这16只元件的寿命的
总和大于1920小时的概率.
解: 设第i只元件的寿命为 Xi , i=1,2, …,16
由题给条件知，诸 Xi 独立，
E(Xi)=100, D(Xi)=10000
16
16只元件的寿命的总和为 Y X k
k 1
依题意，所求为P(Y>1920)
Slide 23
由于E(Y)=1600,
由中心极限定理,
D(Y)=160000
Y 1600
近似服从N(0,1)
400
1920 1600
P(Y>1920)=1-P(Y1920) 1- (
)
400
=1-(0.8) =1-0.7881=0.2119
Slide 24
例2 设有一大批种子，其中良种占1/6. 试估计
在任选的6000粒种子中，良种所占比例与
1/6比较上下不超过1%的概率.
解 设 X 表示6000粒种子中的良种数 , 则
X ~ B(6000,1/6)
E ( X ) 1000, D( X )
1
X
P
0.01 P{ X 1000 60}
6000 6
1060 1000
940 1000
5000 6
5000 6
2
1 0.9624
5000 6
60
5000
6
60
5000 6
5000 6
60