第五章 大数定律和中心极限定理 概率论与数理统计是研究随机现象统计 规律性的学科. 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 来. 也就是说,要从随机现象中去寻求必然 的法则,应该研究大量随机现象. 大数定律 与 中心极限定理 一、切比雪夫不等式 设有随机变量X , 则对于任意实数 > 0,有 E ( X ) , D( X )
Download ReportTranscript 第五章 大数定律和中心极限定理 概率论与数理统计是研究随机现象统计 规律性的学科. 随机现象的规律性只有在相 同的条件下进行大量重复试验时才会呈现出 来. 也就是说,要从随机现象中去寻求必然 的法则,应该研究大量随机现象. 大数定律 与 中心极限定理 一、切比雪夫不等式 设有随机变量X , 则对于任意实数 > 0,有 E ( X ) , D( X )
第五章
大数定律和中心极限定理
Slide 2
概率论与数理统计是研究随机现象统计
规律性的学科. 随机现象的规律性只有在相
同的条件下进行大量重复试验时才会呈现出
来. 也就是说,要从随机现象中去寻求必然
的法则,应该研究大量随机现象.
大数定律 与 中心极限定理
Slide 3
一、切比雪夫不等式
设有随机变量X ,
则对于任意实数 > 0,有
E ( X ) , D( X )
P{| X | }
或
2
2
P{| X | } 1
2
2
证:仅证连续型随机变量情形
P {| X | }
x
x
1
2
( x ) f ( x )dx
2
x
f ( x )dx
1
2
(x )
2
2
2
f ( x )dx
2
( x ) f ( x )dx
2
2
Slide 4
P{| X | }
2
2
或 P{| X | } 1
2
2
不等式给出了随机变量X 的分布未知的情况下,
利用E(X) 、 D(X),对 X 的概率分布进行估计的一
种方法。他具体地估算了随机变量X 取值时以E(X)
为中心的分散程度。
例如,不论随机变量X 是何分布,对任一 k>0
1
都有
P {| X | k } 1
2
k
P{| X | 3 } 0.8889
若 k=3 时,
2
X
~
N
(
,
) ,则
但若知
P{| X | 3 } 2( 3) 1 0.9973
因此,不等式估计是粗糙的。
Slide 5
P{| X | }
2
2
或 P{| X | } 1
2
2
又如,一射手命中率为 1/2 ,试问射击 900 次后,
命中的次数介于400至500次之间的概率是多少?
解 此试验是属于贝努里概型,故命中次数:
X X 1 X 2 X 900
服从二项分布, X ~ B (900,1/2 )
499
P {400 X 500}
k
k
C 900 0.5 0.5
900 k
k 401
E ( X ) np 450, D( X ) np(1 p) 225
P 400 X 500 P{ X 450 50 }
1
2
2
1
225
50
2
0.91
Slide 6
二、大数定律
1 贝努里(Bernoulli) 大数定律:
定理1 设 nA 是 n 次独立重复试验中事件 A 发生的
次数, p 是每次试验中 A 发生的概率,则
0 有
nA
lim P
p 0
n
n
或
nA
lim P
p 1
n
n
Slide 7
证
引入随机变量序列{Xk}
1,
Xk
0,
设
第k次试验A发生
第k次试验A 发生
P{ X k 1} p,
则
E ( X k ) p, D( X k ) pq
n
X 1 , X 2 ,, X n
相互独立,
nA
Xk
k 1
E(
nA
n
) p , D(
nA
n
)
1
n
2
D( n A )
1
n
2
npq
由切比雪夫不等式 P{| X | }
或 P{| X | } 1
2
2
pq
n
2
2
Slide 8
P{| X | }
2
2
或 P{| X | } 1
nA
0 P
p 1 pq
2
n
n
故
2
2
nA
lim P
p 0
n
n
贝努里(Bernoulli) 大数定律的意义:
在概率的统计定义中,事件 A 发生的频率
“ 稳定于”事件 A 在一次试验中发生的概率是指:
频率
nA
n
与 p 有较大偏差 n A
p
n
是
小概率事件, 因而在 n 足够大时, 可以用频率
近似代替 p . 这种稳定称为依概率稳定.
Slide 9
P{| X | }
2
2
2
或 P{| X | } 1 2
2 切比雪夫大数定律
定理2 设 X 1 , X 2 ,, X n ,是相互独立的随机变量,
且分别有数学期望
E( X k )
若存在常数C , 使
和方差
D( X k ) C
D( X k ) ,k 1,2,
,则 0 有
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
证:因为 X 1 , X 2 , , X n 相互独立,故
E(
1
n
n k 1
Xk )
1
n
n k 1
E ( X k ) D(
1
n
1
n
Xk )
D( X k )
2
n
n
k 1
k 1
C
n
1 n
1 n
C n
C
limP X k E ( X k ) lim(1 2 ) lim(1
)
2 1
n
n
n
n k 1
n
n k 1
Slide 10
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
推论 设随机变量 X 1 , X 2 , , X n , 相互独立,
2
且具有相同的数学期望 和方差
则
0
有
n
1
lim P
Xk 1
n
n k 1
定理的意义:
具有相同数学期望和方差的独立随机变量序
列的算术平均值依概率收敛于数学期望.
当 n 足够大时,算术平均值几乎就是一个常
数,可以用算术平均值近似地代替数学期望.
Slide 11
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
辛钦大数定律:
定理3 设
X 1 , X 2 , , X n , 相互独立,服从同一
分布,且具有数学期望 E(X k) = , k= 1,2,…,
则对任意正数 > 0
1 n
lim P X k 1
n
n k 1
Slide 12
P{| X | }
2
2
或 P{| X | } 1
2
2
1 贝努里(Bernoulli) 大数定律: 定理1
nA
nA
p 1
lim P
p 0 或 lim P
n
n
n
n
2 切比雪夫大数定律
定理2
n
n
1
1
lim P
Xk
E( X k ) 1
n
n k 1
n k 1
n
1
P
Xk 1
推论 nlim
n k 1
3 辛钦大数定律: 定理3
1 n
lim P X k 1
n
n k 1
Slide 13
三、 中心极限定理
中心极限定理的客观背景
在实际问题中,常常需要考虑许多随机因素所
产生总影响.
例如:炮弹射击的落点与目标的偏差,就受着许多
随机因素的影响.
Slide 14
观察表明,如果一个量是由大量相互独立的随
机因素的影响所造成,而每一个别因素在总影响中
所起的作用不大.
则这种量一般都服从或近似服
从正态分布.
Slide 15
现在我们就来研究独立随机变量之和所特
有的规律性问题.
当 n 无限增大时,这个和的极限分布是什
么呢?
由于无穷个随机变
量之和可能趋于∞,故
我们不研究 n 个随机变
量之和本身而考虑它的
标准化的随机变量的分
布函数的极限.
n
n
k 1
k 1
X k E ( X k )
Zn
n
D(
Xk )
k 1
Slide 16
n
考虑
X
Zn
k 1
n
k
E ( X k )
k 1
n
的分布函数的极限.
D( X k )
k 1
可以证明,满足一定的条件,上述极限分布
是标准正态分布. 这就是下面要介 绍的
中心极限定理
在概率论中,习惯于把和的分布收敛于正
态分布这一类定理都叫做中心极限定理.
我们只讨论几种简单情形.
Slide 17
定理4 (独立同分布的中心极限定理)
设随机变量序列 X 1 , X 2 , , X n , 相互
独立,服从同一分布,且有期望和方差:
E ( X k ) , D( X k ) 0 ,
k 1,2,
n
2
X
Zn
k 1
n
k
E ( X k )
k 1
n
D( X k )
则对于任意实数 x ,
k 1
n
X k n
lim F ( x ) lim P k 1
x
n
n
n
n
2 2
11
t t
xx
e 2 2dt
e
22
dt
Slide 18
n
X k n
k 1
x
lim Fn ( x ) lim P
n
n
n
1
2
x
e
t
2
2
dt
它表明,当n充分大时,n个具有期望和方
差的独立同分布的随机变量之和近似服从分布.
虽然在一般情况下,我们很难求出
X1+X2+ …+Xn 的分布的确切形式,但当n很大时,
可以求出近似分布.
Slide 19
定理5 德莫佛 — 拉普拉斯中心极限定理
设 Y n ~ B( n , p) , 0 < p < 1, n = 1,2,…
则对任一区间 x,有
Yn np
lim P
x
n
np(1 p )
1
2
x
e
t
2
2
dt
t
即对任意的 a < b,
lim P a
n
b
np(1 p )
Yn np
1
2
b
ae
2
2
dt
定理表明,当n很大,0
或者说,np(1-p)也不太小时),二项变量 Yn 的分
布近似服从正态分布 N(np, np(1-p)).
Slide 20
Yn np
Yn~ N(np, np(1-p))
np(1 p)
~N(0,1)
t
x
1
Yn np
2
lim P
x
e
dt
n
2
np(1 p )
2
t
b
Yn np
1
2
lim P a
b
e
dt
a
n
np(1 p )
2
2
(b) (a )
该定理常用的两个公式为:
(1) P { Yn } (
np
) (
npq
Yn
( 2) P
p 2(
n
np
npq
n
pq
)1
)
Slide 21
中心极限定理的意义
在实际问题中,若某随机变量可以看作是有
相互独立的大量随机变量综合作用的结果,每一
个因素在总的影响中的作用都很微小,则综合作
用的结果服从正态分布.
Slide 22
例1 根据以往经验,某种电器元件的寿命服从均
值为100小时的指数分布. 现随机地取16只,设它
们的寿命是相互独立的. 求这16只元件的寿命的
总和大于1920小时的概率.
解: 设第i只元件的寿命为 Xi , i=1,2, …,16
由题给条件知,诸 Xi 独立,
E(Xi)=100, D(Xi)=10000
16
16只元件的寿命的总和为 Y X k
k 1
依题意,所求为P(Y>1920)
Slide 23
由于E(Y)=1600,
由中心极限定理,
D(Y)=160000
Y 1600
近似服从N(0,1)
400
1920 1600
P(Y>1920)=1-P(Y1920) 1- (
)
400
=1-(0.8) =1-0.7881=0.2119
Slide 24
例2 设有一大批种子,其中良种占1/6. 试估计
在任选的6000粒种子中,良种所占比例与
1/6比较上下不超过1%的概率.
解 设 X 表示6000粒种子中的良种数 , 则
X ~ B(6000,1/6)
E ( X ) 1000, D( X )
1
X
P
0.01 P{ X 1000 60}
6000 6
1060 1000
940 1000
5000 6
5000 6
2
1 0.9624
5000 6
60
5000
6
60
5000 6
5000 6
60