Transcript 第三章统计推断（二）参数估计

3.3
参数的点估计
3.3
参数的点估计
一.参数估计的基本思想
数理统计的主要任务之一是依据样本推断总体。推
断的基本内容包括两个方面：一是依据样本寻找总体未
知参数的近似值和近似范围；二是依据样本对总体未知
参数的某种假设作出真伪判断。
本节先介绍求近似值和近似范围的方法.

用所获得的样本值去估计参数取值称为参数估计.
参数
估计
点估计
用某一数值作为参数的近似值
区间估计 在要求的精度范围内指出参数所
在的区间
定义 设总体X分布函数为F(x;θ1,θ2,…θm), θi为未知参数
(i=1,2,…,m),X1,X2,…,Xn为来自该总体的随机变量,若以
统计量ˆ =θi(x1, x2, …, xn)作为θi 的近似值,则称 ˆ i 为θi的估
i
计值(抽样后),也称 ˆ i 为θi的估计量(抽样前).
估计量：用于估计总体参数的统计量.
参数用 表示，估计量用 ˆ 表示.
估计值：估计参数时计算出来的统计量的具体值.
如果样本均值 X =80，则80就是 的估计值.
由于g(x1, x2,… ,xn) 是实数域上的一个点，现用它来估
计，故称这种估计为点估计。
点估计的经典方法是矩估计法与极大似然估计法。
评价估计量的标准
（1）无偏性

设  为总体未知参数  的估计量,若


E ( )  


则称  是 的无偏估计量，称  具有无偏性。否则，
是有偏估计量.
无偏性是对估计量的一个常见而重要的要求 .
1 n
X   X i 是μ的无偏估计量
n i 1
1
2
S2 
(
X

X
)
是σ2的无偏估计量

i
n 1
（2）有效性


若  1 与 2都是  的无偏估计量且
 
D  1 
  ＜1　或
 
D  2 



 
D1 ＜D  2

则称  1 较  2 为有效估计量。
具有最小方差
两个以上的
无偏估计量
最佳无偏估计量
二、参数的点估计
1.矩估计法
它是基于一种简单的“替换”思想建
立起来的一种古老的估计方法 .
它是英国统计学家K.皮尔逊最早提出的 .
其基本思想是用样本的指标替代总体的指标。
即：用样本矩估计总体矩 .
理论依据:
大数定律
设 X1, X2, …, Xn 来自总体X的样本,
总体k阶矩为
k  E ( X )
样本k阶矩为
1 n
Ak   X ik
n i 1
k
记总体k阶中心矩为
样本k阶中心矩为
 k  E[ X  E ( X )]
k
1 n
Bk   ( X i  X ) k
n i 1
用样本矩来估计总体矩,用样本矩的连续函数来估计
总体矩的连续函数,从而得出参数估计，这种估计法称为
矩估计法.
例1 设 总 体X 的 均 值 和 方 差 2 都 存 在, 且 有
 2  0, 但  和  2 均 为 未 知
, 又 设X1 , X 2 ,, X n 是 一
个 样 本, 求  和 2 的 矩 估 计 量
.
解
1  E ( X )   ,
2  E( X )  D( X )  [E( X )]     ,
2
2
   A1  X

令 2
1 n
2
2




A

(
X

X
)

2
i

n
i 1

解方程组得到矩估计量分别为
ˆ
n
1
2
ˆ 2  A2  A1   X i  X 2  1
n i 1
n
2
2
2
 A1  X ,
n
2
(
X

X
)
.
 i
i 1
上例表明:
总体均值与方差的矩估计量的表达式，不因不同的
总体分布而异.
例 X ~ N (, 2 ), , 2未 知, 即 得, 2的 矩 估 计 量
ˆ  X ,
1
 
n
2
n

( X i  X )2.
i 1
矩法的优点是简单易行.
缺点是，当总体类型已知时，没有充分利用分布提
供的信息 . 一般场合下,矩估计量不具有唯一性 .
2.最大似然估计法(MLE)
最大似然法是在总体类型已知条件下
使用的一种参数估计方法 .
它首先是由德国数学家高斯在1821
年提出的。然而，这个方法常归功于英
国统计学家费歇。
Gauss
费歇在1922年重新发现了这一方法，
并首先研究了这种方法的一些性质 .
Fisher
先看几个简单例子：
1.某位同学与一位猎人一
起外出打猎 .一只野兔从前方
窜过 .只听一声枪响，野兔应
声倒下 .
如果要你推测，是谁打中
的呢？你会如何想呢?
2.有两外形相同的箱子,各装100个球
第1个箱
99个白球
1 个红球
第2个箱
1 个白球
99个红球
现从两箱中任取一箱, 并从箱中任取一球,结果所取得
的球是白球.
问: 所取的球来自哪一箱？
3.当机器发生故障，有经验的修理工首先总从易损部
件薄弱环节查起，为什么呢？
4.公安人员在侦破凶杀案时，首先把与被害者密切来
往又有作案可能性的人列为重点嫌疑对象.
最大似然原理的直观思想是：在试验中概率最大的事
件最有可能出现。因此，一个试验如有若干个可能的结果
A,B,…,若在一次试验中结果A出现，一般认为A出现的概
率最大．
现在要根据从总体X中抽到的样本(X1,X2,...,Xn), 对总体
分布中的未知参数 进行估计. 最大似然法是要选取这样
的估计值, 当它作为 的估计值时, 使观察结果出现的可
能性最大.
对于离散型的随机变量就是估计概率函数中的参数,
对于连续型的随机变量就是估计概率密度中的.
设X为连续型随机变量, 它的分布函数是F(x;θ), 概率密
度是f(x; θ), 其中θ是未知参数, 可以是一个值, 也可以是
一个向量, 由于样本的独立性, 则样本(X1,X2,…,Xn)的联合
概率密度是
L( x1 , x 2 ,..., x n ; ) 
   xi ; 
n
i 1
对每一取定的样本值x1,x2,...,xn是常数, L是参数θ的函数,
称L为样本的似然函数.
设X为离散型随机变量, 有概率函数P(x=xi)=p(xi;θ),
则似然函数
n
L( x1 , x2 ,, xn ; )   p( xi ; )
i 1
ˆ处 达 到 最 大 值
定 义 如 果L( x1 , x2 ,, xn ; )在
,
ˆ 是的 最 大 似 然 估 .计
则 称
最大似然估计值的求解思路
ˆ 与样本有关, 是样本的函数ˆ  ˆ ( x1 , x 2 ,, x n ),
由于ln L与L同时达到最大值, 则为了方便只求ln L的
最大值 . 如果是一个向量,即  (1 ,  2 ,,  m ) , 则要
解如下方程组:
  ln L
   0
 1


  ln L  0
 
 m
（1）求似然函数
L 
（2）一般地，求出 ln L  及似然方程
 ln L 
0
 i
 ˆ
i  1,2,...,m
（3）解似然方程得到最大似然估计值
ˆi  ˆi x1, x2 ,..., xn 
i  1,2,...,m
（4）最后得到最大似然估计量
ˆi  ˆi  X 1 , X 2 ,..., X n 
i  1,2,...,m
例2 设 X ~ B(1, p), X 1 , X 2 ,, X n 是来自X 的一
个样本, 求 p的最大似然估计量.
解 设 x1 , x2 ,, xn为相应于样本X 1 , X 2 ,, X n 的
一个样本值,
X的分布律为 P{ X  x}  p x (1  p)1 x , x  0,1
n
似然函数
L( p )   p xi (1  p )1 xi
i 1
n
 xi
 p i 1 (1  p )
n
n
 xi
i 1
,
n
n



ln L( p)    xi  ln p   n   xi  ln(1  p),
i 1
 i 1 


n
n
 xi n   xi
d
i 1
令
ln L( p)  i 1 
 0,
dp
p
1 p
解得 p 的最大似然估计值
1 n
pˆ   xi  x .
n i 1
p 的最大似然估计量为
1 n
pˆ   X i  X .
n i 1
例 3 设总体 X 服从指数分布, 其概率密度函数
ex , x  0
f ( x,  )  
x0
0,
其中   0 , 是未知参数. x1 , x 2 , , x n 是来自总体 X
的样本观察值, 求参数  的最大似然估计值.
解
似然函数为
n
L( x1 ,..., xn ;  )   e
i 1
  xi
 e
n

n
 xi
i 1
, ( xi  0)
n
L ( x1 ,..., xn ;  )   e
  xi
 e

n
n
 xi
i 1
i 1
, ( xi  0)
n
ln L( )  n ln     xi
i 1
令
d
n
ln L( )  
d

得λ的最大似然估计值为
n
 xi  0,
i 1
ˆ 
n
n
 xi
i 1
故λ的最大似然估计量为
ˆ 
1
.
X
1
 ,
x
三、参数的区间估计
用点估计来估计总体参数, 即使是无偏的且有效的估
计量, 也会由于样本的随机性, 从一个样本算得估计量的
值不一定恰是所要估计的参数真值. 而且, 即使真正相等,
由于参数值本身是未知的, 也无从肯定这种相等. 到底二
者相差多少呢?
这个问题换一种提法就是, 根据估计量的分布, 在一
定的可靠程度下, 指出被估计的总体参数所在的可能数值
范围. 这就是参数的区间估计问题.
区间估计的具体做法是, 找两个统计量:
ˆ ( X ,, X )与ˆ ( X ,, X ), 使
1
1
n
2
1
2
P (ˆ1    ˆ2 )  1  
区间(ˆ1 ,ˆ2 )称为置信区间,ˆ2 和ˆ1分别称为置信区间
的上, 下限,1  为置信系数, 称作检验水平, 通常
  5%或1%.
置信区间
置信下限
参数真实值
置信上限
对置信区间的理解
由样本统计量所构造的总体参数的估计区间称为置信
区间.
统计学家在某种程度上确信这个区间会包含真正的总
体参数,所以给它取名为置信区间.
用一个具体的样本所构造的区间是一个特定的区间，
我们无法知道这个样本所产生的区间是否包含总体参数的
真值.
我们只能是希望这个区间是大量包含总体参数真值的
区间中的一个，但它也可能是少数几个不包含参数真值的
区间中的一个.
例如
若   0.1, 反复抽样 10 次,
则得到的 10个区间中不包含  真值的约为1个.
置信区间的要求
1.要求θ以很大的可能被包含在置信区间内，即概率
P{     }
要尽可能大.即要求估计尽量可靠.
2.估计的精度要尽可能的高.如要求区间长度尽可能短.
可靠度与精度是一对矛盾，一般是在保证可靠度的条件
下尽可能提高精度.
样 本 容 量
n固 定, 置 信 度1  增 大, 置 信 区 间 长 度 增,大
可信程度增大
,区 间 估 计 精 度 降.低
置信度1  固定, 样本容量n增大, 置信区间长度
减小, 可信程度不变,区间估计精度提高.
求置信区间的一般步骤(共3步)
(1) 寻求一个样本 X 1 , X 2 ,, X n 的函数 :
Z  Z ( X 1 , X 2 ,, X n ; )
其中仅包含待估参数 , 并且Z的分布已知
且不依赖于任何未知参数(包括 ).
( 2) 对于给定的置信度1   , 决定出两个常数a , b,
使P{a  Z ( X 1 , X 2 ,, X n ; )  b}  1   .
( 3) 若能从 a  Z ( X 1 , X 2 ,, X n ; )  b 得到等价的
不等式 ˆ    ˆ , 其中ˆ  ˆ ( X , X ,, X ),
1
2
1
1
1
2
n
ˆ2  ˆ2 ( X 1 , X 2 ,, X n )都是统计量, 那么[ˆ1 , ˆ2 ]
就是的一个置信度为1   的置信区间.
单正态总体参数的区间估计
1.若 参 数2已 知 ， 对 均 值
的 区 间 估 计
2

设样本( X 1 , , X n )来自正态总体N (  ,  2 ), 则X ~ N (  ,
).
n
X 
对参数的区间估计采用统计量 U 
~ N (0,1)
/ n
查标准正态分布表可求得u，使得P (| U | u )  1    2 (u )  1,
(u )  1 

2
。
u 
u 
X
P (u 
 u )  1   ,即P ( X 
X 
) 1
/ n
n
n


因 此,  的 置 信 度 为
1  的 置 信 区 间 是
( X  u
, X  u
).
n
其 中u由 公 式(u )  1   / 2, 查 表 获 得 。
n
例如, 当α=0.05时, uα=1.96, 有
x
1.96
  x
1.96
n
n
当  0.01时, u  2.58, 有
x
2.58
n
  x
2.58
n
查表示意图
/2
1/2
0
u
x
例4 某灯泡厂某天生产了一大批灯泡,假设灯泡的寿
命X服从正态分布,X~N(,8), 从中抽取了10个进行寿命试
验, 得数据如下(单位:小时):
1050, 1100, 1080, 1120, 1200, 1250, 1040, 1130, 1300, 1200,
试找出平均寿命区间(=0.05).
2
解 因为a=0.05, 所以ua=1.96,而n=10,   8, σ=2.8284。
算 出x  1147, 则
P (1147 
[1147 
x
2.8284  1.96
10
2.8284  1.96
10
1.96
n
x
   1147 
,1147 
1.96
，即
n
2.8284  1.96
2.8284  1.96
10
10
)  0.95
]  [1145.25, 1148.75].
所 以 ，的 置 信 度 为
95%的 置 信 区 间 为
(1145.25, 1148.75).
例5 已知某炼铁厂的铁水含碳量在正常生产情况下
服从正态分布, 其方差σ2=0.1082. 现在测定了9炉铁水, 其
平均含碳量为4.484. 按此资料计算该厂铁水平均含碳量
的置信区间, 并要求有95%的可靠性.
解 设该厂铁水平均含碳量为m, 已知a=5%, 所以
ua=1.96, μ的置信系数为95%的置信区间是
4.484 
0.108
 1.96    4.484 
9
即 4.413    4.555
0.108
9
 1.96
求正态总体参数置信区间的解题步骤：
(1)根据实际问题构造样本的函数，要求仅含待估参
数且分布已知；
(2)令该函数落在由分位点确定的区间里的概率为给
定的置信度1，要求区间按几何对称或概率对称；
(3)解不等式得随机的置信区间；
(4)由观测值及值查表计算得所求置信区间。
2.若 参 数2未 知 ， 对 均 值
的 区 间 估 计
选用统计量
T
令
即得
X 
s/ n
~ t (n  1)
1-
P{ T  t  / 2 (n  1)}  1   ，  t 2 (n  1) 0
P{ X  t  / 2 (n  1)
查t分布表 t (n  1,  )
的1置信区间为
s
n
   X  t  / 2 (n  1)
s
n
t (n  1)
2
}1 
X为 样 本 均 值 ，
S为 标 准 方 差 。
[X 
S
n
t (n  1,  ), X 
S
n
t (n  1,  )]
注：这里由于
未 知 ， 用
S代 替（ 因 为S 2 是 2的 无 偏 估 计 ） 。
例6 设 总 体X 服 从 正 态 分 布
N ( ,  2 ), ( x1 ,, x 25 ) 是 来
自 总 体X 的 容 量 为25 的 样 本 观 察 值 ， 算 得本
样均 值 的 观 察
2
值x  5.12， 样 本 方 差 的 观 察s值
 23.476, 求 的 置 信 度 为
95%的 置 信 区 间
.
解 此 题 为 未 知 方 差 对 均的
值区 间 估 计 。
n  25 , α  0.05 , x  5.12 , s 2  23.476,
查t分 布 表 ，
t 0.025 (24)  2.064,  的95%的 置 信 区 间 为
[x 
s
n
 [5.12 
t (n  1,  ),
23.476
25
x
s
n
t (n  1,  )]
 2.064, 5.12 
23.476
25
 2.064]
4.845
23.476
 2.064, 5.12 
 2.064]
5
25
 [5.12  2,5.12  2]  [3.12 , 7.12]
 [5.12 