Transcript 多元回归分析：推断

多元回归分析：推断
y = b0 + b1x1 + b2x2 + . . . bkxk + u
计量经济学导论 刘愿
1
关于假设检验

考虑一个选举问题：假定在一次选举中有两个
候选人A和B。据报道，候选人A已得到42%的
选票，候选人B得到58%的选票。姑且把这个
百分比看成选民总体的真正百分比。候选人A
深信更多的民众会投他的票，因此想调查选举
是否有作弊情况，并雇用一个咨询机构随机抽
取100名选举人的样本，所收集的样本中有53
人投了候选人A的票。这一样本估计值53%明
显超过所报告的总体值42%，候选人A应否据
此作出结论说选举存在作弊？
计量经济学导论 刘愿
2

设立一个假设检验（hypothesis test），令Θ
代表赞成候选人A的总体真实比例，令所报告
的结果为真实的假设，陈述为：
H0: Θ=0.42 虚拟假设（null hypothesis）
H1: Θ>0.42 对立假设（alternative hypothesis)
在上例中，100个随机样本中究竟有多少人投
候选人A的票才能够足以使A能否作出H0错误
而H1正确的结论？（合理的勿容置疑的证据）
计量经济学导论 刘愿
3

假设检验中会犯的两种错误：
第Ⅰ类错误：拒绝一个其实是真实的虚拟假设
第Ⅱ类错误：未拒绝一个实际上是错误的虚拟
假设
检验的显著性水平：犯第Ⅰ类错误的概率
  P  拒绝H0 |H0 
其含义为：当H0为真实时拒绝H0的概率
计量经济学导论 刘愿
4


经典的假设检验要求设定a值，从而量化我们
对第Ⅰ类错误的容忍度。通常a值有0.10，
0.05，0.01。
一旦选定显著水平，检验的目标是把第Ⅱ类错
误的概率减到最小。即对所有有意义的对立情
况使一个检验的功效最大。一个检验的功效是
1减去第Ⅱ类错误的概率。数学上表示为：
    P  拒绝H0 |  =1-P 第II类错误| 
计量经济学导论 刘愿
5
检验关于正态总体均值的假设



为了相对于一个对立假设而检验一个虚拟假设，
需要挑选一个检验统计量和一个临界值。
给定一个统计量，即可定义一个拒绝规则来决
定什么时候舍弃H0而选取H1.所有拒绝规则都
是拿一个检验统计量的值t来同一个临界值c做
比较作为依据的。
拒绝域：所有导致拒绝虚拟假设的t值的全体。
计量经济学导论 刘愿
6

检验来自一个 Normal  ， 2  总体的关于均值 的假设。
H0：  0
虚拟假设
H1：  0
H1：  0
单侧对立假设
H1：  0
双侧对立假设
计量经济学导论 刘愿
7
H1：  0


0
当样本均值 y “足够”地大于
时，我们便
应拒绝H0而接受H1。如何确定
已大到足以
y
在选定的显著水平上拒绝H0？
检验统计量t：在虚拟假设下，随机变量t有一
个tn-1分布。
t  n  y  0  s   y  0  se  y 

临界值c：5%的显著水平
P  t>c|H0  =0.05
计量经济学导论 刘愿
8
拒绝规则： t>c
（c为tn-1分布中的第100(1-a)百分位数）

计量经济学导论 刘愿
9
双尾检验（two tailed test)

拒绝规则： | t |>c 给出100a%显著水平的检验
（c为tn-1分布中的第100(1-a/2)百分位数）
计量经济学导论 刘愿
10
经典线性模型假定



给定高斯-马尔科夫假定，OLS是最优线性无
偏估计。
为了做经典的假设检验，我们需要添加额外一
个假定，即MLR.6:u 独立于x1, x2,…, xk ，且u
服从标准正态分布，即u ~ Normal(0,2)
MLR.1-MLR.6: 经典线性模型假设（CLM）
计量经济学导论 刘愿
11
经典线性回归假设（续）




在经典线性回归假设下，OLS 不仅是最优线性无偏的，
而且是方差最小的无偏估计。
经典线性回归总体假设：
y|x ~ Normal(b0 + b1x1 +…+ bkxk, 2)
虽然我们假设u服从正态分布，但有时候并非如此：
u中的众多因素可能各有极为不同的总体分布；
u是不可观测因素的一个复杂函数，而非线性可加；
假定u的正态性，实际上是一个经验性问题。
大样本能够让u近似的满足正态性。
计量经济学导论 刘愿
12
简单回归的同方差正态分布
y
f(y|x)
. E(y|x) = b + b x
0
.
1
Normal
distributions
x1
x2
计量经济学导论 刘愿
13
定理4.1 正态抽样分布
在经典线性回归假设下，以自变量样本值为条件，有：
bˆ j ~ Normal  b j , Var bˆ j  , 则


bˆ j  b j sd bˆ j ~ Normal  0,1
bˆ 服从标准正态分布，因为它是误差的线性组合：


 
 
j
n
 ˆ

ˆ
 b j  b j   wij u j  rij SSR j 
i 1


计量经济学导论 刘愿
14

定理4.1推广：
1. bˆ0 , bˆ1 , , bˆk的任何线性组合也都是正态分布的；
2. bˆ j的任何一个子集也都有一个联合正态分布。
计量经济学导论 刘愿
15
4.2 t检验
定理4.1 (标准化参数估计值的t分布)
在经典线性回归假设下，
bˆ  b se bˆ ~ t

j
j
  
n  k 1
j
注意这是t分布（与正态分布相对应），
因为需要通过ˆ 2 估计 2，所以自由度为 n  k  1.
 
sd bˆ j 
 
se bˆ j 

 SST j 1  R  


1/ 2
2
j
ˆ
 SST j 1  R  


2
j
1/ 2
计量经济学导论 刘愿
16
t检验（续）


标准化参数的样本分布使得我们可以进行假设
检验。
从虚拟假设开始，如H0: bj=0；如果接受虚拟
假设，则意味着在控制其他因素不变的情况下，
xj 对 y没有效应。
计量经济学导论 刘愿
17
t检验（续）
为了进行我们的检验，首先需要形成b j的t统计量:
 
tbˆ  bˆ j se bˆ j
j
根据t统计量及一个拒绝规则来决定是否接受虚拟假设H 0 .
计量经济学导论 刘愿
18
t检验：单侧备选假设



除了虚拟假设H0之外，我们还需要一个备选假
设H1和一个显著性水平或当H0为真时拒绝它的
概率。
H1可以是单侧的，也可以是双侧的。
H1: bj > 0 及 H1: bj < 0 都是单侧备选假设；
H1: bj  0 是双侧备选假设。
如果我们想在5%的概率下拒绝一个为真的虚
拟假设H0,那么我们的显著性水平为5%。
计量经济学导论 刘愿
19
单侧备选假设（续）


选定一个显著性水平 ,在一个自由度为n-k-1
的t分布中将得到(1 – )th 百分数，称之为临界
值 c。
我们可以拒绝虚拟假设，如果t统计量大于临
界值C.
t bˆ  c
j

如果t小于临界值C，则无法拒绝虚拟假设。
t bˆ  c
j
计量经济学导论 刘愿
20
单侧备选假设（续）
yi = b0 + b1xi1 + … + bkxik + ui
H0: bj = 0
H1: bj > 0
无法拒绝
拒绝
1  
0
计量经济学导论 刘愿

c
21
单侧还是双侧假设




t分布是对称的，检验H1: bj < 0 是非常直观的，
临界值变成负数。
我们可以拒绝虚拟假设，如果t < –c, 如果t > –
c,则我们无法拒绝虚拟假设。
当bj 的符号在理论中是不明确的话，双侧对立
假设就是有用的。
对双侧检验来说，我们是根据/2来确定临界
值，如果t的绝对值大于C，则拒绝H1: bj  0 。
计量经济学导论 刘愿
22
双侧对立假设
yi = b0 + b1Xi1 + … + bkXik + ui
H0: bj = 0
H1: bj≠0
无法拒绝
拒绝
拒绝
1  
/2
-c
0
计量经济学导论 刘愿
/2
c
23
总结：H0: bj = 0



除非特别说明，对立假设均假定为双侧的。
如果我们拒绝虚拟假设，通常我们会说：“在
 %的水平上， xj 在统计上显著异于零。”
如果我们无法拒绝虚拟假设，通常我们说 “在
 % 的水平上，xj 在统计上不显著。”
计量经济学导论 刘愿
24

例子4.2：学生成绩及学校规模
计量经济学导论 刘愿
25

tbˆ
例子4.3 大学城GPA的决定因素
 0.083 / 0.026  3.19  2.58
（1%显著性水平的临界值）
skipped
比较一个没有逃课的学生及一个一周逃课5次的学生，保持其
他因素不变，两人的GPA预测值相差多少？
计量经济学导论 刘愿
26
检验其他假设


T检验的更一般形式是：H0: bj = aj
在这种情况下，t统计量的表述是

t  bˆ j  a j
 se  bˆ 
j
where a j  0 for the standard test
计量经济学导论 刘愿
27

例子：校园犯罪与注册人数
H0：b1=1; H1：b1>1
由4.14可见，犯罪对注册人数的估计弹性1.27在对立假
设b1 >1的方向上。但是否有足够的证据断定b1 >1呢？
t  1.27 1 0.11  0.27 0.11  2.45  1.66
计量经济学导论 刘愿
28
计算t检验的p值


事前指定一个显著性水平的不足之处：
不存在一个“正确的”的显著性水平；
可能隐藏假设检验结果方面的有用信息
t=1.85，
c（40，5%）=2.021，
c（40，10%）=1.684，
检验p值：给定t统计量的观测值，能拒绝虚拟
假设的最小显著性水平是多少？
计量经济学导论 刘愿
29
H0 :β j =0; H1:β j  0
P T  t 
1.t表示一个自由度为n-k-1的t分布随机变量；t表
示该检验统计量的数值。
2.p值的解释：观察到一个t统计量至少和虚拟假设
正确时的t统计量一样大的概率：（以t为临界值时
的显著性水平）
小p值是拒绝虚拟假设的证据；
大p值不能提供拒绝虚拟假设的证据。
计量经济学导论 刘愿
30
df  40, t  1.85
p值=P  T >1.85 =2P  T>1.85 =2  0.0359  =0.0718
计量经济学导论 刘愿
31
一般情况的拒绝规则


a表示检验的显著性水平；
p值<a，则拒绝虚拟假设；否则，在100a%的显著性
水平下，就不能拒绝H0。
单侧对立假设检验p值：
1.考虑参数估计值方向与对立假设的关系；
H1 : b j  0, 检验H 0：b j  0。
若bˆ  0，计算p值无关紧要。
j
2.将双侧对立假设的p值除以2即得到单侧对立假设的
p值。
计量经济学导论 刘愿
32
统计检验值得注意的问题

当H0未被拒绝时，应该如何表述：
我们通常说“在a%的水平上我们不能拒绝H0”
而不能说“在a%的水平上我们接受了H0。”
H 0 :β nox =-1, t βˆ =0.393
H 0 :β nox =-0.9, t βˆ =0.462
计量经济学导论 刘愿
33

经济或实际显著性与统计显著性
统计显著性：t值
经济显著性： bˆ j
1.统计显著并不意味着实际作用显著
2.实际作用显著并不意味着统计显著
3.大样本选择较小的显著性水平，反之亦然。
t
bˆ j
 
se bˆ j
计量经济学导论 刘愿
34

例子4.6: 401（K）养老金计划的参与率
ttotemp  0.00013 / 0.00004  3.25
如果一个企业增加10000个雇员，
参与率下降10000
（0.00013） 1.3%
计量经济学导论 刘愿
35

例子4.7 在职培训津贴对企业废品率的影响
thrsemp  0.028/ 0.019  1.47
计量经济学导论 刘愿
36
总结



检查统计显著性：如果该变量是统计显著的，
讨论系数的大小，以对其实际或经济上的重要
性有所认识。
如果一个变量在通常的显著性水平上不是统计
显著的，仍需考察该变量对y是否有预期的影
响及其实际的经济重要性，如果重要则计算p
值。
一个显著的变量却拥有非预期的符号，并且在
经济上具有重要性，则问题更加麻烦。
计量经济学导论 刘愿
37
置信区间


使用经典统计检验的另一个方法是用在双侧检验中同
样的临界值构建一个置信区间Another way to use
classical statistical testing is 。
一个 对未知参数(1 - ) % 的置信区间定义如下：
 
bˆ j  c  se bˆ j
 
其中，c 为自由度为n-k-1的t分布中的 1-  百分位数。
 2
计量经济学导论 刘愿
38

置信区间的上界和下界是：
 
b j  bˆ j  c se bˆ j
 
b j  bˆ j  c se bˆ j
置信区间的含义：如果一次又一次地获得随机样本，每次计算出
上界和下界，那么未知的总体参数将在95%的置信区间中出现。
计量经济学导论 刘愿
39
如何构建一个置信区间

需要三个量：
 
bˆ j , se bˆ j , 和 c

对于95%显著性水平的置信区间，一个简单的
拇指法则是：
 
bˆ j  2 se bˆ j

双侧对立假设的置信区间检验规则： aj 是否
落入95%水平的置信区间，落入则无法拒绝，
未落入则拒绝。
计量经济学导论 刘愿
40

Example 4.8 Hedonic Price Model for Houses
H 0 : bbdrms  0, CI bbdrms :  0.066  2.131 0.059   or  0.192, 0.06 
H 0 : blog sqrft   0, CI blog sqrft  :  0.634  2.131 0.184   or  0.242,1.026 
计量经济学导论 刘愿
41
检验关于参数的一个线性组合

假设现在不是检验 b1 等于一个常数，而是是否等于
另一个参数，即H0 : b1 = b2, and H1 : b1 < b2。
计量经济学导论 刘愿
42

使用同样的基本程序形成t统计量：
bˆ1  bˆ 2
t
se bˆ1  bˆ 2


计量经济学导论 刘愿
43
检验线性组合（续）




Var  bˆ  bˆ   Var  bˆ   Var  bˆ   2Cov  bˆ , bˆ 
se  bˆ  bˆ    se  bˆ     se  bˆ    2s 

 

其中 s 是Cov  bˆ , bˆ 的一个估计值。
se bˆ1  bˆ2  Var bˆ1  bˆ2 , then
1
2
1
2
2
1
2
12
1
1
1
1
2
2
2
2
12
2
计量经济学导论 刘愿
44
检验线性组合（续）




需要s12,但标准的输出结果没有这一项。
很多统计软件包有选项获取这一协方差，或者
直接进行检验。
在Stata中，执行y对x1， x2， … xk的回归，
键入“test x1 = x2”可得该检验的p值。
更一般地，我们可以重新表述这个问题来进行
检验。
计量经济学导论 刘愿
45

定义一个新的参数，新的检验是:
1  b1  b2
计量经济学导论 刘愿
46
t1  0.26/ 0.018  1.44
针对单侧对立假设4.19， p值大概是0.075，因
此有证据但不是很强的证据拒绝虚拟假设4.18。
计量经济学导论 刘愿
47
对多个线性约束的检验：F检验



目前我们仅涉及检验一个单一的线性约束，如
b1 = 0或b1 = b2 。
然而，我们希望对参数的多个假设进行联合检
验。
经典例子是检验“排除性约束” ：一组参数
是否等于零。
计量经济学导论 刘愿
48
检验排除性约束



虚拟假设H0: bk-q+1 = 0, ... , bk = 0;
对立假设是H1: H0 不正确（即至少有一个参
数不为零）.
可否单独检验每一个t统计量? 由于我们希望了
解q个参数的联合显著性，单独检验t无法做到
这一点。
计量经济学导论 刘愿
49
排除性约束检验（续）

分别估计受约束模型和不受约束模型。

直观的，我们希望了解两个模型残差平方和的变化是
否足够大以确定是否应该包括被排除掉的变量xkq+1,, …, xk.。
SSRr  SSRur  q

F
SSRur  n  k  1
其中 r 是受约束模型，ur代表不受约束模型。
计量经济学导论 刘愿
50
F 统计量




F 统计量总是为正，既然受限制模型的残差平
方SSR和不可能小于不受限制的残差平方和。
事实上，F统计量衡量的是残差平方和SSR从
不受限制模型到受限制模型的相对增加。
q 限制条件个数， dfr – dfur
n – k – 1 = dfur
计量经济学导论 刘愿
51
F 统计量（续）


为了决定残差平方和的这一增加是否足够大以
拒绝这一限制性条件，我们需要了解F统计量
的样本分布。
F ~ Fq,n-k-1, 其中q 指F统计量分子的自由度，
n – k – 1指分母的自由度。
计量经济学导论 刘愿
52
F分布
X1 / k1 

令X1 x 和X2 x , 并假定X1和X 2独立，则随机变量F 
 X 2 / k2 
有一个自由度为  k1 , k2 的F分布。记为：F Fk k
2
k1
2
k2
1 2
计量经济学导论 刘愿
53
F分布（续）
f(F)
在 显著性水平下
拒绝H0 ,如果F > c
无法拒绝

1  
0
c
拒绝
F
计量经济学导论 刘愿
54
例子：运动员表现及其薪水
H 0 : b3  0, b 4  1, b5  0.
H1 : H 0不正确。
计量经济学导论 刘愿
55
198.311  183.186 

F
183.186 347
3
 9.55  2.60(3,347,5%)
计量经济学导论 刘愿
56


因为F统计量大于临界值2.6，因此，我们拒绝
bavg，hrunsyr和rbisyr对薪水没有影响的假设。
为何bavg，hrunsyr和rbisyr三变量的参数估计
值未通过t检验，而其F检验却是显著的？
当自变量存在多重共线性时，模型结果难以发
现每个变量的偏效应，但却可能发现联合显著
性。
t
bˆ j
 
se bˆ j

bˆ j
ˆ  SSTj 1  R 
2
j
计量经济学导论 刘愿
1/ 2
57
F统计量与t统计量的关系


当F统计量检验单个变量的排除性时，等于对
应的t统计量的平方。
给定对立假设为双侧， t2n-k-1与F1,n-k-1 拥有同
样的分布，两种方法的结果一致。
计量经济学导论 刘愿
58
F统计量的R2 型


SSR很大程度上依赖于度量单位， 可以用R2计算F统
计量。
依据SSR = SST(1 – R2) ,F统计量的R2型为：
F
R
2
ur
R
2
r

q
2
1

R
 ur   n  k  1
,
其中，r 代表受限制模型，ur代表不受限制模型。
计量经济学导论 刘愿
59
续上例，F统计量的R2型为
0.6278  0.5971

F
1  0.6278
347
 9.54
3
计量经济学导论 刘愿
60
计算F检验的p值
在F检验的背景下，p值被定义为
p值=P  f  F  : 给定虚拟假设正确，观察到的F值至少
和我们所得到的F值一样大的概率。
其中，f 表示一个自由度为  q, n  k  1的F堆积变量，
F是检验统计量的实际值。
计量经济学导论 刘愿
61
f(F)
在显著性水平
上拒绝H0，如果
if > F 。
无法拒绝

1  
0
拒绝
F
计量经济学导论 刘愿
62
回归整体显著性的F统计量


排除性约束的一个特例是检验H0: b1 = b2 =…=
bk = 0，即假设模型中没有任何一个解释变量对y
有作用。
既然只有截距项的模型R2 等于零，则整体显著性
的F统计量为：
2
R k
F
2
1  R n  k  1


计量经济学导论 刘愿
63



如果H0被拒绝，则我们得到结论认为模
型中的变量的确对y有解释力，意味着
回归是总体显著的。
相反，如果我们无法拒绝H0,则没有证据
表明模型中的任何一个变量有助于解释
y，我们必须需找其他变量来解释y。
因此，我们必须计算F统计量来检验联
合显著性，而非仅仅看R2的大小。
计量经济学导论 刘愿
64
检验一般的线性约束



F统计量的基本形式可适用于任何的线性约束，
而非仅仅是排除性约束。
先估计受约束模型，再估计不受约束模型，然
后记录两个模型的残差平方和
施加约束可以变得很有技巧，类似于重新定义
变量。
计量经济学导论 刘愿
65
例子：住房评估价是否理性？
log  price   b 0  b1 log  asses   b 2 log  lotsize 
 b3 log( sqrft )  b 4bdrms  u
假设我们想检验：住房的评估价值是否为理性定价。
如果是这样，那么asses变化1%，price将变化1%，即
b1  1；此外，一旦控制了评估价值asses, lotsize, sqrft
和bdrms应该无助于解释 log( price).
H 0：b1  1，b 2  0，b3  0，b 4  0
计量经济学导论 刘愿
66
不受约束模型
y  b 0  b1 x1  b 2 x2  b3 x3  b 4 x4  u  SSRur  1.822
受约束模型：
y  b 0  x1  u，即y  x1  b 0  u  SSRr  1.880
1.880  1.822
F
 0.661  2.50 4,83
1.822*  83 4 
因此，我们无法拒绝虚拟假设。
计量经济学导论 刘愿
67
F 统计量总结



与t统计量一样，F检验的p值可以通过查询F分
布图的百分位数计算得到。
输入如下命令，Stata会执行F检验： display
fprob(q, n – k – 1, F)。
当只有一个排除性约束需检验时，F = t2,p值
相等。
计量经济学导论 刘愿
68