Transcript 异方差

多元回归分析：异方差性
y = b0 + b1x1 + b2x2 + . . . bkxk + u
计量经济学导论 刘愿
1
异方差之定义
同方差性假定意味着Var(u|X)=常数。
然而，若u的方差因X而异，则出现异方
差。
var u | x    2
例子：估计教育的回报，能力因素不可
观测进入u之中，然而能力因教育水平而
已。
计量经济学导论 刘愿
2
异方差性图示
f(y|x)
.
.
x1
x2
x3
.
E(y|x) = b0 + b1x
x
计量经济学导论 刘愿
3
异方差的后果
即使不满足同方差性，OLS估计仍然是无
偏和一致的。
如出现异方差，参数估计值的标准误是有
偏的。
标准误有偏，通常的t统计量和F统计量或
者LM统计量在统计推断时失效。
计量经济学导论 刘愿
4
出现异方差时的方差
 xi  x ui

ˆ
在简单回归中，b1  b1 
,则
2
  xi  x 
 
Var bˆ1 
2
x

x



 i
i
2
2
x
, 其中 SSTx    xi  x 
2
SST
当 i2   2 ，一个有效的估计值是：
2
ˆ
  xi  x  ui
2
2
x
SST
其中，uˆi 是OLS估计的残差项。
计量经济学导论 刘愿
5
出现异方差时的方差
 
对于一般的多元回归模型，异方差时Var bˆ j 的一个有效估计是:
 
Var bˆ j 
2
ˆ
ˆ
 rij ui
SSR
2
j
其中，rˆij 是将x j 对所有其他自变量进行回归得到的残差项，
SSR j 是这一回归的残差平方和。
计量经济学导论 刘愿
6
稳健标准误
如果我们获得方差的一致估计值，则可
用之作为标准误进行统计推断。
通常，我们称之为稳健标准误。
有时候，估计的方差乘以n/(n – k – 1)进
行自由度修正。当 n → ∞，自由度修正
无关紧要。
计量经济学导论 刘愿
7
稳健标准误（续）
稳健标准误只有渐进的正确性：在小样
本情况下，以稳健性标准误计算的t统计
量并不服从t分布，据此作统计推断并不
正确。
换言之，稳健标准误和稳健t统计量只有
在样本量很大时才是确当的。
计量经济学导论 刘愿
8
例子8.1 异方差-稳健标准误的工资对数
方程
计量经济学导论 刘愿
9
一般的LM统计量
1. 估计受约束模型得到残差u;
2
2. 将u对所有自变量进行回归得Ru ;
2
3. 根据公式LM  n Ru 计算。
计量经济学导论 刘愿
10
稳健LM统计量
对受约束模型进行OLS回归并保存残差
项ŭ.
依次将排除的自变量对所有其他未排除
的自变量进行回归（q个回归方程），保
存每次回归的残差项ř1, ř2, …, řq.
将1对ř1 ŭ, ř2 ŭ, …, řq ŭ进行零截距回归。
LM统计量是n – SSR1,其中SSR1是最后
一个回归所得到的残差平方和。
计量经济学导论 刘愿
11
异方差检验
实质上是检验test H0: Var(u|x1, x2,…, xk) =
2, 或H0: E(u2|x1, x2,…, xk) = E(u2) = 2
假设u2 与 xj 的关系是线性的，则可检验
一个线性约束。
如对模型 u2 = d0 + d1x1 +…+ dk xk + v,则
检验H0: d1 = d2 = … = dk = 0
计量经济学导论 刘愿
12
Breusch-Pagan检验
误差项不可观测，但可以从OLS回归中估计之。
将残差平方对所有自变量进行回归后，获得R2
形成F或LM检验。
F统计量恰好是报告的模型总体显著性的F统计
量，服从Fk, n – k – 1分布。
F = [R2/k]/[(1 – R2)/(n – k – 1)]
LM统计量为LM = nR2, 服从c2k分布
计量经济学导论 刘愿
13
异方差性的BP检验
2
1.用OLS估计模型 1 得到OLS残差平方uˆ（每次观测得到一个）；
y  b 0  b1 x1  b 2 x2  b k xk  u 1
2.将uˆ 2 对与异方差性有关的自变量进行回归，得到模型  2的Ruˆ22 ;
uˆ 2  d 0  d1 x1  d 2 x2   d1 x1  v  2 
3.计算F统计量或LM统计量并计算p值（前者用Fk, n- k- 1分布，后者
用xk2分布）。如果这个P值相当小，即低于选定的显著性水平，
那么我们就拒绝同方差性的虚拟假设。
计量经济学导论 刘愿
14
例8.4 住房价格方程中的异方差性
F
Ruˆ22 q
1  R 
2
uˆ 2
2
uˆ 2
n  k 1

0.1601/ 3
 5.34, p  0.002
1  0.1601 / 88  3  1
LM  n R  88  0.1601  14.09, p  0.0028
F
Ruˆ22 q
1  R 
2
uˆ 2
2
uˆ 2
n  k 1

0.048 / 3
 1.41, p  0.245
1  0.048 / 88  3  1
LM  n R  88  0.048  4.22, p  0.239
计量经济学导论 刘愿
15
怀特检验
BP检验能够发现任何线性的异方差性。
怀特检验允许对x的平方项和交互项进行非线
性检验。
仍然使用F 或 LM 检验是否所有的 xj, xj2 及
xjxh 联合显著。
这样会耗费很多自由度，怀特检验可以使用
另外的技巧。
计量经济学导论 刘愿
16
怀特检验的备选形式
OLS的拟合值ŷ是所有x的函数。
因此，ŷ2 是x的平方项和交互项的函数，
ŷ 和 ŷ2 可作为xj, xj2及 xjxh代理变量。
将残差平方和对ŷ 和 ŷ2 进行回归，并使
用R2 计算F 或LM 统计量。
注意只是检验2两个约束。
计量经济学导论 刘愿
17
加权最小二乘法（WLS）
总是有办法估计OLS估计量的稳健标准
误。如果我们知道异方差的特定形式,我
们可以获得比OLS更有效的估计量。
基本的想法是，将其转换成拥有同方差
标准误的模型，即加权最小二乘法。
计量经济学导论 刘愿
18
已知异方差形式的例子
假设异方差表现为Var(u|x) = 2h(x),关键
是找出函数h(x) .
因为hi 是x 的一个函数， Var(ui/√hi|x) =
2 ，所以E(ui/√hi|x) = 0。
因此，如果将方程两边除以√hi ,我们将获
得同方差之模型。
计量经济学导论 刘愿
19
例子：储蓄方程的异方差
savi  b 0  b1inci  ui
Var  ui | inci    inci
2
h  inc   inc
savi

inci  b 0 1

inci  b1 inci  u
计量经济学导论 刘愿
*
1
20
更一般的例子
yi  b 0  b1 xi1  b 2 xi 2 
 b k xik  ui
Var  ui | xi   E  u | xi    hi
2
i
yi
hi   b 0  b1 xi1  b 2 xi 2 
y b x b x 
*
i
2
*
0 i0
*
1 i1
 b k xik  ui 
hi
b x u
*
k ik
*
i
计量经济学导论 刘愿
21
广义最小二乘法（GLS）
用OLS估计转换后的方程是广义最小二
乘法(GLS)的一个例子。
GLS是最优线性无偏估计。
GLS 是加权最小二乘估计，其中残差平
方以Var(ui|xi)的倒数为权数。
计量经济学导论 刘愿
22
加权最小二乘法
直觉地考察为何将OLS应用于转换过的方程是合
适的，尽管这一转换较为琐碎。
加权最小二乘估计可以得到同样的结果，即使
没有经过方程转换。
基本的想法是使误差平方和最小。 (以1/hi权重）
n
min   yi  b0  b1 xi1  b2 xi 2 
 i 1

2
bk xik  hi 

要将估计值放到原方程中解释。
计量经济学导论 刘愿
23
因变量：sav
自变量
inc
（1）
OLS
0.147
（0.058）
（2）
WLS
0.172
（0.057）
124.84
（655.39）
100
0.0621
-124.95
（480.86）
100
0.0853
size
educ
age
black
截距
观测次数
R 平方
（3）
OLS
1.09
（0.071）
67.66
（222.96)
151.82
（117.25)
0.286
（50.031)
518.39
（1308.06）
-1605.42
（2830.71）
100
0.0828
计量经济学导论 刘愿
（4）
WLS
0.101
（0.077）
-6.87
（168.43）
139.48
（100.54）
21.75
（41.31）
137.28
（844.59）
-1854.81
（2351.81）
100
0.1042
24
加权最小二乘估计：评论
如果我们了解Var(ui|xi) 的形式，WLS是
一个不错的选择。
在很多情况下，我们并不知道异方差的
形式。
一个例子是，回归时数据时加总的，但
模型则是针对个人的。
希望以个体数为权数对每个加总的观测
进行加权。
计量经济学导论 刘愿
25
决定一个工人对其401k养老金计划参与数额与该计划受到的慷慨捐献之间的关系：
contribi ,e  b 0  b1earnsi ,e  b 2 agei ,e  b3 mratei  ui ,e
contribi ,e : 为第i个企业工作的雇员e每年参与的数额
earnsi ,e：为此人每年的收入
agei ,e：此人的年龄
mratei：为该企业将雇员贡献的每一美元放进其账户的数量
假设只有雇主提供的贡献值、收入和雇员年龄的平均值，无个人水平
数据可供使用，mi 表示企业i的雇员人数且已知，将上述方程对mi 求平均：
contribi  b 0  b1 earnsi  b 2 agei  b3 mratei  ui
计量经济学导论 刘愿
26
如果个人水平上的方程满足同方差性假定，
那么在企业水平上的方程一定是异方差的。
 
Var  ui ,e     Var ui   mi
2
2
企业越大，其误差项ui的方差越小。
hi  1 mi  1 hi  mi
最有效的估计程序就是以企业雇员人数为权
数 1 hi  mi 的加权最小二乘估计（WLS）。
计量经济学导论 刘愿
27
可行GLS（FGLS）
更常见的情况是我们不知道异方差的形式。
在这种情况下，需要估计h(xi)。
通常来说，我们假设异方差的形式较具有弹
性，如 Var(u|x) = 2exp(d0 + d1x1 + …+ dkxk)
既然我们不知道d, 则必须估计之。
计量经济学导论 刘愿
28
FGLS (续)
我们的假设意味着u2 = 2exp(d0 + d1x1 + …+
dkxk)v
其中，E(v|x) = 1, 如E(v) = 1
ln(u2) = a0 + d1x1 + …+ dkxk + e
其中E(e) = 1 且 e 独立于 x。
û 是 u的估计值, 我们可以用OLS估计上式。
计量经济学导论 刘愿
29
FGLS (续)
h的估计值是 ĥ = exp(ĝ), 其倒数即为权重.。
接下来的程序是：
（1）用OLS估计原来的模型，保存残差û,
取其平方之对数。
（2）将ln(û2)对所有自变量进行回归获得
拟合值 ĝ.
（3）以1/exp(ĝ)作为权重进行WLS回归。
计量经济学导论 刘愿
30
纠正异方差性的一个可行的GLS程序
1.将y对x1 , x2 ,
, xk回归并得到残差uˆ.
2.通过先将OLS残差进行平方，然后再取自然对数得到 log  uˆ 2  .
3.做方程 log  uˆ 2   d 0  d1 x1 
 d k xk  e的回归得到拟合值gˆ .
4.求出上述方程中拟合值的指数：hˆi  exp  gˆ i  .
5.以1 hˆi 为权数用OLS来估计下列方程：
y  b 0  b1 x1  b 2 x2 
 b k xk  u
*FGLS 估计量是上述方程中的参数估计量，
与OLS估计值一样，度量的是每个x j 对y边际影响。
计量经济学导论 刘愿
31
对香烟的需求：因变量 cigs
自变量
log(income)
log(cigpric)
leduc
age
age
2
restaurn
constant
观察个数
2
R
OLS
0.88
(0.728)
-0.751
(5.773)
-0.501
(0.167)
0.771
(0.16)
0.009
(0.0017)
-2.83
(1.11)
-3.64
(24.08)
807
0.0526
计量经济学导论 刘愿
FGLS
1.3
(0.44)
-2.94
(4.46)
-0.463
(0.12)
0.482
(0.097)
-0.0056
(0.0009)
-3.43
(0.8)
5.64
(17.8)
807
0.1134
32
再议线性概率模型
除非所有的斜率参数都为零，否则线性概率模型一定包含异方差性
var  y | x   p  x  1  p  x  
其中，p  x   b 0  b1 x1  b 2 x2 
b k xk。因此, 对每个观察i,
var  yi | xi 由hˆi  yˆi 1  yˆi  估计出来。
但拟合值yˆi 不一定落在单位区间内，yˆi  0或yˆi  1，但WLS的所有权数须为正。
两种处理办法：
1放弃
.
WLS并报告异方差稳健的统计量；
2.调整哪些小于0或大于1的拟合值，然后用WLS
计量经济学导论 刘愿
33
用WLS估计线性概率模型
1.用OLS估计模型并得到拟合值yˆ ;
2.判断是否所有的拟合值都位于单位区间内。如果是这样，
则进行第3步。不然，则需要进行某种调整而是用所有的拟
合值都位于单位区间内。
3.构造方程hˆ  yˆ 1  yˆ 中的估计方差。
i
i
i
4.以1 hˆ 为权数用WLS估计方程
y  b 0  b1 x1  b 2 x2 
b k xk  u
计量经济学导论 刘愿
34
WLS Wrapup
When doing F tests with WLS, form the weights
from the unrestricted model and use those weights to
do WLS on the restricted model as well as the
unrestricted model
Remember we are using WLS just for efficiency –
OLS is still unbiased & consistent
Estimates will still be different due to sampling error,
but if they are very different then it’s likely that some
other Gauss-Markov assumption is false
计量经济学导论 刘愿
35