Transcript 第3章一元线性回归分析

第3章
一元线性回归分析
一元线性回归分析
3.1 一元线性回归模型
3.2 一元线性回归模型参数估计
3.2.1 回归系数估计
3.2.2 误差的估计—残差
ˆ0
ˆ1 和
3.2.3
的分布
3.3 更多假设下OLS估计量性质
3.4 回归系数检验（t-检验）
2
R
3.5 拟合优度
和模型检验（F检验）
一元线性回归分析
3.6 用EViews7.2进行一元线性回归
3.7 假设条件的放松
布误差
样和序
3.7.1 假设条件的放松（一）—非正态分
项
3.7.2 假设条件的放松（二）—异方差
3.7.3 假设条件的放松（三）—非随机抽
列相关
3.7.4 假设条件的放松（四）—内生性
3.7.5 总结
重要概念
3.1 一元线性回归模型
计量经济学用回归模型来描述经济变量
之间的随机关系。
Y  0  1 X  u
因变量（被解释变量）
自变量（解释变量）
回归模型参数（回归系数）
误差项（扰动项）
3.1 一元线性回归模型
模型首先要保证 X 的变化不会引起 u
的变化，这称为 X 的外生性，否则 X 对
Y 的影响不能正确确定。
假设1（零条件均值:zero conditional
mean）
给定解释变量，误差项条件数
学期望为0，即E(u | X )  0
E(u )  0
3.1 一元线性回归模型
模型设定要以有关的经济学理论为基础。
样本模型：
Yi  0  1 X i  ui , i  1,2,, n
3.2 一元线性回归模型参数估计
3.2.1 回归系数估计
3.2.2 误差的估计—残差
3.2.3ˆ0 ˆ1和
的分布
3.2 一元线性回归模型参数估计
3.2.1 回归系数估计
总体矩条件：
Eu  E(Y   0  1 X )  0
E(uX )  E[(Y   0  1 X ) X ]  0
样本矩条件：
n
n 1  (Yi  ˆ0  ˆ1 X i )  0
i 1
n
1
n
ˆ  ˆ X ) X  0
(
Y


 i 0 1 i i
i 1
3.2 一元线性回归模型参数估计
3.2.1 回归系数估计
OLS估计：
n
ˆ1 
(X
i 1
i
 X )(Yi  Y )
n
2
(
X

X
)
 i
i 1

2
ˆ
（ 1  1   ( X i  X ) 
 i1

n
不带常数项的回归模型
ˆ0  Y  ˆX
,
1 n
(X
i 1
i
 X )ui ）
回归系数估计
结论:（矩估计量性质）
OLS估计的一致性（结论1）
如果回归模型误差项满足假设1，上式给出 ˆ0
和 ˆ1 分别为 0 和 1 的一致估计：
p limn ˆ0  0 ,
p limn ˆ1  1
OLS估计的无偏性（结论2）
如果回归模型误差项满足假设1，上式给出 ˆ0
和 ˆ1 分别为 0 和 1 的无偏估计：
E(ˆ0 )  0 ,
E(ˆ1 )  1
3.2 一元线性回归模型参数估计
3.2.2 误差估计-残差
Yi 的回归拟合值（fitted value）：
Yˆi  ˆ0  ˆ1 X i , i  1,2,, n
回归残差（residual）：
uˆi  Yi  Yˆi , i  1,2,, n
误差估计-残差
结论：
如果假设1满足，则回归残差是回归误差的
一致估计且数学期望为0（结论3）
p
uˆi 
ui ;
E(uˆi )  0
如果假设1满足，则回归残差满足：(结论4)
n
n
 uˆ
i 1
i
 uˆ X
 0,
i 1
i
i
0
残差平方和（Sum of Squared Residual）：
n
n
i 1
i 1
2
2
ˆ
ˆ
ˆ
SSR   ui   (Yi   0  1 X i )
3.2 一元线性回归模型参数估计
ˆ

3.2.3 0
ˆ1
和
的分布
由矩估计性质知 ˆ0 和 ˆ1 渐近服从正态分布，
但具体方差依对误差项的假设而定。
结论5：
如果假设1满足，则当样本量 n 较大时，OLS估
计 ˆ0 和 ˆ1 近似服从正态分布：
ˆ0 ~ ( a ) N (  0 ,  2ˆ );
0
ˆ1 ~ ( a ) N (  0 ,  2ˆ )
1
3.3 更多假设下OLS估计量性质
假设2（同方差：homoskedasticity）
给定解释变量，误差项条件方差为常数，即
Var (ui | X i )   2
假设3（随机抽样: random sample）
(Yi , X i ), i  1,2,, n
样本
随机抽样产生的，样
ui , i  1,2,, n
本之间相互独立，模型误差项
之
间相互独立。
是
3.3 更多假设下OLS估计量性质
结论6：
如果假设1~假设3满足，则当样本量 n 较大时，
OLS估计 ˆ0 和 ˆ1 近似服从正态分布，方差计算公
式为：
 2ˆ 
0
n
1
2
X
i1 i
n
i1 ( X i  X )
n
2

,
2
 2ˆ 
1
2
2
(
X

X
)
i1 i
n
3.3 更多假设下OLS估计量性质
结论7：
如果假设1~假设3满足，统计量
n
2
ˆ
u
SSR

2
i 1 i
ˆ 

n2
n2
是误差项方差  2 的无偏估计和一致估计，即
2
2
2
2
ˆ
ˆ
E( )   , p limn   
ˆ 称为回归标准误（standard error of regression），
记为 s  ˆ 。
3.3 更多假设下OLS估计量性质
结论8：
如果假设1~假设3满足，则当样本量 n 较大时，
如下统计量近似服从正态分布（结论8）
ˆ0   0
t0 
~ ( a ) N (0,1),
sˆ
0
ˆ1  1
t 1 
~ ( a ) N (0,1)
sˆ
1
3.3 更多假设下OLS估计量性质
结论9：
如果假设1~假设3满足，OLS估计 ˆ0 和 ˆ1 为最有效
估计：在 0 , 1 的所有线性无偏估计中，ˆ0 , ˆ1 的方
差最小。这称为OLS估计的马尔科夫性。
3.3 更多假设下OLS估计量性质
假设4（正态分布: normal distribution）
ui
Xi
给定解释变量
，模型中的误差项
服从正态
分布，即
ui | X i ~ N (0,  i2 )
其中
 i2  Var (ui | X i )
3.3 更多假设下OLS估计量性质
结论10：
如果假设1~假设4满足，则
（1）ˆ0 ~ N (  0 ,  2 ); ˆ1 ~ N (  0 ,  2 )
（2）SSR/  2 ~  2 (n  2)
（3）SSR与ˆ0 , ˆ1 独立，由此得出
ˆ0
ˆ1
ˆ0   0
t 0 
~ t (n  2),
sˆ
0
ˆ1  1
t 1 
~ t (n  2)
sˆ
1
其中，
 ˆ0 、 ˆ1 、sˆ0 、sˆ1由课本公式（3.15）
给出。
2
2
3.4 回归系数检验（t-检验）
估计出参数后需对模型的有效性进行检
验，即检验回归系数是否显著不为零。
例如考虑结论10中统计量（假设1到4全
部成立） t1 ： t   ˆ1 ~ t (n  2)
1
s ˆ
1
t-检验的涵义：估计参数的绝对值足够大或者
标准误很小（标准误小则随机性小，估计越精
确）
样本量较大时 （n >35），t分布接近正态分
布，5%置信水平下临界值接近2，因此常用统
计量是否大于2作为判断系数显著与否的标准。
3.5 拟合优度 R 和模型检验（F检验）
2
检验 X 和 Y 之间是否 具有线性关系：看
Y 的变化能被 X 的变化解释多少。
总平方和（total sum squared）：
TSS  i 1 (Yi  Y ) 2
n
解释平方和（explained sum squared）：
ESS  i1 (Yˆi  Yˆ ) 2
n
残差平方和（Sum of Squared Residual）：
SSR 
n
2
ˆ
u
 i
i 1
ESS
SSR
R 
 1
TSS
TSS
2
3.5 拟合优度 R 和模型检验（F检验）
2
不带常数项的模型其相应的TSS和ESS为：
TSS  i1 Yi ,
n
2
ESS  i1 Yˆi 2
n
ESS / 1
F-统计量：F  RSS /(n  2)
（原假设备择假设分别
为：
H0 : 1  0 ;
H1 : 1  0
）
3.5 拟合优度 R 和模型检验（F检验）
2
结论：
设模型的截距项 0  0 ，模型误差项满足假
设1，则：（结论11）
TSS=ESS+SSR
如果假设1~假设4全都满足，则上面定义的F统计量满足：（结论12）
F ~ F (1, n  2)
t-检验和F-检验等价
3.6 用EViews7.2进行一元线性回归
步骤：
• 先建立Excel数据文件，再将数据导入EViews，建
立工作文件，在数据表格界面点击菜单：
Proc→Make Equation，进入模型估计（Equation
Estimation）对话框
• 在specification中依
次填入因变量、自变
量和常数项（如果没
有则不写）
3.6 用EViews7.2进行一元线性回归
步骤：
• 在估计方法设定窗口选择需要用到的估计方法
• 前面的步骤也可以通过主界面的Quick→Estimate
Equation到达
• 点击OK，将输出结果：
3.6 用EViews7.2进行一元线性回归
在结果页面点击顶端按钮Resids，将输出残差图
3.6 用EViews7.2进行一元线性回归
3.6 用EViews7.2进行一元线性回归
• 残差将保存在resid中，另外，在回归结果输出界
面点击菜单Forecast ，在弹出的对话框中Forecast
name：后面的条形窗口输入变量名，将可以保存
模型的拟合值。
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态
分布误差项
3.7.2 假设条件的放松（二）—异方差
3.7.3 假设条件的放松（三）—非随机
抽样和序列相关
3.7.4 假设条件的放松（四）—内生性
3.7.5 总结
3.7 假设条件的放松
3.7.1 假设条件的放松（一）—非正态
分布误差项
• 放松了假设4后，与之相关的结论10和12
不再成立，t-检验、F-检验不再成立。
• 大样本情况下，t-统计量近似服从标准正态
分布，因此可以用标准正态分布临界值进
行判断。
• 去掉假设4不影响OLS估计的一致性、无偏
性和渐近正态性。
3.7 假设条件的放松
3.7.2 假设条件的放松（二）—异方差
• 异方差不影响OLS估计的无偏性、一致性和
渐近正态性。
• 课本（3.15）式参数估计的方差、标准误不
再正确。
• White异方差稳健标准（Heteroskadesticity
Robust Standard Errors）
• 用Eviews 检验异方差的存在并进行White稳
健标准误回归
3.7 假设条件的放松
3.7.3 假设条件的放松（三）—非随机
抽
样和序列相关
• 同异方差一样，序列相关不影响OLS估计的
无偏性、一致性和渐近正态性。
• 影响参数估计的方差和标准误。
• Newey-West方法（HAC：HeteroskedasticityAutocorrelation Consistent）
• 用Eviews 进行Newey-West回归
3.7 假设条件的放松
3.7.4 假设条件的放松（四）—内生性
假设1’
模型误差项和解释变量不相关0，即
Cov(u, X )  0
结论5’:如果假设1’满足，
（1）OLS估计ˆ0 和ˆ1 是0 和 1 的一致估计；
ˆ0 和 ˆ1 近似服从正态分
（2）当样本量n 较大时，
布： ˆ
 0 ~ ( a ) N (  0 ,  2ˆ ); ˆ1 ~ ( a ) N (  0 ,  2ˆ )
0
1
3.7 假设条件的放松
3.7.4 假设条件的放松（四）—内生性
• 无偏性不再成立
• 若假设1’都不能满足，则存在内生性问题，
OLS不再适用。
3.7 假设条件的放松
3.7.5 总结
外生性假设是最基本的假设，是使用OLS的前
提，此时OLS估计有一致性和渐进正态性。
如果外生性、同方差和随机抽样假设同时成立，
则OLS估计近似服从正态分布，参数估计的标
准误采用（3.15）计算，并采用结论8中的统
计量对参数进行t检验。
如果仅外生性和随机抽样假设成立，参数估计
同上，但参数方差及标准误要用White方法进
行调整。
3.7 假设条件的放松
3.7.5 总结（续）
如果外生性假设成立，但误差项存在异方
差和序列相关，此时应当用Newey-West的
HAC方法调整方差及标准误估计。
例子3.4 奥肯定律（见课本）
重要概念
1. 线性回归模型将因变量Y （被解释变量）表示成自变量
X
u
（解释变量）线性函数和误差项
的和，用OLS方法估计
模型的回归系数及其标准误，并对模型显著性进行检验。
2. 根据研究的经济问题及其样本数据来源，可以对模型误
差项做出各种假设。误差项零条件均值假设是最基本的假设，
即
E(u | X )  0
另一种较弱的假设是解释变量的外生性假 Cov(u, X )  0
0  1 X
u
设
，该假设保证解释变量形成的线
Y
X 和误差项
1
性函数
不相互影响，从而能将
对 的影响完全通过斜率参数
反映。
3. 利用零条件均值假设或者外生性假设得出的矩条件，采用
n
n
矩估计方法得出一元线性回归模型截距和斜率的OLS估计
ˆ  [ ( X  X )(Y  Y )] / ( X  X ) 2 ,
ˆ  Y  ˆX
1

i 1
i
i

i 1
i
0
重要概念
4. 外生性假设满足时，回归系数的OLS估计具有一致性，保
证了当样本量增大时OLS估计依概率无限接近被估计参数；
同时成立的还有OLS估计的渐进正态性，不管误差项服从
什么分布，当样本量较大时OLS估计近似服从正态分布，
为回归系数的假设检验统计量构造提供了基础。
5. 要对回归系数进行假设检验，OLS估计的标准误计算成为
关键。当误差项满足同方差和无序列相关假设时，标准误
计算公式（（3.15）式）较为简单；当误差项存在异方差
时， 需要采用White方法计算标准误，以此计算回归系数
检验的t-统计量；当误差项存在异方差和序列相关时，需
要采用Newey-West方法计算HAC标准误。
6. 除了对单个回归系数进行假设检验外，还可以采用拟合
优度和模型整体检验来评价回归模型的整体拟合效果。总
平方和TSS可以分解为解释平方和ESS和残差平方和SSR，
拟合优度R2定义为解释平方和占总平方和的比例。模型整
体检验采用F检验进行。
重要概念
7. 在检验统计量的构造中，回归残差起着重要作用。残差
可以看做误差的一致估计，回归模型的OLS回归残差向量
与解释变量观测值形成的向量正交，如果回归模型有截距
项，则回归残差的和为0。
8. 需要注意的是，当模型不带截距项时，回归残差的和不
为0，总平方和的分解公式以及拟合优度的定义需要重新
定义。
9. 由于各种原因导致解释变量为内生时，回归系数的OLS估
计没有一致性和渐进正态性，不能再用OLS估计方法估计
模型。