Transcript ecnmtrcs06

回帰分析
重回帰(3)
内容
• 分散不均一性
– 分散不均一性とは何か
– Heteroskedsticity robust estimator
– 分散不均一性の検出
– 加重最小二乗法 (Weighted Least Square)
•
•
•
•
誤差項の系列相関
多重共線性
説明変数の誤差
誤差項と説明変数の相関
回帰分析の前提
• モデルの線型性
• ui~N(0,s2) i.i.d.
– 誤差項の期待値は0
– 誤差項は互いに独立（系列相関は無い）
– 誤差項の分散は一定（分散均一性）
– 誤差項は正規分布（t検定，F検定のための前提）
• 説明変数と誤差項は独立
• 説明変数の行列Xはfull rank
分散不均一性
heteroskedasticity
• 分散均一性(homoskedasticity)
– 誤差項は互いに独立で同一の分布に従う
var(ui )  s 2
• 回帰係数bの分布はこの仮定に依存
𝑥𝑖 − 𝑥 𝑢𝑖
𝑏=𝛽+
𝑆𝑥𝑥
2𝜎 2
2
𝑥
−
𝑥
𝜎
𝑖 𝑖
E 𝑏 = 𝛽,
var 𝑏 =
=
2
(𝑆𝑥𝑥 )
𝑆𝑥𝑥
𝑏−𝛽
~𝑡 𝑛 − (𝑘 + 1)
s. e. (𝑏)
𝑖
• 分散均一性の仮定が満たされなくても不偏性は成立。bの分散は上の式
のようにはならない。 t 検定，F検定は正しくない。
分散不均一性(2)
• 誤差項の分散が説明変数の大きさと何らかのシステマ
ティックな関係があると分散均一性の仮定は成立しない。
• 例）賃金方程式で，高学歴者ほど賃金の分散が大きくな
る。経験年数の長い人ほど，賃金の分散が大きくなる。
• 誤差項の系列相関も，広い意味での
heteroskedasticity
• ただし，誤差の分散は，ここで想定しているようなものと
少し異なる
分散不均一性(3)
• Eviewsなどの統計パッケージでは，最小二乗法のoptionで，
heteroskedasticity robust estimator を算出してくれる
• OLSの残差から適切な分散を計算
– EviewsではWhiteの方法とHAC(Newey West）の方法が選択できる
– HACは誤差項に系列相関がある場合の方法
• robust t estimator 漸近的に正しい統計量（サンプルサイズ
が十分に大きいとき）
var(b) 
2 2


x

x
ei
i i
S xx
2
Heteroskedasticity robust estimator:
OLSの残差をeとして，左のように計算
Heteroskedasticity robust
estimator
Menuから
Quick /Estimate Equation
でspecicficationに回帰式を
書き（method はLS），
options のタブをクリック
Coefficient covariance
matrix でWhiteを選択する。
（optionはEstimation Default
で通常のOLS，White，HAC）
通常のOLSと
heteroskedasticity robust
estimatorのs.e. やt値を比較
せよ。
分散不均一性の検出
• 残差の平方と説明変数またはyの予測値の間にあ
る関係
– 例）
– y=a+bx+u, s2=kx
• 残差と説明変数x（あるいは被説明変数yの予測値）
は，最小二乗法では直交
– e’x=0
– 残差を,説明変数（yの予測値）に回帰してもその係数は
ゼロ
– 残差の平方と，xやyの予測値との間にシステマティック
な関係があるかどうかを調べる。
分散不均一性の検出(2)
• Breusch and Paganのテスト
estimate: yi  a  b1 x1,i  b 2 x2,i    b k xk ,i  ui
save : ei  yi  a  b1 x1,i  b2 x2,i    bk xk ,i
compure ei
2
estimate: ei   0  1 x1,i   2 x2,i     k xk ,i  vi
2
test H 0 : 1   2     k  0
( RSS  TSS) / k
ESS / k

~ F k , n  (k  1) 
RSS /(n  (k  1)) RSS /(n  (k  1))
分散不均一性の検出(3)
• Whiteのテスト
• 残差の平方 e2 を被説明変数
• 説明変数：xjをそのままいれず，xjの平方，xj
とxhの交差項を加える
• これらの説明変数の係数が全て0という仮説
を検定する
• 簡便な方法
– yの予測値，その平方を説明変数に加える
分散不均一性への対処
• 分散不均一性のテストは検出のみ
– どのような方法で対処すべきかは教えてくれない
• 実際には多くの場合
– var(u|x)=s2 f(x) が成立している
– f(x)の形状がわかれば （多くの場合はf(x)=x)
yi  a  bxi  ui
yi
a
f ( xi )
1
b
f ( xi )
xi

f ( xi )
ui
f ( xi )
この式を推計すればよい Weighted Least Square
Estimate Equations でmethodはLS を指定。Options タブでWeights  この場合
はWeights のtypeにinverse std dev. を指定し，weight series を f(x)とする
Breusch and Pagan の検定 メニューから
選択する方法
回帰式を推定し
た後，
View/ Residual
Diagnostics/
Heteroskedastici
ty Tests
を選択
Breusch and
Pagan test
White testなどの
Optionがある
Whiteの検定
回帰分析の後，
View/ Residual
Tests/
Heteroskedasticit
y tests
を選択
Whiteのtestを選
択すると，自動的
に説明変数のクロ
ス項，平方を説明
変数のリストに加
えてくれる
Whiteの検定
残差の平方を被説明変数に
説明変数の係数が全て0という仮説は棄
却される
分散不均一性が検出された
問題1
• wage1.rawで賃金方程式を推計し，分散不
均一性のテスト（Breusch and Pagan test)を
行いなさい
• Whiteのテストを行いなさい
• 分散不均一性が検出された場合，適切な変
数変換をして回帰を行い，最初の回帰と結果
を比較しなさい。
問題2
• HPRICE1.RAW
• 次のモデルを推計せよ
– 被説明変数：price(住宅価格）
– 説明変数：lotsize, sqrft, bdrms
– 分散不均一性のテストを行え
• 上のモデルを対数形で推計せよ
– 被説明変数： log(price)
– 説明変数：log(lotsize), log(sqrft), log(bdrms)
– 分散不均一性のテストを行え
分散不均一性の検定
メニューを使わない方法
• Breusch and Pagan
– 残差の平方を計算
• series res2 = resid^2
• コマンドウィンドウで上のコマンドをタイプ
– res2 を被説明変数にして回帰分析
– 説明変数の係数=0のF検定
• Whiteの検定
– 残差の平方を計算
– 被説明変数の予測値を計算
• series res =resid
• series fit = lnwage - res
– Res2を被説明変数に，fit , fitの平方を説明変数にした回
帰分析を行い，F検定
Weighted Least Square
yi  a  b1 x1,i    b k xk ,i  ui (1)
(1)式のモデルで，誤差項の分散が次のように表されるとする
var(ui )  h( x )s
2
(1)式を次のように変換すれば，分散は均一になる
x1,i
yi
a

 b1
   bk
h( xi )
h( xi )
h( xi )
xk ,i
ui

h( xi )
h( xi )
wi yi  awi  b1wi x1,i    b k wi xk ,i  vi
vi  ui
h( xi ) ,
wi  1
h( xi )
Quick/ Estimate
Equation で最小二乗
法LSを選択
Options のタブで
Weights を
選択
Type は
None,
Inverse variance,
Inverse std dev.
variance
std dev
から選択
None →通常のOLS
Weight Seriesに
weight変数名を記入
古いversionだと，Typeの選択ができないかもしれません。
その場合，weight変数名に，1/sqr(EDUC)といれればい
いでしょう。詳しくはマニュアルを参照してください。
誤差項の系列相関
• 回帰分析の前提：誤差項は互いに独立
• 誤差項に系列相関がある場合
– 回帰係数bの分散がs2(X’X)-1にならない
– クロスセクションデータの場合には問題にならな
い
• オブザベーションの並び方が，隣接した地域や人の順
番になっている場合には意味がある場合あり。
– 時系列データの場合には意味がある
• ある時点で生じたショックがしばらく尾をひく（誤差項の
系列相関アリ）
Durbin Watson検定
• 1階の系列相関を調べる検定
現在では，誤差項
はもっと一般的に
AR(p)過程に従う
として，推計がで
きる
2


e

e
t 2 t t 1
T
DW 
t 1 et
T


T
2
e   e  2t 1 et et 1
2
t 2 t
T 1 2
t 1 t
T
2
t 1 t

T 1
e
 2(1   )
DW比は多くの統計パッケージでは自動的に出力される
経済データでは，>0のケースが普通 （は1階の相関係数）
大雑把なルールではDW比が1に近いと系列相関あり
また，時系列デー
タの分析では，説
明変数が定常過
程か非定常過程
かの区別が重要
多重共線性 multicolinearity
• 説明変数間の相関が高い場合，回帰分析では，個々の変数
の影響を分離して推計することができなくなる
• 実験データ
– 個々の変数の影響が十分に分離できるように実験計画を立てる
• 経済データ
– 上のようなことは不可能
– 分析のレベルの再検討
• 例）地方政府の行動（支出）を，地域の財政状況（債務残高，
税収，国からの補助金，交付税額），地域の属性（山間地，
豪雪地帯,..），所得，面積等で説明
– 国からの補助金は，その地域属性によって決まる
– 個々の変数の効果が捉えられない
説明変数の誤差
真のモデル
yi  a  bx  ui
*
i
説明変数xi*は観察できない：そのかわりxiが観察できる
xi  xi*  vi
Evi   0, cov(ui , v j )  0 forall i, j
yi  a  b xi  vi   ui  a  bxi  ui  bvi 
 a  bxi  wi
誤差項wiの期待値は0，分散は一定。しかし，wiとxiには相
関がある
説明変数の誤差(2)
• 説明変数の誤差誤
差項と説明変数の相関
• 最少二乗推定量
b  ( X ' X )1 X ' y  b  ( X ' X )1 X ' w
• 特に単回帰の場合
cov(x, w)
cov(x*  v, u  bv)
plimb  b 
b
var(x)
var(x*  v)
b sv
b
2
2
s x*  s v
2
 s x* 2 
b
 b  2
2 
 s x*  s v 
説明変数の誤差(3)
• 例）恒常所得仮説
Ci  kYi P  ui
Yi  Yi P  YiT
 




E YiT  0, cov Yi P , Yi T  cov YiT , ui  0
Y：観察される所得， YP: 恒常所得， YT：変動所得
消費は観察不可能な恒常所得に比例する（kはほぼ1に近い）
消費関数を推計すると，消費性向はケインズ型消費関数の消費性向（0.6～
0.7)と推定される
説明変数の誤差操作変数法(Instrumental Variables Method)
説明変数の誤差，誤差項と説明
変数の相関 対処方法
• 誤差項と説明変数の相関の問題は，連立方
程式モデルでも発生
• 操作変数法(Instrumental Variable Method)
• IVについては後述