Transcript 2 簡單迴歸模型
Chapter 2
簡單迴歸模型
2.1 簡單迴歸模型的定義
一個簡單的方程式可寫為
y = β0 + β1x + u
2.1
假設在我們感興趣的母體中(2.1) 式是成立的,
而它定義了簡單線性迴歸模型(simple linear
regression model)。因為它代表變數x 及y之間的關
聯,因此也可將它稱為兩變數線性迴歸模型或二
元線性迴歸模型。
在(2.1) 式中,變數y 及x 常常交替使用幾種不同的
名稱。
CH2 簡單迴歸模型 第25-26頁
簡單迴歸的術語
CH2 簡單迴歸模型 第27頁 表2.1
2.1 簡單迴歸模型的定義
在計量經濟中「應變數」與「自變數」是很常用
的。不過要注意自變數的英文“independent”在
這裡並不是代表隨機變數間獨立性的統計概念。
CH2 簡單迴歸模型 第26頁
2.1 簡單迴歸模型的定義
變數u 在關係中稱為誤差項(error term) 或干擾項
(disturbance),它代表除了x 之外其他會影響y 的因
素。簡單迴歸分析將除了x 以外所有影響y 的因素
都視為不可觀察。你可以把u 想成代表「不可觀
察項」。
CH2 簡單迴歸模型 第26頁
2.1 簡單迴歸模型的定義
(2.1) 式同時也指出了y 和x 之函數關係的議題。若
在u 之中的其他因素固定不變,因此u 的變動為0
, Δu = 0 ,則x 對y 有一線性效果:
y 1x
若 u 0
2.2
因此y 的變動就只是β1乘x 的變動。這代表在其他
因素u 固定不變下,y 及x 之關係的斜率參數(slope
parameter) 為β1 ;它是應用經濟中我們最感興趣的
部分。截距參數(intercept parameter) β0,有時也稱
為常數項(constant term),亦有其作用,不過它在
分析中並不是最重要的。
CH2 簡單迴歸模型 第26頁
2.1 簡單迴歸模型的定義
假設不可觀察的u 和解釋變數x 的關係下,才能得
到隨機樣本中β0 和β1 之可靠估計式。若沒有這種
假設,我們就不能估計其他條件不變的效果, β1
。由於u 及x 為隨機變數,我們需要機率中的概念
。
陳述x 和u 如何相關聯的假設之前,有一個關於u
的假設是我們永遠可以做的。只要截距項β0 包含
在方程式中,假設u 的母體平均值為0 總是可以的
。
E(u ) 0
2.5
CH2 簡單迴歸模型 第28頁
2.1 簡單迴歸模型的定義
回到u 和x 如何相關聯之重要假設上。一個對兩個
隨機變數之關係的衡量方式即為相關係數
(correlation coefficient)。
由於u 和x 是隨機變數,我們可以定義在任何x 的
值之下u 的條件分配。特別是,就任何x,我們可
以得到u 的期望值(或平均值)。重要的假設即為u
的平均值並不取決於x 的值。
E(u | x) E(u) 0
2.6
其中第二個等式即為(2.5)式。(2.6) 式中第一個等
式為一新的假設,我們稱為條件平均為0 的假設
(zero conditional mean assumption)。
CH2 簡單迴歸模型 第28-29頁
2.1 簡單迴歸模型的定義
將(2.1) 式在x 的條件下取條件期望值,並利用
E(u|x) = 0 可得
E( y | x) 0 1x
2.8
(2.8) 式顯示母體迴歸函數(population regression
function, PRF),E(y|x),是x 的線性函數。
線性的意義:x增加一單位,使y的期望值變動β1。
CH2 簡單迴歸模型 第30頁
2.1 簡單迴歸模型的定義
CH2 簡單迴歸模型 第30頁 圖2.1
2.2 推導普通最小平方估計
首先,我們必須要有一個從母體中得到的樣本。
>討論主題:家庭所得對儲蓄之影響。樣本數:15<
令{(xi, yi): i =1,…,n}代表一由母體中所得之大小為
n 的隨機樣本。由於這些資料來自(2.1) 式,我們
可以對每一個i 寫出
yi 0 1 xi ui
2.9
由於ui包含除了xi之外所有影響的yi因素,因此它
為觀察值i之誤差項。
CH2 簡單迴歸模型 第31頁
2.2 推導普通最小平方估計
在母體中,u 之平均數為0 且和x 無相關。因此,
我們看到u 之期望值為0 且x 和u 之共變異數為0:
E(u ) 0
2.10
和
Cov( x, u) E( xu) 0
CH2 簡單迴歸模型 第32頁
2.11
2.2 推導普通最小平方估計
使用可觀察的變數x和y 及未知參數β0 和β1,(2.10)
式和(2.11) 式可寫為
E( y 0 1 x) 0
2.12
E[ x( y 0 1x)] 0
2.13
和
CH2 簡單迴歸模型 第32頁
2.2 推導普通最小平方估計
CH2 簡單迴歸模型 第32頁 圖2.2
2.2 推導普通最小平方估計
在某一個資料樣本中,我們選擇 ˆ0 和 ˆ1 以解
(2.12) 式和(2.13) 式之樣本對應
和
此為估計之動差法(method of moments) 的一個例
子。
CH2 簡單迴歸模型 第33頁
2.2 推導普通最小平方估計
利用相加因子之基本特性,(2.14) 式可重寫成
其中 y n i 1 yi 為yi之樣本平均,而 x 之定義亦
類似於 y 。此方程式使我們得以將 ˆ0 用 ˆ1 、 y、x
來表示:
1
n
CH2 簡單迴歸模型 第33頁
2.2 推導普通最小平方估計
將(2.15) 式之n-1 剔除(由於它並不影響結果),以及
將(2.17) 式代入(2.15) 式中得到
移項重組之後,可得
n
n
i 1
i 1
ˆ
x
(
y
y
)
i i
1 xi ( xi x )
再利用相加因子之基本特性
n
n
2
x
(
x
x
)
(
x
x
)
及
i i
i
i 1
i 1
n
n
x ( y y ) ( x x )( y y )
i 1
i
i
CH2 簡單迴歸模型 第33頁
i 1
i
i
2.2 推導普通最小平方估計
因此,在以下的條件成立下
n
2
(
x
x
)
0
i
2.18
i 1
估計的斜率為
n
ˆ
( x x )( y y )
i
i 1
i
n
2
(
x
x
)
i
i 1
CH2 簡單迴歸模型 第34頁
2.19
2.2 推導普通最小平方估計
(2.19) 式只是x 和y 的樣本共變異數除以x 的樣本
變異數。
我們可以由此式得到一個立即的涵義,就是x 和y
在樣本中正相關,則 ˆ1 為正;若x 和y 負相關,則 ˆ1
為負。
我們只要求 x 在樣本中必須有變化
n個x,至少要有一個x值與其他的值不同。
CH2 簡單迴歸模型 第34頁
2.2 推導普通最小平方估計
CH2 簡單迴歸模型 第35頁 圖2.3
2.2 推導普通最小平方估計
在(2.17) 和(2.19) 式之估計稱為β0和β1的普通最小
平方(ordinary least squares, OLS) 估計。
任何 ˆ0 和 ˆ1 ,定義一個當x = xi之y 的配適值(fitted
value) 如
真正的yi及其配適值的差異即為觀察值i 之殘差
(residual):
CH2 簡單迴歸模型 第34頁
2.2 推導普通最小平方估計
CH2 簡單迴歸模型 第36頁 圖2.4
2.2 推導普通最小平方估計
假設我們選擇 ˆ0 和 ˆ1 使得殘差平方和(sum of
squared residuals)
極小化。
決定了OLS 估計之截距和斜率,我們就可得出
OLS 迴歸線(OLS regression line):
CH2 簡單迴歸模型 第35-36頁
2.2 推導普通最小平方估計
由於它是母體迴歸函數
的估計
版,(2.23) 式亦被稱為樣本迴歸函數(sample
regression function, SRF)。我們應該記住PRF是在
母體中固定且未知的。
CH2 簡單迴歸模型 第37頁
2.2 推導普通最小平方估計
大多數情況下的斜率估計可被寫為
ˆ1 yˆ / x
2.24
它告訴我們當x 變動一單位時 yˆ 變動的數量。
yˆ ˆ1x
2.25
所以在x 任意變動之下(無論正或負),我們可以計
算y 的預測變動。
CH2 簡單迴歸模型 第37頁
2.2 推導普通最小平方估計
CH2 簡單迴歸模型 第38頁 圖2.5
2.2 推導普通最小平方估計
範例2.4 (p.39)
2.27式
file: wage1
CH2 簡單迴歸模型 第38頁 圖2.5
OLS 統計量的代數特性
對OLS 估計和它們相關的統計量有一些有用的代
數特性。我們現在提出三個最重要的。
(1) OLS 殘差之總和以及樣本平均為0。數學上
n
uˆ
i 1
i
0
2.30
(2) 自變數和OLS 殘差之樣本共變異數為0。此特
性是從(2.15) 式之一階條件而來,它可用殘差
來表示
n
x uˆ
i 1
i i
0
CH2 簡單迴歸模型 第42-43頁
2.31
OLS 統計量的代數特性
(3) ( x , y ) 永遠會在OLS 迴歸線上。換句話說,如
果我們在(2.23) 式中用 x 替換x,則OLS 預測
值為 y 。
yi yi ui
CH2 簡單迴歸模型 第43-44頁
2.32
配適值和殘差
CH2 簡單迴歸模型 第43頁 表2.2
OLS 統計量的代數特性
將總平方和(total sum of squares, SST)、被解釋平
方和(explained sum of squares, SSE) 及殘差平方和
(residual sum of squares, SSR) 定義如下:
n
SST ( yi y ) 2
2.33
i 1
n
SSE ( yˆi y ) 2
2.34
i 1
n
SSR uˆ12
i 1
CH2 簡單迴歸模型 第44頁
2.35
OLS 統計量的代數特性
y的總變異性可被表示為被解釋變異性SSE 與不可
被解釋變異性SSR 之加總。故
2.36
SST = SSE + SSR
若我們可證明(2.37) 式,則(2.36) 式即可成立
n
u ( y
i
i 1
i
y) 0
CH2 簡單迴歸模型 第44-45頁
2.37
配適度
假定總平方和SST 不等於0 ──除了所有yi 的值都
相等之外此必定成立──我們可以將(2.36) 式除以
SST 以得到1=SSE/SST+SSR/SST。迴歸之R2 有時
稱為判定係數(coefficient of determination),其定
義為
< R2 為被解釋變異對總變異之比例>
R2 SSE / SST 1 SSR / SST
2.38
由於SSE 不會大於SST,故R2必定在0 和1 之間。
在解釋R2時,我們通常將它乘100 以將其轉換成
百分比: 100.R2為y 之樣本變異可被x 解釋的百
分比。
CH2 簡單迴歸模型 第46頁
衡量單位和函數形式
衡量單位變動對OLS統計量之效應: R2不會因y或
x的單位而改變。
簡單迴歸加入非線性:迴歸是否加入非線性關係
視模型需求及討論主題而定。
CH2 簡單迴歸模型 第49頁 圖2.6
簡單迴歸加入非線性
CH2 簡單迴歸模型 第49頁 圖2.6
簡單迴歸加入非線性
CH2 簡單迴歸模型 第52頁 表2.3
假設SLR.1 參數線性
在母體模型中,應變數y和自變數x 相關聯,且誤
差項(或干擾項)u為
y 0 1 x u
2.47
其中β0 和β1 為母體之截距和斜率參數。
參數為線性(無次方或開根號等)
CH2 簡單迴歸模型 第54頁
假設SLR.2 隨機抽樣
由(2.47) 式母體模型中可得一大小為n 的隨機樣本
{(xi, yi): i =1,2,...,n}。
CH2 簡單迴歸模型 第54頁
假設SLR.3 解釋變數的樣本變異性
x 的樣本結果,{xi, i= 1, ..., n},其值不全部相同。
CH2 簡單迴歸模型 第55頁
假設SLR.4 條件平均為0
在任意既定的解釋變數值之下,誤差項 u 的期望
值為0。換句話說,
E(u | x) 0
CH2 簡單迴歸模型 第56頁
CH2 簡單迴歸模型 第55頁 圖2.7
OLS 的不偏性 <以下證明可略過>
n
n
n
( x x ) ( x x ) x ( x x )u
i 1
i
0
i
i 1
1 i
i 1
i
i
n
n
n
i 1
i 1
i 1
0 ( xi x ) 1 ( xi x )xi ( xi x )ui
2.51
2
而 i 1 ( xi x ) 0 和 i 1 ( xi x ) xi i 1 ( xi x )
= SSTx。
n
n
CH2 簡單迴歸模型 第57頁
n
OLS 的不偏性
n
ˆ
因此,我們可將 1 的分子寫為1SSTx i 1 ( xi x )ui
。將其寫在分母之上得
n
ˆ1 1
( x x )u
i 1
i
SSTx
i
n
1 (1/ SSTx ) di ui
i 1
CH2 簡單迴歸模型 第57頁
2.52
定理2.1 OLS 之不偏性
利用假設SLR.1 至SLR.4
對任何β0和β1而言
換句話說,ˆ0 為β0之不偏估計式,以及 ˆ1 是β1之
不偏估計式。
CH2 簡單迴歸模型 第58頁
OLS估計式之變異數
現在我們知道估計的抽樣分配是集中於真實參數
的
要了解該分配的分散程度
需要另一假設
假設 Var(u|x) = σ2 (同質變異性)
CH2 簡單迴歸模型 第61頁
假設SLR.5 同質變異性
在任意既定的解釋變數值之下,誤差項u 有相同
的變異數。換句話說,
Var(u | x)
2
CH2 簡單迴歸模型 第61頁
OLS估計式之變異數
由於Var(u|x) = E(u2 |x) [E(u|x)]2且E(u|x) = 0 ,其
代表σ2 = E(u2|x)亦為u2 之非條件(unconditional) 期
望值。由於E(u) = 0;因此, σ2 = E(u2) = Var(u) 。
換句話說, σ2 為u 的非條件變異數,也因此σ2被
稱為誤差變異數(error variance) 或干擾項變異數。
σ 2的平方根σ為誤差之標準差。
CH2 簡單迴歸模型 第61頁
OLS估計式之變異數
我們可用y 的條件平均和條件變異數的形式寫假
設SLR.4 和SLR.5
E( y | x) 0 1 x
2.55
Var( y | x) 2
2.56
當Var (u|x) 取決於x 誤差項,即存在異質變異性
(heteroskedasticity)或是非常數的變異數。由於Var
(u|x) = Var (y|x) ,每當Var (y|x)為x 的函數時,異
質變異性就會存在。
CH2 簡單迴歸模型 第61頁
OLS估計式之變異數
每一x值之下的分配皆相同:
同質變異性。
CH2 簡單迴歸模型 第62頁 圖2.8
OLS估計式之變異數
每一x值之下的分配不盡相同:
異質變異性。
CH2 簡單迴歸模型 第63頁 圖2.9
估計誤差變異數
因為我們無法觀察到ui,因此我們不知道誤差變
異數2 的值
我們只能觀察到殘差ûi
我們可以使用殘差來估計誤差變異數
CH2 簡單迴歸模型 第65-66頁
估計誤差變異數
利用(2.32) 式和(2.48) 式,我們可將殘差寫為誤差
的函數
uˆi yi 0 1 xi (0 1 xi ui ) 0 1 xi
或
uˆi ui ( 0 0 ) ( 1 1 ) xi
2.59
σ2之不偏估計式我們做了自由度的調整:
n
2
1
u i SSR / (n 2)
(n 2) i 1
2
CH2 簡單迴歸模型 第65-66頁
2.61
估計誤差變異數
此稱為迴歸的標準誤(standard error of the
regression, SER)。
由於 sd( 1 ) / SST,
x sd( 1 ) 之一個自然的估計
式為
1/ 2
2
ˆ
se( 1 ) / SSTx / ( xi x )
i 1
n
此稱為 βˆ1 之標準誤(standard error of βˆ1 )。
CH2 簡單迴歸模型 第67頁
2.6 通過原點的迴歸
我們現在選擇一個斜率估計式稱為 1,且其迴歸
線的形式為
y 1x
2.63
其中在 1 和 y 之上的符號是用來區別斜率和截距
同時存在的估計式。由於(2.63) 式通過x = 0 和 y 0
,稱為通過原點的迴歸(regression through the
origin)。
CH2 簡單迴歸模型 第68頁
2.6 通過原點的迴歸
要獲得(2.63) 式之斜率估計,我們仍要依賴普通
最小平方的方法,即殘差平方和極小化︰
n
2
(
y
x
)
i 1i
2.64
i 1
利用微積分可證明 1 必須是一階條件的解︰
n
x (y x ) 0
i 1
i
i
1 i
CH2 簡單迴歸模型 第68頁
2.65
2.6 通過原點的迴歸
由此可解 1 在不是所有xi為0 之下:
n
x y
i 1
n
i
i
x
i 1
2
i
CH2 簡單迴歸模型 第68頁
2.66