Transcript Durbin-Watson檢定統計量

銘傳應用統計系
第十三章
簡單線性迴歸分析-3
Simple Linear Regression -3
13 - 1
學習目標
銘傳應用統計系
1. 複習 ----簡單線性迴歸分析- 1 、 2
2. 今日內容 -----
簡單線性迴歸分析- 3
13 - 2
學習目標 (複習—重點內容)
銘傳應用統計系
簡單線性迴歸分析- 1
1. 簡單線性迴歸模型 ----- 迴歸模型參數之估計
2. 模型各變異量的估計 ----- ANOVA 表
簡單線性迴歸分析- 2
3. 估計誤差項的變異情形
4. 決定係數的計算與解釋 ----- R2 (或是 r2 )
13 - 3
學習目標 (今日內容 )
銘傳應用統計系
評估衡量所建立的模型
簡單線性迴歸分析- 3
5. 驗證迴規模型成立的假設
6. 迴歸斜率係數的檢定
7. 電腦使用及報表的解讀
13 - 4
迴歸模型使用時的步驟
銘傳應用統計系
F
Regression Modeling Steps
1. 事先決定反應變數與獨立變數間的模式
2. 估計模式的參數
3. 模式中誤差項的機率分配之描述
4. 評估衡量所建立的迴歸模型
 驗證迴規模型成立的假設
 迴歸斜率係數的檢定
5. 利用模式做估計或預測工作
13 - 5
驗證迴規模型成立的假設
銘傳應用統計系
(1) 複習 ----- 簡單線性迴歸模型
(2) 了解 ----- 線性迴歸成立的假設
(3) 驗證 ----- 殘差分析
13 - 6
簡單線性迴歸模型
銘傳應用統計系
獨立變數Ｘ和反應變數Ｙ之間為線性關係
截距參數
Y-intercept
斜率參數
slope
Yi = b 0 + b1X i + e i
因變數(Dependent
response variable)
13 - 7
自變數
(Independent
, explanatory
variable)
隨機誤差
Random error
簡單線性迴歸模型圖解
銘傳應用統計系
Yi = b 0 + b 1 X i + e i
Y
觀察值
ei = 隨機誤差
Random error
E Y  = b 0 + b 1 X i
母體的真實關係
X
觀察值
13 - 8
簡單迴歸模型下的母體與
樣本
銘傳應用統計系
母體Population
隨機取樣
Random Sample
假設母體關係
：未知為參數
L$
Yi = b 0 + b1X i + e i
J$
13 - 9
J$
K$
J$
Yi = bˆ0 + bˆ1 X i + eˆi
J$
K$
簡單線性迴歸模型取樣後結果
銘傳應用統計系
Yi = b 0 + b1 X i + e i
Y
未取到的
觀察值
e^i = 殘差
觀察值
觀察到的誤差
Yˆi = bˆ0 + bˆ1 X i
根據樣本所建立的模型
觀察值
13 - 10
E Y  = b 0 + b1 X i
母體的真實關係
X
隨機誤差的圖形表達
銘傳應用統計系
Y2 = bˆ0 + bˆ1 X 2 + eˆ2
Y
e^4
e^2
e^1
e^3
Yˆi = bˆ0 + bˆ1 X i
X
13 - 11
隨機誤差機率分配示意圖
銘傳應用統計系
Error Probability Distribution
f(e)
殘差
e = eˆ
不同Ｘ值所對應的Y值
均呈現常態分配，而且有相同的變異
數
= Y  Yˆ
Y
X2
X1
X
13 - 12
迴歸直線
線性迴歸成立的假設
銘傳應用統計系
1. 常態


每一個Ｘ值所相對應的Y值，通常有許多值，這
些值之間呈現的為常態分配
誤差項ei 的機率分配為常態
2. 變異數為固定常數

誤差項的變異數為固定常數，通常命名為s2
3. 誤差項之間相互獨立
13 - 13
迴歸模型適用前滿足之假設
銘傳應用統計系
1. 隨機誤差機率分配的平均數為 0
2. 隨機誤差機率分配的變異數為固定常數 s2
3. 隨機誤差機率分配為常態分配
4. 任何隨機誤差間均相互獨立
e i 
 N (0, s )
i .i .d .
i.i.d:獨立且為完全相同之分配
13 - 14
殘差分析
Residual Analysis
銘傳應用統計系
目的


檢驗自變數Ｘ值與所對應的因變數Y值是否
為線性關係
評估是否合乎線性迴歸成立的假設
使用殘差的繪圖分析 ( e = eˆ = Y  Yˆ )

繪製殘差圖 ( 殘差 vs X, 或Y )
13 - 15
殘差分析 (檢驗線性結構)
銘傳應用統計系
13 - 16
Studentized 殘差 (SR)
銘傳應用統計系
X  X 
 X  X 
2
SRi =
SYX
ei
1  hi
where
1
hi = +
n
i
n
i =1




2
i
加入了自變數之間的差異考量
也考量了自變數與因變數的差異
調整了 殘差的大小，反應出樣本點在迴歸
線附近的變動
可以用來驗證齊一性 -----『變異數是否一
致』
13 - 17
殘差分析 (檢驗齊一性)
銘傳應用統計系
13 - 18
【Excel的執行】
銘傳應用統計系
選項『工具』『資料分析』『迴歸』
在產生的對話窗口內，分別輸入所需要的相關
資訊，則可以得到「迴歸分析」的結果。
13 - 19
殘差分析 (Excel 例題 一)
銘傳應用統計系
你是銘傳熊寶寶的行銷分析人員，根據過去所花廣告費
用(千元)與實際銷售量(千個)的樣本，繪製廣告費用與銷
售量間的殘差圖
【Excel 執行過程】
利用 Excel中選項『工具』『資料分析』『迴歸』，
所產生的廣告預測費用及殘差如下表:
13 - 20
廣告費用
銷售量
銷售量預測
殘差
1
1
0.6
0.4
2
1
1.3
-0.3
3
2
2
0
4
2
2.7
-0.7
5
4
3.4
0.6
Excel中「迴歸」所產生的殘差圖
銘傳應用統計系
廣告費用
銷售量
銷售量預測
殘差
廣告費用 殘差圖
0.8
0.6
1
1
0.6
0.4
0.4
0.2
2
1
1.3
-0.3
殘差
0
-0.2 0
3
2
2
0
1
2
3
4
5
6
-0.4
-0.6
4
2
2.7
-0.7
5
4
3.4
0.6
13 - 21
-0.8
廣告費用
殘差分析圖 ( 例題二 )
銘傳應用統計系
Observation
1
2
3
4
5
6
7
Excel Output
Residual Plot
0
1000
2000
13 - 22
3000
4000
Square Feet
5000
6000
Predicted Y
4202.344417
3928.803824
5822.775103
9894.664688
3557.14541
4918.90184
3588.364717
Residuals
-521.3444173
-533.8038245
830.2248971
-351.6646882
-239.1454103
644.0981603
171.6352829
殘差分析 (檢驗獨立性)
銘傳應用統計系
n
Durbin-Watson 統計量




D=
2
(e

e
)
 i i 1
i =2
n
2
e
i
i =1
檢驗獨立性
誤差項之間的獨立性質不成立，此時的現象
，稱之為「誤差自我相關」，指的是前後觀
察值有相互的影響 。
DW值須接近2，否則要作『自我相關』的檢
測。
因為DW附表的限制，n 必須大於 15。
13 - 23
殘差分析 ----- 例題三
銘傳應用統計系
由一直線迴歸估計式，所得到的16個殘差平方和 、一
階殘差平方和之相關資料如下表
 計算Durbin-Watson檢定統計量，並檢定：直線迴
歸模型中，誤差項之間的相關性。(=0.05)
e
總和
13 - 24
2
i
21.9062
(ei  ei 1 )
62.7703
2
Durbin-Watson檢定統計量
銘傳應用統計系
Durbin-Watson檢定統計量 的值
d=
13 - 25
62 .7703
21 .9062
=2.8654
( 例題三 )
查尋Durbin-Watson表格
銘傳應用統計系
Finding critical values of Durbin-Watson Statistic
 =5
p=1
p=2
n
dL
dU
dL
dU
15
1.08
1.36
.95
1.54
16
1.10
1.37
.98
1.54
13 - 26
銘傳應用統計系
Using the
Durbin-Watson Statistic
Reject H0
(positive
autocorrelation)
0
dL
13 - 27
Inconclusive
Accept H0
(no autocorrelatin)
dU
2
4-dU
Reject H0
(negative
autocorrelation)
4-dL
4
DW例題結論 (例題三 )
銘傳應用統計系
Durbin-Watson檢定統計量 的值
d =2.8654
查尋Durbin-Watson表格
dL =1.10
dU =1.37
4-dU =2.63
結論： 2.63 < DW (2.8654) < 2.9
 無法判斷獨立與否
13 - 28
4-dL =2.9
殘差分析圖 (檢驗獨立性)
銘傳應用統計系

誤差項沒有相互獨立
e
誤差項相互獨立
e
Time
13 - 29
Time
學習目標
銘傳應用統計系
評估衡量所建立的模型
簡單線性迴歸分析- 3
5. 驗證迴規模型成立的假設
6. 迴歸斜率係數的檢定
7. 電腦使用及報表的解讀
13 - 30
簡單線性迴歸模型
銘傳應用統計系
獨立變數Ｘ和反應變數Ｙ之間為線性關係
截距參數
Y-intercept
斜率參數
slope
Yi = b 0 + b1X i + e i
因變數(Dependent
response variable)
13 - 31
自變數
(Independent
, explanatory
variable)
隨機誤差
Random error
迴歸模型的母數與表達
銘傳應用統計系
(continued)
bo 與b1為模型的母數（參數、Parameter)
bˆ 0 (有些課本表為bo) 與 bˆ1 (有些課本表為b1)
則為相對應的估計（統計）
bˆ 0
為 bo之估計
bˆ1 為 b1之估計
13 - 32
迴歸模型各係數的預估求解
銘傳應用統計系

 n 
X
Yi( x , y ) 必在迴歸線上

註：

i



n
迴歸直線預估方程式
i =1

  i =1 
X
Y


i i
n
n
n




i
=
1
ˆ
X
  i   Yi 
2 n
Ybˆi 1 == bˆ0 + bˆ1 X i n

  X iYi   i =1  i =1 
 ˆX i  i =1
n
n
i =1b 1 =
2
2


n
X




i
X
  i 
n
i =1
n
n
2
X
 i 
bˆ0 = Y  bˆ1 X
方程式截距的估計
13 - 33
i =1
bˆ0 = Y  bˆ1 X

i =1
n
方程式斜率的估計
迴歸斜率係數的檢定
Test of Slope Coefficient
銘傳應用統計系
1. 決定因變數Y與自變數X間是否線性相關
2. 檢定線性相關斜率b1
3. 虛無與對立假設Hypotheses


H0: b1 = 0 (無線性相關)
H1: b1  0 (有線性相關)
4. 以樣本斜率的抽樣分配為理論基礎
13 - 34
樣本斜率的抽樣分配
銘傳應用統計系
13 - 35
斜率係數的檢定統計量
銘傳應用統計系
Slope Coefficient Test Statistic
檢定統計量
T=
bˆ1  b1
S bˆ
1
其中
檢定統計量 Ｔ具有之抽樣分配是
t-分配，自由度 = n-2
13 - 36
斜率係數的檢定決策
銘傳應用統計系
決策：檢定統計量的值是否落在拒絕域。當檢定統計
值落在拒絕域，表示無法接受H0（拒絕H0）。
13 - 37
斜率係數的信賴區間
銘傳應用統計系
ˆb  t (n  2) * S ˆ
1 
b
2
13 - 38
1
斜率係數的信賴區間與決策
銘傳應用統計系
bˆ 1 t (n  2) * S bˆ
2
13 - 39
1
線性斜率係數檢定例 (例題四)
銘傳應用統計系
你是銘傳熊寶寶的行銷分析人員， 已知
b0 = -.1, b1 = .7 且MSE = 0.36667。
廣告費
銷售量
1
1
2
1
3
2
4
2
5
4
以顯著水準.05 下檢定銷售量與
廣告費間是否線性相關?
13 - 40
迴歸模型計算用總結表
銘傳應用統計系
Xi
Yi
2
Xi
1
1
1
1
1
2
1
4
1
2
3
2
9
4
6
4
2
16
4
8
5
4
25
16
20
15
10
55
26
37
13 - 41
2
Yi
XiYi
檢定統計Test Statistic
銘傳應用統計系
tn2 =
bˆ1  b1
S bˆ
0.70  0
=
= 3.656
0.1915
1
where
S bˆ =
1
MSE


 Xi 
n
2
 i =1 
X


i
n
i =1
13 - 42
n
2
=
0.60553

15
55 
3
5
= 0.1915
斜率係數檢定
銘傳應用統計系
Test of Slope Parameter
1. H0: b1 = 0
2. H1: b1≠ 0
3  = .05
df = 5 - 2 = 3
4. Critical Value(s):
Reject
.025
t=
bˆ1  b1
S bˆ
0.70  0
=
= +3.656
0.1915
1
Reject
6. Decision:
在  = .05拒絕Ｈ0
.025
-3.1824 0 3.1824
13 - 43
5. 在Ho的Test Statistic:
t
結論:兩者之間存在著
顯著的線性相關
斜率係數檢定 (例題)
銘傳應用統計系
13 - 44
使用電腦結果分析斜率的檢定
銘傳應用統計系
Parameter Estimates
Parameter Standard T for H0:
Variable DF Estimate
Error
Param=0 Prob>|T|
INTERCEP 1 -0.1000
0.6350
-0.157
0.8849
ADVERT
1
0.7000
0.1914
3.656
0.0354
^
bk
Sb^
k
^
t* = bk / Sb^
k
p-value
13 - 45
斜率係數檢定例 (例題五) – 1/3
銘傳應用統計系
Data for Seven Stores:
Store
1
2
3
4
5
6
7
Square
Feet
Annual
Sales
($000)
1,726
1,542
2,816
5,555
1,292
2,208
1,313
3,681
3,395
6,653
9,543
3,318
5,563
3,760
13 - 46
Estimated Regression
Equation:

Yi = 1636.415 +1.487Xi
The slope of this
model is 1.487.
Ｑ：店面大小是否會
影響年銷售量?
斜率係數檢定例 (例題五) – 2/3
銘傳應用統計系
Test Statistic:
H0: b1 = 0
From Excel Printout b
1
H1: b1  0
Coefficients Standard Error
 = .05
Intercept
1636.4147
451.4953
df = 7 - 2 = 5
Footage
1.4866
0.1650
Decision:
Critical Value(s):
拒絕 H0
Reject
Reject
.025
13 - 47
t
t Stat P-value
3.6244 0.01515
9.0099 0.00028
Conclusion:
店面大小會影響銷售量
.025
-2.5706 0 2.5706
Sb1
t
斜率係數檢定例 (例題五) – 3/3
銘傳應用統計系
斜率係數的信賴區間: b1  tn2 Sb1
Excel 執行結果
L o w er 95%
I n te r c e p t
U p p er 95%
475.810926
2797.01853
X V a r i a b l e 11 . 0 6 2 4 9 0 3 7
1.91077694
斜率係數的95%信賴區間 ＝ (1.062, 1.911).
沒有包含 0；
結論: 拒絕H0，表示 店面大小會影響年銷售量
13 - 48
斜率係數檢定: F
– 檢定
銘傳應用統計系
探討問題：因變數Y受到自變數X的線性影響？
統計假設


H0: b1 = 0
H1: b1  0
Ｆ- 檢定統計量


(沒有線性關係)
(有線性關係)
SSR
1
F =
SSE
 n  2
分子 d.f.=1, 分母 d.f.=n-2
13 - 49
斜率係數檢定決策: F
– 檢定
銘傳應用統計系
利用F-統計量所作的決策如下：（在特定顯
著水準之下）
F-臨界值 = F (df1, df 2 )，當檢定統計量f值 > F臨界值，則拒絕H0，表示迴歸模型適合描
述此類自變數與依變數間的關係。另外，
我們也可以計算P-值 = P(F>f)，並作決策：
當P-值 <，則拒絕H0；其中，f為F檢定統
計量的樣本值。
13 - 50
Relationship between
a t Test and an F Test
銘傳應用統計系
Null and alternative hypotheses


H0: b1 = 0 (No linear dependency)
H1: b1  0 (Linear dependency)
t 
n2
13 - 51
2
= F1,n 2
斜率係數F –檢定例 (例題六) – 1/2
銘傳應用統計系
Ｑ： 7 家連鎖店的店面大小是否會影響年銷售量?
ANOVA
df
Regression
Residual
Total
1
5
6
SS
MS
F Significance F
30380456.12 30380456.12 81.179
0.000281
1871199.595 374239.919
32251655.71
F檢定統計量 ＝ 81.179
13 - 52
斜率係數F –檢定例 (例題六) – 2/2
銘傳應用統計系
H0: b1 = 0
F-檢定統計量＝81.179 > 6.61
H1: b1  0
 = .05
拒絕 H0
分子 df = 1
分母df = 7 - 2 = 5
店面大小會影響銷售量
Reject
 = .05
0
13 - 53
6.61
F1,n2
今日課程複習
銘傳應用統計系
1.
2.
3.
4.
5.
6.
7.
簡單線性迴歸模型 ( 簡單線性迴歸分析- 1 )
模型各變異量的估計 ( 簡單線性迴歸分析- 1 )
估計誤差項的變異情形 ( 簡單線性迴歸分析- 2)
決定係數的計算與解釋 ( 簡單線性迴歸分析- 2 )
驗證迴規模型成立的假設 ( 簡單線性迴歸分析- 3 )
迴歸斜率係數的檢定 ( 簡單線性迴歸分析- 3 )
電腦使用及報表的解讀 ( 簡單線性迴歸分析- 3 )
13 - 54