Transcript 雙邊對立假設
Chapter 4 複迴歸分析： 推論 4.1 OLS 估計式之抽樣分配 當我們條件於樣本中自變數的值時，很清楚地 OLS 估計式之抽樣分配取決於誤差項的分配。為 了讓 ˆ j 之抽樣分配容易控制，我們現在假設不可 觀察的誤差在母體中為常態分配。我們稱為常態 性假設(normality assumption)。 CH4 複迴歸分析：推論 第139頁 假設MLR.6 常態性 母體誤差 u 和解釋變數x1, x2, ..., xk 相獨立且其為 平均數是0，變異數是σ2 之常態分配：u ~ Normal (0, σ2 )。 CH4 複迴歸分析：推論 第140頁 4.1 OLS 估計式之抽樣分配 就橫斷面迴歸應用而言，假設MLR.1 至MLR.6 稱 為古典線性模型假設[classical linear model (CLM) assumptions]。因此，我們將在此六假設之下的模 型稱為古典線性模型(classical linear model)。我們 最好把CLM 假設想成包含所有高斯馬可夫假設， 加上誤差項為常態分配假設。 CH4 複迴歸分析：推論 第140頁 4.1 OLS 估計式之抽樣分配 歸納CLM 之母體假設的方法為 y | x ~ Normal(0 1x1 2 x2 k xk , 2 ) 其中x 為(x1,…, xk) 的簡寫。因此，條件於x 之下，y 之分配為垂直散布之平均數線性於x1,…, xk且變異 數為常數之常態分配。對於單一自變數x，此種情 況顯示於圖4.1。 關於常態分配補充：課本p140~142 CH4 複迴歸分析：推論 第140頁 4.1 OLS 估計式之抽樣分配 CH4 複迴歸分析：推論 第141頁 圖4.1 定理4.1 常態抽樣分配 在MLR.1 至MLR.6 之CLM 假設下，且條件於自 變數樣本值之下， 其中 Var( ˆ j ) 如第3 章[ (3.51) 式]。因此， CH4 複迴歸分析：推論 第142頁 4.2 單一母體參數之檢定假設：t 檢定 母體模型可被寫為 y 0 1x1 k xk u 且我們假設它符合CLM 假設。 CH4 複迴歸分析：推論 第143頁 4.2 定理4.2 標準化的估計式之t 分配 在MLR.1 至MLR.6 之CLM 假設下， 其中k ＋ 1 為母體模型y = 0 + 1x1 + … + kxk + u (k 個斜率參數及截距 β0 ) 之未知參數數目，而n k 1 為自由度(df)。 n : 樣本數 k+1: β 個數 n-k-1: 自由度 CH4 複迴歸分析：推論 第143頁 4.2 單一母體參數之檢定假設：t 檢定 在大多數的應用中，我們主要的興趣是在檢定虛 無假設(null hypothesis) H0 : j 0 4.4 其中j 對應於k 個自變數中的任一個。 檢定(4.4) 式之統計量稱為 ˆ j 的「專屬」t 統計量(t statistic) 或是「專屬」t 比值(t ratio)，且其定義為 CH4 複迴歸分析：推論 第144頁 檢定單邊對立假設 決定一個拒絕H0的規則，我們必須決定相關的對 立假設(alternative hypothesis)。首先，考慮一個單 邊對立假設(one-sided alternative) H1 : j 0 CH4 複迴歸分析：推論 第146頁 4.6 檢定單邊對立假設 首先必須決定顯著水準(significance level) (簡稱「 水準」) 或是當其為真時拒絕H0之機率。 「足夠大的」之定義在5% 顯著水準下，自由度為 n － k － 1之t 分配的第95 百分位數；將此稱為c。 換句話說，拒絕規則(rejection rule)為若 t ˆ c j 4.7 則在5% 顯著水準下H0被拒絕且同意H1。 CH4 複迴歸分析：推論 第146頁 檢定單邊對立假設 CH4 複迴歸分析：推論 第147頁 圖4.2 檢定單邊對立假設 練習 課本p148 範例4.1 CH4 複迴歸分析：推論 第147頁 圖4.2 檢定單邊對立假設 參數小於0 之單邊對立假設在實證應用中也會出 現： H1 : j 0 4.8 臨界值現在來自於t 分配的左尾。實務上，可將拒 絕規則很容易地想為 tˆ c j 4.9 其中c 為對立假設H1 : βj ＞ 0之臨界值。 CH4 複迴歸分析：推論 第148-149頁 檢定單邊對立假設 CH4 複迴歸分析：推論 第150頁 圖4.3 檢定單邊對立假設 單邊vs.雙邊 由於t分配是對稱的，要檢定H1: βj < 0是很直接的 。臨界值就是前述的值取負數 若 t 統計量 < –c, 則可拒絕虛無假設。而若 t統 計 量> –c，則無法拒絕虛無假設 就雙邊檢定而言, 我們基於 α /2 設定臨界值，且若 t 統計量之絕對值> c時，拒絕虛無假設 CH4 複迴歸分析：推論 第150頁 圖4.3 雙邊對立假設 在實證應用中，檢定虛無假設H0 : βj = 0相對於一 個雙邊對立假設(two-sided alternative) 是很普遍的 ；亦即 H1 : j 0 4.10 在此對立假設下，不需要設定其效果為正或負， xj對y 就有一其他條件不變之效果。 CH4 複迴歸分析：推論 第152頁 雙邊對立假設 當對立假設為雙邊，我們就對t 統計量之絕對值感 興趣。 H0 : βj = 0對應於(4.10) 式之拒絕法則為 | tˆ | c j 4.11 其中| | 代表絕對值且c 為我們選出的臨界值。 CH4 複迴歸分析：推論 第152頁 雙邊對立假設 若在5% 水準下， H0 被拒絕而同意(4.10) 式，我 們通常說「 xj在5% 水準下為統計顯著(statistically significant)，或是統計上異於零」。若H0 不被拒 絕，「 xj在5% 水準下為統計不顯著(statistically insignificant)。」 CH4 複迴歸分析：推論 第152頁 雙邊對立假設 CH4 複迴歸分析：推論 第153頁 圖4.4 檢定關於βj 之其他假設 若虛無假設為 H0 : j a j 4.12 其中αj為βj的假設值，而合適的t 統計量為 一般化的t 統計量寫成下式是有用的 估計- 假設值 t 標準誤 CH4 複迴歸分析：推論 第154頁 4.13 檢定關於βj 之其他假設 CH4 複迴歸分析：推論 第156頁 圖4.5 計算t 檢定之p 值 若迴歸軟體報表中在標準OLS 結果內附帶有p 值 ，我們幾乎可以確定該p 值是檢定虛無假設H0 : βj = 0 (對立於雙邊假設)。此時p 值為 P(| T || t |) 4.15 令T 代表自由度為n－ k － 1之t 分配的隨機變數， 且令t 代表t 統計量之數值。 p 值為若虛無假設為真，最大觀察到某t 統計量之 機率。這代表小的p 值是反對虛無假設的證據； 大的p 值並未提供反對H0 的證據。 CH4 複迴歸分析：推論 第158-159頁 計算t 檢定之p 值 CH4 複迴歸分析：推論 第159頁 圖4.6 經濟(或是實際) 顯著vs. 統計顯著 由於本節中我們一直強調統計顯著性，現在是一 個提醒我們除了t統計量的大小外也應注意係數之 估計大小的好時機。 xj 之統計顯著性完全是取決 於 t ˆ j 之大小，而一變數之經濟顯著性(economic significance)或實際的顯著性(practical significance) 則和 ˆ j 之大小(以及符號) 有關。 CH4 複迴歸分析：推論 第161頁 經濟(或是實際) 顯著vs. 統計顯著 記得檢定H0: βj = 0之t 統計量的定義是將估計除以 其標準誤：tˆ j / se( j ) 。因此，t ˆ 可代表統計 顯著性，一方面是由於 ˆ j「夠大」或是由於 se( ˆ j ) 「夠小」，在實證上區別t 統計量統計顯著的原因 是很重要的。太過強調統計顯著性可能導致該變 數(即使其估計的效果不大) 在解釋y 上「很重要」 的錯誤結論。 j j CH4 複迴歸分析：推論 第161頁 4.2 單一母體參數之檢定假設：t 檢定 探討複迴歸模型中某變數之經濟及統計顯著性的 指導原則： 1. 檢查統計顯著性。若該變數為統計顯著，則探討該係 數的大小以了解其實際或經濟的重要性。後面這一步 驟需要小心，它取決於自變數和應變數如何出現在方 程式中。(特別是，衡量單位為何？變數是用對數形 式嗎？) CH4 複迴歸分析：推論 第163頁 4.2 單一母體參數之檢定假設：t 檢定 探討複迴歸模型中某變數之經濟及統計顯著性的 指導原則： 2. 若在一般水準下(10%、5% 或1%) 統計不顯著，你或 許仍然要問是否該變數對y 有預期的效果，且是否該 效果在實際上是夠大的。該效果夠大，你應該算出該t 統計量的p 值。就小樣本而言，有時你可以允許p 值 大到0.20 (不過並沒有嚴格的規定)。在大的p 值下， 即小t 統計量，我們會由於該估計可能是因為抽樣誤 差，可能有誤判的危險：不同的隨機樣本可能導致非 常不同的估計。 CH4 複迴歸分析：推論 第163-164頁 4.2 單一母體參數之檢定假設：t 檢定 探討複迴歸模型中某變數之經濟及統計顯著性的 指導原則： 3. 發現t 統計量很小之變數的符號「錯誤」是很普遍。 就實用的目的而言，它們是可被忽略的：我們以此做 出這些變數是統計不顯著的結論。一個顯著的變數有 非預期的符號及實際上大的效果會產生較大的麻煩， 且較難以解決。通常我們必須對模型及資料性質考慮 得更多以解決這種問題。通常，一個違反直覺且顯著 估計是肇因於遺漏一主要變數或是自我們將在第9 章 所討論之重要問題而來。 CH4 複迴歸分析：推論 第164頁 4.3 信賴區間 在古典線性模型假設下，我們可以很容易地建構 母體參數βj 之信賴區間(confidence interval, CI)。 信賴區間由於它們對母體參數提供可能之值的範 圍，而不僅是點估計，也稱為區間估計(interval estimates)。 CH4 複迴歸分析：推論 第164頁 4.3 信賴區間 利用 為自由度n － k － 1之t 分配 [見(4.3) 式]，經過簡單運算可得到未知的βj之CI。 一個95% 之信賴區間為 其中常數c 為在 tn － k － 1分配中之第97.5 百分位數 。更精確地說，信賴區間的下界及上界為 和 CH4 複迴歸分析：推論 第164頁 4.4 對參數之單一線性組合的檢定假設 為了考慮我們估計式中之抽樣誤差，我們透過除 以標準誤將此差異標準化 課本 p167 CH4 複迴歸分析：推論 第168頁 4.5 檢定多元線性限制式：F 檢定 OLS 係數之t 統計量可用來檢定是否相對應的母 體未知參數等於任意既定常數(通常等於0，但不 是一定如此)。 CH4 複迴歸分析：推論 第170頁 檢定排除性限制 檢定是否某特定變數對應變數沒有偏效果：利用t 統計量。 檢定是否一群變數對應變數沒有效果。更精確地 說，虛無假設為一旦其他變數被控制住，則一組 變數對y 沒有效果。 多元限制的一般化範例。 對多元限制的檢定稱為多元假設檢定(multiple hypotheses test)或聯合假設檢定(joint hypotheses test)。 課本 p171 & 173 CH4 複迴歸分析：推論 第171頁 檢定排除性限制 F 統計量(F statistic)或F 比值定義為 (SSR r SSR ur ) / q F SSR ur /(n k 1) 4.37 其中SSRr為受限模型之殘差平方和， SSRur 為未 受限模型之殘差平方和。 F 分子的二個SSR 差異有除以q，其為由未受限模 型移到受限模型所限制的數目(q 個自變數被移除) 。因此，我們可寫為 q 分子自由度 dfr dfur CH4 複迴歸分析：推論 第174頁 4.38 檢定排除性限制 F 之分母的SSR 有除以未受限模型之自由度： n k 1 分母自由度 dfur 4.39 若H0 被拒絕，則我們說xk-q+1 ,…,xk在合適的顯著水 準下為聯合統計顯著的(jointly statistically significant) (或直接說聯合顯著的)。此檢定本身並 未使我們得知哪一個變數對y 有偏效果；它們可 能全部都會影響y 或是可能只有一個變數會影響y 。若虛無假設不被拒絕，則各變數為聯合不顯著 (jointly insignificant)，這通常代表它們可由模型中 移除。 CH4 複迴歸分析：推論 第174-177頁 檢定排除性限制 CH4 複迴歸分析：推論 第176頁 圖4.7 F 和t 統計量之間的關係 檢定單一變數之排除性的F 統計量等於相對應的t 2 統計量之平方。由於 tnk 1 有 F1,nk 1 的分配，這兩 種方法會導致完全相同的結果(只要對立假設為雙 邊)。 課本 p178 CH4 複迴歸分析：推論 第178頁 F 統計量的 R2 形式 要檢定排除性限制，利用由受限及未受限模型之 R2所組成的F 統計量公式是比較方便的。 其理由為R2是介於0 和1 之間，而SSRs 因取決於y 的衡量單位是可以非常大的，這使得根據SSRs 來 計算的F 較為繁瑣。 CH4 複迴歸分析：推論 第179頁 F 統計量的 R2 形式 利用 SSR r SST(1 Rr2 ) 和 SSRur SST(1 Rur2 ) 將其 代入(4.37)式而得 ( Rur2 Rr2 ) / q ( Rur2 Rr2 ) / q F 2 (1 Rur ) /(n k 1) (1 Rur2 ) / dfur 4.41 此稱為F 統計量的R2 形式 (R-squared form of F the statistic)。 CH4 複迴歸分析：推論 第179頁 計算F 檢定的p 值 在列出F 檢定之結果時，p 值是非常有用的，由於 F 分配取決於分子和分母的df，我們很難只透過觀 察F 統計量及一兩個臨界值就了解資料拒絕虛無 假設的強弱。 在F 檢定中，p 值定義為 p值 P(F F ) CH4 複迴歸分析：推論 第181頁 4.43 迴歸整體顯著性之F 統計量 以參數來描述，虛無假設為所有斜率參數為零： H0 : 1 2 k 0 4.44 在(4.44) 式中有k 個限制，當我們將其代入模型， 我們可得受限模型 y 0 u 所有自變數都由方程式中移除。 CH4 複迴歸分析：推論 第182頁 4.45 迴歸整體顯著性之F 統計量 現在估計(4.45) 式之R2為零；由於沒有解釋變數， 沒有任何的y 變異可被解釋。因此，檢定(4.44) 式 之F 統計量可寫為 R2 / k (1 R 2 ) /(n k 1) 4.46 其中R2即y 對x1, x2,…, xk迴歸之R2 。 在(4.41) 式之F 統計量才是用在一般排除性限制上 ；它取決於受限及未受限之R2 。 檢定迴歸的整體顯著性(overall significance of the regression)。 CH4 複迴歸分析：推論 第182頁 4.6 報告迴歸結果 估計的OLS 係數是應被列出的。對於分析中的主 要變數，你應該解釋該估計變數(這通常需要了解 該變數的衡量單位)。例如，對彈性的估計是否有 其他的解釋；主要變數之估計的經濟或實際重要 性應被討論。 CH4 複迴歸分析：推論 第185頁 4.6 報告迴歸結果 標準誤應該和估計係數一樣一起被列出。有些作 者偏好列出t 統計量而不是標準誤(且常常只是t 統 計量的絕對值)。雖然沒有什麼錯，但列出標準誤 是比較好的。首先，它強迫我們仔細地思考被檢 定的虛無假設；虛無假設並不永遠是母體參數為0 。第二，標準誤讓我們計算信賴區間時較為容易 。 CH4 複迴歸分析：推論 第185頁 4.6 報告迴歸結果 迴歸的R2也應被放入。我們已經看到了，除了提 供配適度的衡量，其使得計算F 統計量變得很簡 單。列出迴歸的殘差平方和及標準誤有時也是一 個好主意，然而它並不是必要的。用來估計方程 式的觀察值數目也應出現在估計的方程式附近。 CH4 複迴歸分析：推論 第185頁 回家自行練習 P194 課本練習題：10 CH4 複迴歸分析：推論 第186頁 表4.1