Transcript 兩因子ANOVA之理論
銘傳應用統計系 變異數分析(二) Analysis of Variance (二) 15 - 1 學習目標 銘傳應用統計系 1. 因子實驗設計(factorial design) 2. 解說因子間的交互作用項 3. 兩因子變異數分析analysis of variance (ANOVA) 4. ANOVA假設之檢驗 常態分配之檢驗 變異數一致性之檢驗 15 - 2 實驗設計與資料分析 銘傳應用統計系 實驗設計: 由研究者設定條件後, 執行實驗以觀 察結果是否受該條件之影響 設定條件稱為「處理」方式(treatments) 同類型處理方式稱為一個「因子」(factor) 每因子內之處理方式亦稱為「水準」(levels) 變異數分析: 檢定不同處理對實驗結果產生的 差異或效應 15 - 3 各種實驗設計 銘傳應用統計系 Experimental Designs Completely Randomized Factorial One-Way ANOVA Two-Way ANOVA 15 - 4 Other 實驗設計專有名詞 銘傳應用統計系 1. 實驗單位(experimental units/subjects) 2. 處理(treatments): 實驗中所設定或選取之條 件 3. 控制因子(factors): 由數種處理或水準組成 4. 處理效應(effect): 每一種處理對實驗結果產 生之影嚮 5. 觀測結果(observations) 15 - 5 實驗設計三原則 銘傳應用統計系 1. 隨機(randomization)取樣 不同實驗模型,設計不同隨機方式取得樣本 2. 複製(replications)樣本 在相同處理下, 重複實驗以取得的重複樣本 3. 區集(blocking)技巧 在不同處理下選取同質性高之實驗單位 實驗中,僅處理方式不同外,其它因素無法影嚮 實驗結果 15 - 6 多因子實驗設計 銘傳應用統計系 1.實驗中使用兩個或以上的因子(factors) 每一個因子有2個以上的水準(levels) 2. 實驗單位隨機指派到不同處理 任何水準之組合(level combination)成為一個處理 3. 主效應(main effect)﹕各別因子之效應 4. 交互(interact)效應﹕因子之間交互效應 5. 使用ANOVA分析檢定交互效應及主效應之不同 與否 15 - 7 多因子實驗設計的優點 銘傳應用統計系 1. 節省時間並可了解每單一因子的主要影響 或主要效應(main effects) 2. 引進多因子變數模型，可控制混淆影響 (confounding effects) 3. 可檢測各個因子之間的交互作用 (interaction effects) 15 - 8 兩因子實驗設計範例 銘傳應用統計系 因子 水準 因子2 （ 訓練方式） Level 1 Level 2 Level 3 J (高) 11 hr.J Level 2 27 hr.L (低) 29 hr.L Level 1 19 hr. 因子 1 ( 動機 ) 15 - 9 J 17 hr.J 25 hr.L 30 hr.L 20 hr. J 31 hr.J 31 hr.L 49 hr.L 22 hr. 銘傳應用統計系 兩因子變異數分析 Two-Way ANOVA 15 - 10 圖示兩因子反應變數圖 銘傳應用統計系 第一種狀況 兩條反應線重疊且平行 於X軸 A因子對於反應變數無 效應 B因子對於反應變數無 效應 12 10 8 A1 6 A2 4 2 0 B1 15 - 11 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第二種狀況 兩條反應線平行且平行 於X軸 A因子對於反應變數有 效應 B因子對於反應變數無 效應 16 14 12 10 A1 8 A2 6 4 2 0 B1 15 - 12 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第三種狀況 兩條反應線重疊但不平 行於X軸 A因子對於反應變數無 效應 B因子對於反應變數有 效應 16 14 12 10 A1 8 A2 6 4 2 0 B1 15 - 13 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第四種狀況 兩條反應線平行但不平 行於X軸 A因子對於反應變數有 效應 B因子對於反應變數有 效應 25 20 15 A1 A2 10 5 0 B1 15 - 14 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第四種狀況 兩條反應線平行但不平 行於X軸 A因子對於反應變數有 效應 B因子對於反應變數有 效應 16 14 12 10 A1 8 A2 6 4 2 0 B1 15 - 15 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第四種狀況 兩條反應線平行但不平 行於X軸 A因子對於反應變數有 效應 B因子對於反應變數有 效應 25 20 15 A1 A2 10 5 0 B1 15 - 16 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第五種狀況 兩條反應線不平行 A B兩因子間有交互作 用 A因子對於反應變數有 效應 B因子對於反應變數有 效應 15 - 17 25 20 15 A1 A2 10 5 0 B1 B2 B3 什麼是交互作用項? 銘傳應用統計系 欲解釋A因子的效應需透過 B因子的水準 如:在B1下A2-A1=2 在B2下A2-A1=5 在B3下A2-A1=8 或欲解釋B因子的效應需透 過A因子的水準 如:在A1下B2-B1=5 在A2下B2-B1=8 在A1下B3-B1=10 在A2下B3-B1=16等 15 - 18 25 20 15 A1 A2 10 5 0 B1 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第五種狀況 兩條反應線不平行 A B兩因子間有交互作 用 A因子對於反應變數有 效應 B因子對於反應變數有 效應 15 - 19 25 20 15 A1 A2 10 5 0 B1 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第五種狀況 兩條反應線不平行 A B兩因子間有交互作 用 A因子對於反應變數有 效應 B因子對於反應變數有 效應 15 - 20 25 20 15 A1 A2 10 5 0 B1 B2 B3 圖示兩因子反應變數圖(續) 銘傳應用統計系 第五種狀況 兩條反應線不平行 A B兩因子間有交互作 用 A因子對於反應變數有 效應 B因子對於反應變數有 效應 15 - 21 25 20 15 A1 A2 10 5 0 B1 B2 B3 兩因子實驗資料列表 銘傳應用統計系 因素A 1 2 : r 15 - 22 1 X111 X112 X211 X212 : Xr11 Xr12 因素 B 2 ... X121 ... X122 ... X221 ... X222 ... : : Xr21 ... Xr22 ... 第k個觀察值 c X1c1 X1c2 X2c1 X2c2 : Xrc1 Xrc2 Xijk 因素Ａ 之水準 i 因素Ｂ 之水準 j 水準組合稱為Cell 兩因子ANOVA之理論 銘傳應用統計系 1. 模式(model) ﹕ xijk代表觀測值必須是連續變數 x值=總平均+A因素主效應+B因素主效應+ 交互效應+誤差項 xijk = µ + Ai + Bj + ABij + Ijk (A因子水準 i=1, …,r ﹔B因子水準 j=1, …, c ; 樣本數 k=1, …,n’ ) 15 - 23 兩因子實驗資料列表 銘傳應用統計系 因素A 1 2 : r 15 - 24 1 X111 X112 X211 X212 : Xr11 Xr12 因素 B 2 ... X121 ... X122 ... X221 ... X222 ... : : Xr21 ... Xr22 ... 第k個觀察值 c X1c1 X1c2 X2c1 X2c2 : Xrc1 Xrc2 Xijk 因素Ａ 之水準 i 因素Ｂ 之水準 j 水準組合稱為Cell 兩因子ANOVA之理論(續) 銘傳應用統計系 2. 假設條件(assumptions)﹕ 誤差項為常態機率分配,期望值為0 ﹔誤差 值之間獨立 ijk ~ N(0, 2) ， ijk independent ijk 2須要估計 誤差項以上的假設條件, 必須正式以統計量 檢定, 或以殘差分析檢查其是否符合 15 - 25 銘傳應用統計系 兩因子變異數分析 總變異量的分割 Total Variation 總變異量SS(Total) 因為Ａ因子水準間差 異所產生的變異量 Variation due to Treatment A (SSA) 因為Ａ、Ｂ因子水準間交互 所產生的變異量 Variation due to AB Interaction (SSAB) 15 - 26 因為Ｂ因子水準間差 異所產生的變異量 Variation due to Treatment Ｂ(SSB) 因為隨機樣本取樣間差異 所產生的變異量Variation due to Random Sampling (SSE) Two-Way ANOVA Total Variation Partitioning 銘傳應用統計系 r the number of levels of factor A c the number of levels of factor B n the number of values (replications) for each cell ' n the total number of observations in the experiment X ijk the value of the k -th observation for level i of factor A and level j of factor B 15 - 27 Total Variation 銘傳應用統計系 r c n' SST X ijk X i 1 j 1 k 1 2 Sum of Squares Total = total variation among all observations around the grand mean r X c n' X i 1 j 1 k 1 ' r ijk c n' X i 1 j 1 k 1 rcn n the overall or grand mean 15 - 28 ijk Factor A Variation 銘傳應用統計系 r SSA cn X i X ' i 1 2 Sum of Squares Due to Factor A = the difference among the various levels of factor A and the grand mean 15 - 29 Factor B Variation 銘傳應用統計系 c SSB rn X j X ' j 1 2 Sum of Squares Due to Factor B = the difference among the various levels of factor B and the grand mean 15 - 30 Interaction Variation 銘傳應用統計系 r c SSAB n X ij X i X j X ' i 1 j 1 2 Sum of Squares Due to Interaction between A and B = the effect of the combinations of factor A and factor B 15 - 31 Random Error 銘傳應用統計系 r c n' SSE X ijk X ij i 1 j 1 k 1 2 Sum of Squares Error = the differences among the observations within each cell and the corresponding cell means 15 - 32 兩因子ANOVA表 銘傳應用統計系 Source of Degrees of Sum of Variation Freedom Squares Mean Square F A 因子 (Row) r-1 SS(A) MS(A) MS(A) MSE B 因子 (Column) c-1 SS(B) MS(B) MS(B) MSE AB 交互作用 (r-1)(c-1) (Interaction) SS(AB) Error 誤差 N - rc SSE C. Total 總和 N-1 SS(Total) 15 - 33 MS(AB) MS(AB) MSE MSE Same as other designs 兩因子變異數分析檢定假設 銘傳應用統計系 1. Ａ和Ｂ因素間無交互作用 H0: ABij = 0 for any (i, j) 2. 因素Ａ各水準間平均數無差異 H0: m1.. = m2.. =... = mr.. 3. 因素B各水準間平均數無差異 H0: m.1. = m.2. =... = m.c. 15 - 34 銘傳應用統計系 Two-Way ANOVA: The F Test Statistic H0: m1 .= m2 . = ••• = mr . F Test for Factor A Main Effect MSA H1: Not all mi . are equal F MSE SSA MSA r 1 Reject if F > FU H0: m 1 = m. 2 = ••• = m c F Test for Factor B Main Effect MSB H1: Not all m. j are equal F MSE SSB MSB c 1 Reject if F > FU H0: ij = 0 (for all i and j) F Test for Interaction Effect H1: ij 0 15 - 35 MSAB F MSE SSAB MSAB r 1 c 1 Reject if F > FU 銘傳應用統計系 F-檢定 統計量之臨界值 若是各處理母體間平 均數差異大, 則F = MST / MSE 1. Reject H0 Do Not Reject H0 0 15 - 36 a Fa ( p1, n p) 總是使用單尾檢定呦 Always One-Tail! F 15 - 37 Alone Group Class SUAVE SUAVE VO-5 PERT PERT VO-5 VO-5 你是銘傳行銷公司的分析 師，你想要了解產品在架 上不同位置會對產品的銷 售產生何種的影響。今隨 機抽選了三種大小的店面 、配合了四種不同的架位 。並選取架位配合店面大 小各重複兩店。使用 a = .05，檢定所有各種效應 並下結論。 PERT 銘傳應用統計系 例題﹕店面大小和架上位置 的周銷售額 例題 (續二) - 資料展示 銘傳應用統計系 店的大小 (A) 1 小型 45 50 57 65 70 78 中型 大型 15 - 38 架上位置 (B) 2 3 56 63 69 78 75 82 65 71 73 80 82 89 4 48 53 60 57 71 75 平均銷售量之交互作用圖 銘傳應用統計系 90 80 70 60 50 40 30 20 10 0 A1 A2 A3 B1 15 - 39 B2 B3 B4 銘傳應用統計系 例題 (續三) - ANOVA表（僅 展示部份） Source of Degrees of Sum of Variation Freedom Squares A (店面大小) AB (交互作用) C. Total 15 - 40 F 367.447 17.09 1,828.09 B (擺設位置) Error(誤差) Mean Square 88.91 12 21.500 3,277.34 例題 (續四) - ANOVA表 銘傳應用統計系 Source of Degrees of Sum of Variation Freedom Squares Mean Square F A (Store size) 3-1=2 1,828.09 914.045 42.51 B (Shelf loc.) 4-1=3 1,102.34 367.447 17.09 0.69 AB (Interaction) 6 88.91 14.818 Error 12 258.00 21.500 C. Total 23 3,277.34 15 - 41 銘傳應用統計系 例題 (續五) - 交互作用(店面 與架位) 1. H0: ABij = 0 (交互效應) 2. Ha: ABij 0 3 a = .05 n1 = 6 n2 = 12 4. Critical Value(s): a = .05 0 3.00 15 - 42 F 5. 在Ho的 test statistic: F* MS(AB) MSE 0.69 6. Decision: 在 a = .05下 不拒絕Ｈo 結論:並無證據顯示店面 與架位有交互作用 例題 (續六) - 主效應(店面) 銘傳應用統計系 1. H0: m1.. = m2.. = m3.. 2. Ha: Not all equal 3 a = .05 n1 = 2 n2 = 12 4. Critical Value(s): a = .05 0 3.89 15 - 43 F 5. 在Ho的 test statistic: F* MS(A) MSE 42.51 6. Decision: 在 a = .05下 拒絕Ｈo 結論:有充分證據顯示店面 大小會影響銷售額 例題 (續七) - 主效應(架位) 銘傳應用統計系 1. H0: m.1. = m.2. = m.3. 2. Ha: Not all equal 3 a = .05 n1 = 3 n2 = 12 4. Critical Value(s): a = .05 0 3.49 15 - 44 F 5. 在Ho的 test statistic: F* MS(B) MSE 17.09 6. Decision: 在 a = .05下 拒絕Ｈo 結論:有充分證據顯示架位 不同會影響銷售額 銘傳應用統計系 兩因子ANOVA分析 利用EXCEL 工具 | 資料分析 | 雙因子變異數分析:重複 試驗 Example in excel spreadsheet 15 - 45 銘傳應用統計系 15 - 46 銘傳應用統計系 15 - 47 銘傳應用統計系 15 - 48 銘傳應用統計系 15 - 49 銘傳應用統計系 15 - 50 銘傳應用統計系 15 - 51 銘傳應用統計系 15 - 52 例題二 銘傳應用統計系 因子 水準 因子2 （ 訓練方式） Level 1 Level 2 Level 3 J (高) 11 hr.J Level 2 27 hr.L (低) 29 hr.L Level 1 19 hr. 因子 1 ( 動機 ) 15 - 53 J 17 hr.J 25 hr.L 30 hr.L 20 hr. J 31 hr.J 31 hr.L 49 hr.L 22 hr. 銘傳應用統計系 兩因子ANOVA分析 利用EXCEL 工具 | 資料分析 | 雙因子變異數分析:重複 試驗 Example in excel spreadsheet 15 - 54 銘傳應用統計系 15 - 55 銘傳應用統計系 15 - 56 銘傳應用統計系 變異數分析假設之檢定— 殘差分析 Residual analysis 15 - 57 變異數分析的假設 銘傳應用統計系 1. 常態假設 (normality) 各母體均為常態分配 2. 變異數為同質（homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立 15 - 58 The Normal Distribution 銘傳應用統計系 “Bell shaped” Symmetrical Mean, median and mode are equal Interquartile range equals 1.33 Random variable has infinite range 15 - 59 f(X) m Mean Median Mode X The Mathematical Model 銘傳應用統計系 f X 1 e 1 2 2 X m 2 f X : density of random variable X 2 3.14159; e 2.71828 m : population mean : population standard deviation X : value of random variable X 15 - 60 Many Normal Distributions 銘傳應用統計系 There are an infinite number of normal distributions By varying the parameters and m, we obtain different normal distributions 15 - 61 常態分配之評估 銘傳應用統計系 Not all continuous random variables are normally distributed It is important to evaluate how well the data set seems to be adequately approximated by a normal distribution 15 - 62 常態分配之評估(續) 銘傳應用統計系 (continued) 利用圖表 小中樣本:莖葉圖, 箱型圖 大樣本:直方圖, 折線圖 最常用:常態機率繪圖 15 - 63 常態分配之評估(續) 銘傳應用統計系 (continued) 常態機率繪圖 先將資料排序 計算相對應的標準常態分配的 quantile 值 將相對應的值畫散佈圖 評估是否為一條直線 15 - 64 常態分配之評估(續) 銘傳應用統計系 (continued) Normal Probability Plot for Normal Distribution 90 X 60 Z 30 -2 -1 0 1 2 15 - 65 Look for Straight Line! 常態機率繪圖之狀況 銘傳應用統計系 Left-Skewed Right-Skewed 90 90 X 60 X 60 Z 30 -2 -1 0 1 2 -2 -1 0 1 2 Rectangular U-Shaped 90 90 X 60 X 60 Z 30 -2 -1 0 1 2 15 - 66 Z 30 Z 30 -2 -1 0 1 2 例題 (續八) – 殘差資料 銘傳應用統計系 店的大小 (A) 小型 中型 大型 15 - 67 1 -2.5 +2.5 -3.5 +3.5 -4.0 +4.0 架上位置 (B) 2 3 -3.5 +3.5 -4.5 +4.5 -3.5 +3.5 -3.0 +3.0 -3.5 +3.5 -3.5 +3.5 4 -2.5 +2.5 +1.5 -1.5 -3.0 +3.0 例題 (續九) – 殘差排序 銘傳應用統計系 -4.5, -4.0, -3.5, -3.5, -3.5, -3.5, -3.5, -3.0, -3.0, -2.5, -2.5, -1.5, +1.5, +2.5, +2.5, +3.0 +3.0, +3.5, +3.5, +3.5, +3.5, +3.5, +4.0, +4.5 15 - 68 例題 (續十) – quantile 值 銘傳應用統計系 求p(N(0,1)<Qi)=i/(N+1) 之Qi 值 -1.7, -1.4, -1.175, -0.95, -0.84, -0.705, -0.58, -0.47, -0.2, -0.1, 0, 0.1, 0.2, 0.47, 0.58, 0.705, 0.84, 0.95, 1.175, 1.4,1.7 15 - 69 例題 (續十一) – 相對應值 銘傳應用統計系 -4.5, -4.0, -3.5, -3.5, -3.5, -3.5, -3.5, -3.0, -3.0, -2.5, -2.5, -1.5, +1.5, +2.5, +2.5, +3.0 +3.0, +3.5, +3.5, +3.5, +3.5, +3.5, +4.0, +4.5 -1.7, -1.4, -1.175, -0.95, -0.84, -0.705, -0.58, -0.47, -0.2, -0.1, 0, 0.1, 0.2, 0.47, 0.58, 0.705, 0.84, 0.95, 1.175, 1.4,1.7 15 - 70 例題 (續十二) – 繪圖 0 -4 -2 x 2 4 銘傳應用統計系 -2 -1 0 Quantiles of Standard N ormal 15 - 71 1 2 銘傳應用統計系 常態機率繪圖 利用EXCEL PHStat | Probability Distributions | Normal Probability Plot… Example in excel spreadsheet 15 - 72 銘傳應用統計系 15 - 73 銘傳應用統計系 15 - 74 銘傳應用統計系 15 - 75 銘傳應用統計系 15 - 76 例題二 銘傳應用統計系 因子 水準 因子2 （ 訓練方式） Level 1 Level 2 Level 3 J (高) 11 hr.J Level 2 27 hr.L (低) 29 hr.L Level 1 19 hr. 因子 1 ( 動機 ) 15 - 77 J 17 hr.J 25 hr.L 30 hr.L 20 hr. J 31 hr.J 31 hr.L 49 hr.L 22 hr. 例題二:殘差 銘傳應用統計系 15 - 78 銘傳應用統計系 15 - 79 變異數分析的假設 銘傳應用統計系 1. 常態假設 (normality) 各母體均為常態分配 2. 變異數為同質（一致性homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立 15 - 80 變異數為同質之檢定 銘傳應用統計系 Hartley F-max test Battlet’s test Box subsample test Levene’s test 15 - 81 Hartley F-max test 銘傳應用統計系 2 2 Fmax=Smax/Smin 2 Smax 最大的樣本變異數 2 Smin 最小的樣本變異數 F-max分配, 第一自由度 c (處理數) , 第二 自由度 n-1(樣本數) 15 - 82 F-max 分配之部份表格 銘傳應用統計系 n-1/c 2 3 4 5 6 7 8 2 39.0 87.5 142 202 266 3 15.4 27.8 39.2 50.7 62.0 72.9 83.5 93.9 4 9.60 15.5 20.6 25.2 29.5 33.6 37.5 41.1 5 7.15 10.8 13.7 16.3 18.7 20.8 22.9 24.7 6 5.82 8.38 10.4 12.1 13.7 15.0 16.3 17.5 15 - 83 333 403 9 475 機器裝填的例子 銘傳應用統計系 請檢定各個機 器的變異數是 否相同? 15 - 84 Machine1 Machine2 Machine3 25.40 26.31 24.10 23.74 25.10 23.40 21.80 23.50 22.75 21.60 20.00 22.20 19.75 20.60 20.40 機器裝填的例子(續) 銘傳應用統計系 計算結果 機器一之樣本變異數 1.0648 機器二之樣本變異數 0.778 機器三之樣本變異數 0.9205 Fmax=1.0648/0.778=1.1568 C=3, n=5, 查表 Fmax(0.05,3,4)=15.5 ∵1.1568<15.5 ∴不拒絕 H0 15 - 85 變異數分析的假設 銘傳應用統計系 1. 常態假設 (normality) 各母體均為常態分配 2. 變異數為同質（一致性homogeneity） 各母體的變異數皆相等 3. 觀測值及誤差項為隨機且獨立的 隨機樣本抽選時亦為獨立 15 - 86 獨立性之檢定 銘傳應用統計系 必須知道資料觀察的先後順序 用時間序列的方式檢查殘差是否有自我相 關性或偏自我相關性 最常用Durbin Watson’s test 無母數方法—利用 Run test 來檢驗獨立性 請參考更深入的變異數分析方法之書籍 15 - 87 違背ANOVA假設之處理 銘傳應用統計系 當違背ANOVA假設時 通常會將反應變數做轉換 經常使用的轉換函數為 √, ln, 1/x 或 Box-Cox 轉換 牽涉較深的統計方法 不多述 15 - 88 結論 銘傳應用統計系 1. 因子實驗設計(factorial design) 2. 解說因子間的交互作用項 3. 兩因子變異數分析analysis of variance (ANOVA) 4. ANOVA假設之檢驗 常態分配之檢驗 變異數一致性之檢驗 15 - 89 關於本課程... 銘傳應用統計系 請你靜下來想一想並回答下列問題: 1. 你此堂課學到的最重要的觀念為何? 2. 是否還有相關問題與疑問? 3. 如何改善今後的學習? 15 - 90