Transcript Ch. 13A
實驗設計與變異數分析
Part A (13.1-13.3)
13.1
13.2
13.3
13.4
13.5
實驗設計與變異數分析介紹
變異數分析與完全隨機設計
多重比較程序
隨機區集設計
因子實驗
第13章 實驗設計與變異數分析 第483-517頁
2
統計研究可分為實驗型或觀察型兩類。
(experimental statistical
study) 中,我們先界定感興趣之變數,而後控制
研究中另一個或更多個其他因素,即可獲得這些
因素如何影響欲探討變數之資料。
在觀察型的研究 (observational study) 的研究中,
我們不需控制實驗,而是從實地訪查(survey)中
取得資料。
在觀察型的研究中,要建立因果關係是有困難的。
實驗型研究則較為容易。
在實驗型統計研究
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第484-485頁
3
因素(factor)是一個調查研究中可被實驗者選擇的變數。
處理(treatment)是每一因素的對應方式。
實驗單位(experimental units)是實驗中感興趣的主題。
完全隨機設計(completely randomized design)是指處理
被隨機指派的一種實驗設計。
當實驗單位的性質相類似時,可以使用完全隨機的設計。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁
4
Chemitech
公司發展出一套新的自來水過濾系統
。過濾系統之零件必須向數個供應商購買,
Chemitech 公司將在位於南卡羅來納州哥倫比亞
市的工廠組裝這些零件。工業工程部門須負責決
定此套新過濾系統的最佳組裝方法。在考慮很多
可行的組裝方法後,工業工程部門選出三種較佳
的方法:方法 A、方法 B 及方法 C。這些方法在
組裝產品的先後次序上有所差異。Chemitech 公
司的經理希望知道何種組裝方法可在一星期內生
產最多的過濾系統。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁
5
Chemitech 公司的實驗中,組裝方法被視為是
一個變數或因素 (factor),因為此因素包含三種組
裝方法,我們稱此實驗有三個處理 (treatment),
每一個處理對應一種組裝方法。
Chemitech 公司之問題是有關類別因素
(catogorial factor) (組裝方法) 的單因素實驗
(single-factor experiment) 的實例。其他實驗可
能包含多個因素,其中有些是類別因素,有些則
是定量因素。
在
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁
6
(或處理) 定義了此次 Chemitech
實驗中的三個研究母體。第一個母體是使用方法
A 的所有員工、第二個母體為使用方法 B 的所有
員工、第三個母體則為使用方法 C 的所有員工。
對每一個母體而言,應變數或反應變數(response
variable)為每星期組裝的過濾系統數目。而此次
實驗的統計目的則是決定三個母體(方法)每星期之
平均產量是否相等。
這三種組裝方法
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁
7
Chemitech 公司的所有裝配工人中,
任意選取 3 名員工組成一組隨機樣本,稱為實驗
單位 (experimental units)。
在 Chemitech 公司之問題中,使用的實驗設計稱
為完全隨機設計 (completely randomized
design)。此種設計方式要求 3 個實驗單位 (即裝
配工人) 均被隨機指派一種組裝方法 (或處理)。
例如,第二個工人被指定以方法 A 組裝,第一個
工人被指定方法 B,第三個工人則採用方法 C。
此例子中的隨機化 (randomization) 概念是所有
實驗設計的重要原則。
假設我們從
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁
8
值得注意的是,在這個實驗中,一個處理將只含
一個測量值 (即組裝的產品數量)。為了獲得更多
資料,我們必須重複上述實驗程序。例如,我們
不要一次只隨機選取 3 名員工,而改為選取 15 名
員工,然後各隨機指派 5 名員工採用某種組裝方
式。既然每種組裝方式都有 5 名員工,我們即可
說:重複 5 次實驗。這種重複的過程為實驗設計
的另一重要原則。
圖 13.1 說明此次 Chemitech 實驗的完全隨機設
計。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第485頁
9
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第486頁 圖13.1
10
Chemitech 公司之例子中,我們須先指導員工
如何執行所被指派的組裝方法,而後令其使用此
種組裝方法開始組裝新的過濾系統。表 13.1 即每
名員工在1週內組裝的數量、三種組裝方式所生產
的產品數量的樣本平均數、樣本變異數與樣本標
準差,其中使用方法A的樣本平均數為62,方法B
為66,方法C為52。
就上述資料而言,方法 B 的生產率似乎高於其他
兩種方式。
在
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第86頁
11
第13章 實驗設計與變異數分析 Part A (13.1-13.1) 第486頁 表13.1
12
真正的問題是,這三個樣本平均數之差異是否大到可以使
我們下結論,即三種組裝方式之產量不同。為以統計名詞
表達此問題,我們先介紹下列符號。
μ1=方法 A 平均每星期產量
μ2=方法 B 平均每星期產量
μ3=方法 C 平均每星期產量
雖然我們不可能知道 μ1、μ2 及 μ3真正的值,但我們可使用
樣本平均數檢定下列的假設。
H0:μ1= μ2=μ3
Ha:所有母體平均數不全相等
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第486-487頁
13
變異數分析(ANOVA)能用來分析得自觀察型研究的資
料,以檢定三個或三個以上的母體平均數是否相等。
在分析同時包含實驗型及觀察型資料之迴歸分析結果
時,ANOVA扮演重要角色。
我們可以使用這些樣本資料的結果進行下列假設檢定:
H0: 1 = 2 = 3 = .
. .=
k
Ha: 所有母體平均不全相等
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第474-475.487頁
14
H0: 1 = 2 = 3 = . . . = k
Ha: 所有母體平均不全相等
如果拒絕 H0 ,我們不能下結論說所有的母體平均數
都不相等。
拒絕 H0 意指至少有兩個母體平均數不相等。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第487頁
15
1. 每個母體之反應變數均呈常態分配。
2. 所有母體反應變數的變異數 σ2均相等。
3. 由每個母體抽取之樣本必須互為獨立。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第487頁
16
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第488頁 圖13.2
17
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第488頁 圖13.3
18
每一組樣本之樣本內差異亦將影響變異數分析之
結論。當由每個母體中抽取一組隨機樣本時,每
一組的樣本變異數均應為共同變異數σ2 的不偏估
計值。因此,我們將結合共同變異數σ2 的每個個
別估計值,成為一個總樣本估計值。以此方式獲
得的母體變異數σ2 的估計值稱為σ2 之混合或處理
內估計值 (pooled or within-treatments
estimate)。
由於σ2 之處理內估計值乃每組樣本組內變異所計
算而得之樣本變異數,故不受母體平均數是否相
等之影響。當樣本大小相等時,σ2 之處理內估計
值可由計算各個樣本變異數之平均數而得。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第488-489頁
19
在
Chemitech公司的例子中,我們可得
之處理內估計值 =
2
27.5+26.5+31.0
=
3
85
=28.33
3
σ2 的處理間估計值
(260) 遠大於處理內估計值
(28.33),事實上,這兩個估計值之比為
260/28.33=9.18。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁
20
只有當虛無假設為真時,處理間估計值方為σ2
的
一個好的估計值;若虛無假設為偽,處理間估計
值將高估σ2 。但處理內估計值則不論在何種情況
下,均為共同母體變異數σ2 的良好估計值。因此,
若虛無假設為真,此兩個估計值應極為接近,它
們的比也應接近 1;如果虛無假設為偽,處理間估
計值應大於處理內估計值,且它們的比應該較大。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁
21
ANOVA
背後的邏輯乃基於共同母體變異數σ2 的
兩種獨立估計方式發展而成。一種σ2 的估計方式
係基於各種樣本平均數間之差異計算而得,另一
種方式則由每組樣本的組內變異數計算而得。藉
由比較上述兩個σ2 的估計值,我們將可決定母體
平均數是否相等。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁
22
變異數分析可以用來檢定
k 個母體平均數是否相
等。
其假設檢定之一般形式為
H0: 1 = 2 = 3 = . . . = k
Ha: 所有母體平均數不全相等
其中
j = 第 j 個母體平均數
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第489頁
23
樣本資料
xij = 第 j 個處理的第 i 個觀察值
n j = 第 j 個處理的觀察值個數
x j= 第 j 個處理的樣本平均數
sj =
sj=
2
第 j 個處理的樣本變異數
第 j 個處理的樣本標準差
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁
24
第
j 個處理的樣本平均數公式:
nj
xj
第
x ij
i 1
nj
j 個處理的樣本變異數公式:
nj
sj
2
( x ij x j )
2
i 1
nj 1
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁
25
總樣本平均數
k
nj
x
x
ij
j 1 i 1
nT
其中
nT = n1 + n2 +. . . + nk
如果每組樣本數均為 n,則 n = kn
k
nj
x
x
j 1 i 1
kn
k
nj
x
ij
j 1 i 1
k
ij
x
/n
j
j 1
k
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁
k
26
在Chemitech公司的例子中,每個樣本數均為
5。
使用表 13.1 的資料,我們可以得到下列結果
x
62 66 52
60
3
如果虛無假設為真 (1 = 2 = 3 = ),總樣本平均
數 60 即為母體平均數 μ 的最佳估計值。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第490頁
27
(sum of squares due to
treatments),記做SSTR。
處理間平方和
k
SSTR
n j(x j x )
2
j 1
(mean square due to treatments),
記作MSTR。
處理間均方
k
M STR
n j (x j x )
2
j 1
k 1
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁
28
2 的處理間估計值,稱為處理間均方 (mean square due to
treatments),記作 MSTR,計算 MSTR 的公式如下:
k
n j (x j x )
MSTR
k- 1 為
SSTR 的自由度
2
j 1
k1
處理間平方和(sum of
squares between treatments
或sum of squares due to
treatments),記作 SSTR
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁
29
若 H0 為真,則 MSTR 為 σ2 的不偏估計值。
當 k 個母體平均數不相等時,MSTR 將不再是 σ2 的不偏估
計值。事實上,此時 MSTR 將高估 σ2 。
由表 13.1 Chemitech公司的資料,我們可得到下列的結
果。
k
SSTR
n j ( x j x ) 5(62 60) 5(66 60) 5(52 60) 520
2
2
2
2
j 1
M STR
SSTR
k 1
520
260
5
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁
30
誤差平方和
(sum of squares due to error),記
作SSE。
k
SSE
( n j 1) s j
2
j 1
誤差均方
(mean square due to error),記作MSE。
k
M SE
( n j 1) s j
2
j 1
nT k
分母 nT-k 為
SSTR的自由度
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491頁
31
MSE 來自於每個處理內的差異,它不會受虛無假設是否為
真的影響。因此,MSE 恆為 σ2 的一不偏估計值。
由表 13.1 Chemitech 公司的資料,我們可以得到下列的
結果。
k
SSE
( n j 1) s j (5 1)27.5 (5 1)26.5 (5 1)31 340
2
j 1
M SE
SSE
nT k
340
15 3
340
28.33
12
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第491-492頁
32
ANOVA 之假設均成立,
MSTR/MSE 的抽樣分配將會服從分子自由度為
k-1,分母自由度為nT-k 的 F 分配。換言之,
若虛無假設為真,MSTR/MSE 的值會是從此F 分
配抽樣而得的結果。
若虛無假設為假,則因MSTR高估σ2,MSTR/MSE
的值將提高。
因此,當MSTR/MSE 的值太大,使其不似來自分
子自由度為 k-1,分母自由度為nT-k 的 F 分配
時,我們將拒絕H0。
若虛無假設為真且
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第492頁
33
假設檢定
H0: 1 = 2 = . . . = k
Ha: 所有母體平均數不全相等
檢定統計量
F = MSTR/MSE
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第493頁
34
拒絕法則
若 p 值 ≤ α,則拒絕 H0
p 值法:
絕對值法:
若 F ≥ Fα,則拒絕 H0
其中 F 值係由分子自由度 k - 1 ,分母自由度
nT – k 之 F 分配查表而得。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第493頁
35
若使用顯著水準
α =0.05來進行假設檢定,則檢
定統計量的值
F=
M STR
M SE
260
9.18
28.33
其分子自由度為 k-1=3-1=2,分母自由度為
nT-k=15-3=12。由於我們只在檢定統計量的
值夠大時,才會拒絕虛無假設,因此 p 值為 F 分
配在檢定統計量 F=9.18 的右尾區域的面積值。
圖13.4為 F=MSTR/MSE 的抽樣分配、檢定統計
量的值及此假設檢定右尾區域的 p 值。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第492頁
36
查附錄 B 的表 4,分子自由度為 2,分母自由度為 12的 F
分配,其右尾區域的範圍如下。
由於 F=9.18 大於 6.93,因此 F=9.18的右尾區域會小於
0.01,亦即 p 值小於 0.01。因為 p 值 ≤ α=0.05,所以拒
絕 H0。
此檢定提供了充分的證據顯示三個母體平均數不相等。換
言之,變異數分析支持 Chemitech 公司三家工廠的平均
測驗成績不全相等之結論。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第492-493頁
37
我們也可以使用臨界值法進行此假設檢定的程序。
假設 α=0.05,在自由度為 2 與 12 的 F 分配,其
右尾區域的面積為 0.05 處,可找到臨界 F 值,查
F 分配表,可得 F0.05=3.89。因此,Chemitech
公司的例子其右尾拒絕法則為
若 F ≥ 3.89,則拒絕 H0
由於 F=9.18,因此拒絕 H0,結論為三個母體的
平均數不全相等。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第493頁
38
變異數
處理
誤差
總和
平方和
自由度
均方
F
SSTR
SSE
SST
k–1
nT – k
nT - 1
MSTR
MSE
MSTR/MSE
SST 可以分解為
SSTR 與 SSE
p值
SST 的自由度可分解為
SSTR 的自由度與
SSE 的自由度
第13章 實驗設計與變異數分析 Part A (13.1-13.3)
39
SST 可分解為兩個平方和:處理間平方和與誤差平
方和。SST 之自由度nT-1亦可分解為 SSTR 之自由
度 k-1 與 SSE 之自由度 nT-k。
若將所有觀察值視為同一組樣本,則總平方和 SST
之計算公式為
k
SST
nj
( x ij x ) SSTR SSE
2
j 1 i 1
第13章 實驗設計變異數分析與實驗設計 Part A (13.1-13.3) 第494頁
40
我們可將變異數分析視為分割(partitioning)總平方和
與自由度為兩種不同來源:處理與誤差的一個過程。
將平方和除以相對應之自由度即為變異數之估計值。
由此得到的 F 值與 p 值可用以檢定母體平均數是否相
等之假設。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第494頁
41
表
13.3 即為 Chemitech 公司之變異數分析表。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第494頁 表13.3
42
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第496頁 圖13.5
43
假設變異數分析已提供拒絕母體平均數相等之虛
無假設的統計證據。
費雪最低顯著差異 (least significant difference,
LSD) 程序可用以決定哪些母體平均數間存在差異。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第500頁
44
假設檢定
H 0 : i j
H a : i j
檢定統計量
t
xi x j
MSE( 1
ni
1
nj
)
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第500-501頁
45
拒絕法則
p 值法:
若 p 值 ≤ α,則拒絕 H0
絕對值法: 若 t ≤ -tα/2 或 t ≥ tα/2,則拒絕 H0
其中 tα/2 值係查自由度為 nT – k 之 t 分配表而得。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501-502頁
46
利用費雪 LSD 程序檢定在α=0.05的顯著水準下,母體1
(方法A) 與母體 2 (方法B) 之平均數間是否存在顯著差異。
由表 13.1 得知,方法A之樣本平均數是 62,方法B之樣本
平均數為 66。
表 13.3 則顯示母體變異數之估計值,即 MSE,為 28.33,
其為 σ2之估計值且對應之自由度為 12。根據 Chemitech
公司的資料,檢定統計量的值為
t
62 66
1.19
1 1
28.33
5 5
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501頁
47
查附錄B的表2可知,自由度12的t分配表如下所示:
t分配表只有正的 t 值,但 t 分配是左右對稱,我們可以找 t
=1.19 右尾的面積,此面積的2倍即是 t=-1.19 對應的 p
值。當 t=1.19,其面積介於 0.20 與 0.10 之間,將之乘以
2,可知 p 值一定介於 0.40 與 0.20 之間。
利用 Minitab 或 Excel 可以算出 p 值為0.2571。由於 p 值
大於 α =0.05,我們不能拒絕虛無假設,因此,我們不能
下結論為方法 A 母體的每週平均產量與方法 B 母體的每週
平均產量不相等。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501頁
48
xi x j
檢定統計量
H 0 : i j
H a : i j
假設檢定
xi x j
拒絕法則
若 x i x j > LSD,拒絕 H0
其中
LSD t /2 MSE(
1
ni
1
nj
)
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第501-502頁
49
就
Chemitech 公司之例子而言,LSD 之值為
1 1
LS D 2.179 28.33 7.34
5 5
當樣本大小均相同時,我們只需計算一個 LSD 值。
在此情況下,我們僅需將兩樣本平均數之差異值
與 LSD 值進行比較。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁
50
1 (方法A) 與母體 3 (方法C) 之平均數
差為 62-52=10。由於此值大於 LSD =7.34,我
們可以拒絕方法A與方法C之母體每週平均產量相
等之假設。同樣地,由於母體 2 與母體 3 的樣本
平均數差為 66-52=14 >7.34,我們也拒絕方法
B與方法C之母體平均數相等之假設。事實上,我
們的結論是方法A 、方法B與方法C存在差異。
例如,母體
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁
51
使用費雪 LSD 程序估計兩母體平均數差之信賴區間
x i - x j L SD
其中
L S D t /2
M S E(
1
ni
1
nj
)
ta/2 係查自由度為 nT – k 之 t 分配表而得。
信賴區間包含「0」在內,我們將無法拒絕兩母體平均數
相等之假設。當信賴區間不含「0」時,我們可得到兩母
體平均數確實存在差異之結論。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁
52
公司的例子中,LSD=7.34 (對應
t0.025=2.179)。
因此,母體 1、母體 2 之平均數差的 95% 信賴區
間估計值為:62-66 ± 7.34=-4 ± 7.34=
-11.34到 3.34。
由於此一信賴區間包含 0,故無法拒絕此兩母體平
均數相等之假設。
在Chemitech
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第502頁
53
I 誤差率 (comparisonwise Type I
error rate) 即是進行單一的一對母體平均數比較
時的顯著水準。
實驗的型 I 誤差率 (experimentwise Type I error
rate) 表示為αEW。
比較的型
aEW = 1 – (1 – a)(k – 1)!
當檢定問題所牽涉之母體數愈多時,實驗的型
I
誤差率將愈大。
第13章 實驗設計與變異數分析 Part A (13.1-13.3) 第503頁
54
55