Transcript Analýza rozptylu

Analýza rozptylu
Porovnání průměrů více než
dvou normálních rozdělení
Analýza rozptylu (ANOVA) se v technické praxi používá
buď jako samostatná technika nebo jako postup umožňující
analýzu zdrojů variability v lineárních statistických
modelech.
Ze statistického hlediska lze analýzu rozptylu chápat jako
speciální případ regresní analýzy, kdy vysvětlující
proměnné mohou mít kvantitativní i kvalitativní charakter.
Podstatou analýzy rozptylu je rozklad celkového rozptylu
dat na složky objasněné (známé zdroje variability) a složku
neobjasněnou, o níž se předpokládá, že je náhodná.
Následně se testují hypotézy o významnosti jednotlivých
zdrojů variability.
Základní myšlenka analýzy rozptylu spočívá v tom,
že celkový rozptyl rozložíme na rozptyly dílčí
náležející příslušným jednotlivým vlivům, podle
nichž jsou empirické údaje roztříděny.
Kromě těchto dílčích rozptylů je jednou složkou
celkového rozptylu tzv. reziduální rozptyl, který je
způsoben dalšími vlivy, které v rámci analýzy
nepostihujeme.
Porovnáním
složek
rozptylu
zkoumaného
kvantitativního znaku pak určíme ty vlivy, které
významně ovlivňují úroveň tohoto znaku.
Analýzu rozptylu používáme tehdy, sledujeme-li vliv
jednoho nebo několika faktorů na zkoumaný statistický
znak.
Předpokládejme, že sledovaný znak je ovlivňován pouze
jediným faktorem, který budeme sledovat na několika
jeho úrovních.
Úrovní faktoru se zde rozumí určitá hodnota
kvantitativního znaku nebo určitá varianta kvalitativního
znaku.
Získané hodnoty uspořádáme podle jednoho třídícího
kritéria (hlediska), tzn. podle úrovní sledovaného faktoru
do tolika tříd, na kolika úrovních tento faktor sledujeme.
Tento model, kdy sledujeme úroveň jednoho faktoru, se
potom nazývá analýza rozptylu při jednoduchém třídění.
Úrovně sledovaných faktorů mohou mít různý charakter.
V některých případech úrovně faktoru představují pevné
typy určitého kvalitativního faktoru nebo pevná množství
určitého kvantitativního faktoru. Účelem experimentu je
vyšetřit a porovnat efekty těchto pevných úrovní faktoru.
Jsou-li úrovně faktoru přesně fixovány, nazýváme
odpovídající model analýzy rozptylu model s pevnými
efekty (model I).
Model s náhodnými efekty (model II) – úrovně faktoru
mohou být náhodně vybrány z velkého počtu možných
úrovní. Při náhodně vybraných úrovních (tzn. má-li
výběr úrovní náhodný charakter) je efekt úrovně
náhodnou veličinou.
Představme si, že sledujeme vliv tří způsobů mletí vzorku
v zařízeních Z1, Z2 a Z3 na výsledek chemické analýzy.
Na každém mlecím zařízení byly připraveny tři vzorky, pro
které byly určeny výsledky chemické analýzy xij, (i = 1, 2, 3
a j = 1, 2, 3), kde xij označuje výsledek pro i-tý způsob mletí
a j-tý vzorek.
Způsob mletí je označován jako kvalitativní faktor.
Vyskytují se však také faktory kvantitativní, jako je
například průměrná velikost částic mletého vzorku či další
fyzikální a chemické veličiny.
Pokud nás zajímají pouze rozdíly mezi danými úrovněmi
(způsoby mletí), jde o modely s pevnými efekty.
Pokud jsou jednotlivé úrovně pouze výběrem z konečného
či nekonečného souboru, jde o modely s náhodnými efekty.
Výběr mezi pevnými a náhodnými efekty závisí na vlastním
záměru analýzy rozptylu a může se podle něho měnit. V rámci
uvedeného příkladu uvažujme, že místo tří mlecích zařízení
vybereme faktor „průměrná jemnost mletí“.
a) O model s pevnými efekty půjde tehdy, budeme-li
uvažovat, že třem mlecím zařízením odpovídají tři
úrovně jemnosti mletí. Naším záměrem je vyšetřit, zda
mletí na jednotlivých mlecích zařízeních výrazně ovlivní
výsledek chemické analýzy.
b) O model s náhodnými efekty jde tehdy, když zjišťujeme,
zda má průměrná velikost částic vzorku vliv na výsledek
analýzy. Ze všech možných velikostí částic náhodně
vybereme tři, které lze shodou okolností realizovat na
třech mlecích zařízeních. Zajímá nás tedy původní
soubor, tj. všechny velikosti částic, a nikoliv vlastní
výběr, tj. konkrétní tři velikosti částic.
Předpokládejme, že sledovaný faktor má m úrovní a že
počet pozorování v jednotlivých třídách (tzn. na každé
úrovni sledovaného faktoru) je roven n.
Pro přehlednost uspořádání údajů je možné využít
následujícího schématu:
xmj
Xj
…
…
…
X1
X2
…
xin
Xi
…
xm1 xm2
X1 X2
xij
Součet řádku Xi
…
…
m
Součet sloupce Xj
…
n
x1n
x2n
…
xi2
…
…
xi1
…
…
…
…
…
xmn
Xn
Xm
Celkem X
…
…
i
…
2
x12
x22
…
1
x11
x21
…
Řádek i
1
2
Sloupec j
…
j
… x1j
… x2j
Pro vlastní zpracování modelů analýzy rozptylu je
důležité, zda je při všech kombinacích faktorů
realizován stejný počet měření (opakování) či nikoliv.
Pro stejný počet opakování se modely označují jako
vyvážené (ortogonální), kdy n1 = n2 = … = nm.
Nevyvážený (neortogonální) model  rozsahy ni (i = 1,
2, …, m) jednotlivých tříd jsou různé.
Podmínky použitelnosti analýzy rozptylu:
 normalita rozdělení,
 statistická nezávislost náhodných chyb eij,
 shodné rozptyly náhodných chyb eij.
Analýza rozptylu při jednoduchém třídění hodnotí
diference průměrů sledované závisle proměnné mezi
skupinami, které jsou určeny jednou nezávisle
proměnnou (jedním faktorem).
Zkoumá se, zda skupiny vytvořené tímto faktorem jsou
podobné, nebo zda jednotlivé průměry tvoří nějaké
identifikovatelné shluky.
Máme k dispozici m  2 nezávislých výběrů z

 



rozdělení N μ1 ; σ12 , N μ 2 ; σ22 , , N μ m ; σ2m ,
kde 1, 2, …, m a 2 jsou neznámé parametry ZS.
Předpokládáme, že jednotlivé rozptyly ZS jsou shodné,
tzn. σ12 , σ22 ,  , σ2m  σ2 (není však nutno, aby jejich
hodnota byla známa).
Nulová hypotéza má tvar:
H0: 1 = 2 = … = m , m  2
Alternativní hypotéza pak tvrdí, že existuje alespoň
jedna dvojice průměrů, která se sobě nerovná.
Předpokládáme, že jednotlivá měření vyhovují modelu
xij =  + ai + eij,
i = 1, 2, …, m, j = 1, 2, …, n,
kde xij označuje i-té měření v j-tém výběru,  je společná
část průměru a eij jsou nezávislé náhodné veličiny s
rozdělením N(0; 2).
Hodnotu  je možno interpretovat jako průměrný
teoretický výsledek na uvažovaných úrovních faktoru
A (obecná střední hodnota), ai (i = 1, 2, …, m)
představuje efekt (účinek) i-té úrovně faktoru A (efekt
ai zvyšuje nebo snižuje teoretickou střední hodnotu o
účinek i-té úrovně faktoru A).
Efekt skupiny ai způsobuje, že průměry i sledované
proměnné si nemusí být rovny.
Náhodné veličiny eij lze chápat jako náhodné chyby,
jimiž je každé měření zatíženo.
Pro posouzení, zda daný faktor A skutečně ovlivňuje
zkoumaný statistický znak X, je třeba testovat nulovou
hypotézu
H0: 1 = 2 = … = m,
kterou je možno ekvivalentně zapsat též takto:
H0: a1 = a2 = … = am = 0.
Slovně vyjádřeno: efekty jednotlivých úrovní
sledovaného faktoru A jsou zanedbatelné (faktor
neovlivňuje závisle proměnnou X).
Alternativní hypotézou je hypotéza
m
H1 :  a  0.
i 1
2
i
Pro přehlednější vyjádření vzorců užívaných v analýze
rozptylu se používá tzv. tečkový způsob zápisu součtů
a průměrů pozorovaných hodnot.
Součet, resp. průměr hodnot, zjištěných v i-tém
výběrovém souboru (tzn. součet, resp. průměr hodnot v
i-tém řádku schématu) lze označit následujícím
způsobem:
Součet
Průměr
n
x i   x ij
j1
1 n
x i
x i   x ij 
n j1
n
Celkový součet označíme X•• , tzn.
m
n
x    x ij ,
i 1 j1
a celkový průměr pak lze vyjádřit jako:
m
n
1
x 
x  
x ij 
.

m  n i 1 j1
mn
Ve složitějších modelech analýzy rozptylu budeme
pracovat i se sloupcovými součty, resp. sloupcovými
průměry:
m
x  j   x ij ,
i 1
xj
1
x  j   x ij 
.
m i 1
m
m
Tečka vždy nahrazuje indexy, přes které sčítáme.
Test H0 je založen na skutečnosti, že za platnosti H0 lze
ze zjištěných výběrových hodnot xij provést odhad
neznámého rozptylu 2 dvěma na sobě zcela
nezávislými způsoby.
1. způsob odhadu 2
Každý z výběrových rozptylů
2
1 n
2
xij  xi  , i  1,2,...,m
si 

n  1 j1
( s i2 je rozptyl hodnot zjištěných v i-tém výběrovém
souboru) poskytuje odhad rozptylu 2. Jestliže z těchto
výběrových rozptylů s i2 utvoříme aritmetický průměr,
získáme opět odhad rozptylu 2, který je však lepší než
kterýkoliv z odhadů s
2
.
i
Tento odhad se nazývá rozptyl uvnitř tříd (reziduální
rozptyl).
m
1
σ 2   si2
m i 1
2. způsob odhadu 2
V teorii odhadu se dokazuje, že pro rozptyl
výběrového průměru platí vztah

DX   .
n
2
Odtud pro rozptyl 2 dostáváme vyjádření
2  n  DX  .
Rozptyl D(X) sice neznáme, můžeme ho ale odhadnout
pomocí výběrových průměrů, vypočtených z
pozorovaných hodnot xij:
m
D( X ) 
 (x
i 1
i
 x  )
m 1
2
.
Následně tedy dostáváme vztah pro odhad 2:
m
  n  D( X )  n 
2
2
(
x

x
)
 i  
i 1
m 1
Tento odhad se nazývá rozptyl mezi třídami.
.
Test hypotézy H0: a1 = a2 = … = am = 0 je tedy
ekvivalentní testu hypotézy
H0 : E (s )  E (s ),
2
1
kde s
2
1
2
r
2
r
představuje rozptyl mezi třídami a s rozptyl
uvnitř tříd (reziduální).
Významnost rozdílu mezi uvedenými rozptyly pak
posoudíme F-testem, kdy testové kritérium bude mít
tvar:
rozptylmezi třídami
F
.
rozptyluvnitř tříd
Statistika F má za platnosti H0 F-rozdělení o (m-1) a
m(n-1) stupních volnosti.
Pokud F > F, pak zamítáme hypotézu o statisticky
nevýznamném rozdílu obou rozptylů, což bude
znamenat i zamítnutí hypotézy o shodě průměrů ZS.
Pro provedení testu je třeba určit hodnoty srovnávaných
rozptylů, které získáme pomocí tzv. součtů čtverců.
Celkový součet čtverců, tzn. součet čtverců odchylek
pozorovaných hodnot xij od celkového průměru lze
upravit takto:
2
2
2
S   x ij  x     x ij  x i   n x i  x   .
m
n
i 1 j1
m
n
i 1 j1
m
i 1
Označme:
2
S   x ij  x  
m
n
i 1 j1
m
2
S1  n  x i  x  
i 1
2
Sr   x ij  x i 
m
n
i 1 j1
Výše uvedené lze stručně přepsat takto:
S = S1 + Sr.
Celkovou variabilitu, reprezentovanou celkovým
součtem čtverců S, lze rozložit na dvě aditivní složky:
S1 – součet čtverců mezi třídami,
Sr – součet čtverců uvnitř tříd (reziduální)
Složka S1 charakterizuje vliv faktoru A na sledovaný
statistický znak S,
Složka Sr charakterizuje působení pouze náhodných
příčin.
Při praktických úlohách určujeme Sr jako rozdíl součtů
S a S1, tzn.
Sr = S – S 1 .
Tvary součtů čtverců je možné upravit do výpočetně
jednodušších výrazů, kdy dostáváme následující tzv.
výpočetní tvary veličin S, S1 a Sr:
2
S   x ij  x     x  C
m
n
i 1 j1
n
i 1 j1
2
m
S1  n  x i  x  
i 1
2
Sr   x ij  x i 
m
m
n
i 1 j1
2

n
1 m 2
  x i  C
n i1
m
1
  x ij2   x i2  S  S1 ,
n i1
i 1 j1
x
kde C 
.
mn
m
2
ij
Výpočty pro analýzu rozptylu obvykle uspořádáváme
do tzv. tabulky analýzy rozptylu.
Variabilita
Mezi třídami
Uvnitř tříd
(reziduální)
Celková
Součet Stupně
čtverců volnosti
Rozptyl
S1
m-1 s 
m 1
Sr
2
m(n-1) s r 
m (n  1)
2
1
Testovací
kritérium
2
1
2
r
s
F
s
mn-1
Jestliže F  F [(m-1); m(n-1)] , zamítáme H0.
Analýza rozptylu při jednoduchém třídění s
nestejným počtem opakování
Pokud jednotlivé třídy ve schématu nemají stejný
počet pozorování, hovoříme o tzv. nevyváženém
modelu analýzy rozptylu.
Předpokládejme, že jednotlivé třídy mají rozsahy ni ,
i = 1, 2, …, m.
Vzorce pro součty čtverců se odvodí zcela analogicky
jako u vyváženého modelu a budou mít tento tvar
(pravé strany výrazů pak představují výpočetní tvary
součtů čtverců):
2
ni
ni
S   x ij  x     x  C
m
m
i 1 j1
i 1 j1
2
m
S1   n i x i  x  
i 1
2
ni
Sr   x ij  x i 
m
i 1 j1
C
X
2

n
i
m
ni
m
2
ij
2
i
x

C
i 1 n i
m
2

x
  x  
 S  S1
i 1 j1
i 1 n i
2
ij
Pokud se týká stupňů volnosti, jsou u nevyváženého
modelu stanoveny takto:
f1 = m – 1,
f2 =  ni – m.
Další postup je již stejný jako v případě třídění se
stejným počtem pozorování (tzn. jako u
vyváženého modelu).
Jestliže F  F [(m-1); ( ni – m)] , zamítáme H0.
Podrobnější hodnocení výsledků analýzy rozptylu
(metody mnohonásobného srovnávání)
Jestliže se F-testem zamítne H0, je závěr, že ne všechny
průměry ZS jsou shodné, příliš neurčitý.
Porovnáváme-li m výběrových průměrů, lze mezi nimi
vytvořit m(m-1)/2 diferencí.
F-test v analýze rozptylu však sám o sobě nepodává
informaci, kolik a které z těchto diferencí jsou statisticky
významné.
Z tohoto důvodu je v případě zamítnutí H0 nezbytné, aby
se výsledky analýzy rozptylu doplnily podrobnějším
hodnocením, jímž bychom zjistili, které z dvojic
výběrových průměrů se liší statisticky významně, a které
pouze náhodně.
Metody mnohonásobného srovnávání
detailní rozlišení jednotlivých průměrů.
Je možné použít postupy:
 Duncanova metoda
 Kramerova metoda
 Scheffého metoda (S – metoda)
 Tukeyova metoda (T – metoda)
 Newmann – Kelsův test
 Dunnettův test
 Fisherův LSD test apod.
umožňují
Scheffého metoda (S-metoda)
 univerzálně použitelná, tzn. jak pro model
vyvážený, tak nevyvážený.
Hypotéza i =j (i, j = 1, 2, …, m; i  j) se zamítá
tehdy, jestliže
x i  x j 
s
2
–
r
1 1
    m  1  s 2r  F m1; n 1 ,
n n 
j
 i
reziduální rozptyl,
ni a nj – rozsahy srovnávaných souborů,
F – tabulková hodnota F–rozdělení.
Tukeyova metoda (T-metoda)
 použitelná pouze pro vyvážený model
 je citlivější na rozdíly mezi středními hodnotami
Jestliže
x i  x j  T  s r ,
sr  s ,
2
r
kde
1
T
 q  ( m; n m ) ,
N
liší se výběrové průměry statisticky významně (ve
smyslu T – metody).
q (m; n-m) – tabelované hodnoty studentizovaného
rozpětí q
U T – metody se lze setkat s označením dmin , kdy
2
r
s
d  min  q , f r , m 
,
n
q, fr , m – tabulková hodnota studentizovaného rozpětí
q pro:
 – hladinu významnosti,
fr – stupňů volnosti reziduálního rozptylu,
m – počet srovnávaných průměrů,
n – počet opakování ve třídách (rozsah srovnávaných
souborů).
Duncanova metoda
 použitelná pouze pro vyvážený model
 pro tuto metodu je potřeba vypočtené výběrové
průměry seřadit vzestupně podle velikosti
Rozptyl výběrových průměrů je možné odhadnout pomocí
reziduálního rozptylu
2
2
r
x
s
s  .
n
Pro další výpočty budeme potřebovat směrodatnou
odchylku tohoto rozptylu, tzn.
sx  s .
2
x
Duncanova metoda uspořádávání průměrů
s x  R m; ( f ); 
x m  x1
s x  R m1; (f ); 
x m  x 2 x m1  x1 ..
s x  R m2; (f ); 
x m  x 3 x m1  x 2 ..
x m1
..
x 2 x1
..
…
…
…
…
x3
…
xm
…
Kritická hodnota
diferencí
s x  R 3; (f ); 
x m  x m2 x m1  x m3
s x  R 2; (f ); 
x m  x m1 x m1  x m2 .. x 3  x 2 x 2  x1
.. x 3  x1
Rp; (f);  – pomocné hodnoty pro Duncanův test, kdy
 – hladina významnosti,
2
f – stupně volnosti reziduálního rozptylu s r .
Kramerova metoda
Používá se v případě, kdy jednotlivé výběry mají
nestejné rozsahy.
Výběrové průměry x i a x j vypočtené z výběrů o
rozsazích ni a nj , kde ni  nj , se liší statisticky
významně, jestliže
xi  x j 
1  1 1 

 s r  R p ; ( f );  .
2  n i n j 
Příklad
Tří různých vyučovacích metod bylo použito na malých
skupinách žáků. Na základě závěrečného zkoušení
(v bodech), které jsou uvedeny v tabulce, posuďte, zda
existuje statisticky významný rozdíl mezi uvedenými
metodami.
Metoda
xij
A
9 11 10 12 7 11 12 10 13 11 13 11 10 12 13
B
15 16 15 10 13 14 15 7 13 15 15 14 11 15 10
C
18 14 17 9 14 17 16 15 16 8 10 16 14 15 17
2

X
C
mn

X  165 198 216



2
2
i
mn
3 15
2
xi.
165
198
216
579

 7449,8
3 15
Použitím výpočtových tvarů dostaneme následující
hodnoty součtů čtverců:
1 m 2
S1   x i  C
n i 1


1
S1   165 2  198 2  216 2  7449 ,8  7539  7449 ,8  89,2
15
m
n
S   x  C
S  7801 7449,8  351,2
Sr  S  S1
Sr  351,2  89,2  262
i 1 j1
2
ij
S1
89,2
s 

 44,6
m 1
2
2
1
Sr
262
s 

 6,24
m(n  1) 3  (15  1)
2
r
2
1
2
r
s
44,6
F 
 7,15
s
6,24
F (m1); m(n1)  F0,05 2; 42   3,22
F  F  H0 se zamítá
Následuje podrobnější vyhodnocení analýzy rozptylu.
T-metoda
xi
x j Metoda B
Metoda A
11
Metoda B
13,2
13,2
Metoda C
14,4
2,2
3,4
q; fr ; m  q0,05; 42; 3  3,44
6,24
d  min  3,44
 2,2187
15
1,2
Statisticky významný rozdíl
byl zjištěn mezi metodou A
a B a metodou A a C.
S-metoda
xi
x j Metoda B
Metoda A
11
Metoda B
13,2
D
13,2
Metoda C
14,4
2,2
3,4
1,2
1 1
    3  1  6,24  3,22  2,315
 15 15 
Podle S – metody byl statisticky významný rozdíl
zjištěn mezi metodou A a metodou C.
Duncanova metoda
Kritická hodnota
diferencí
Metoda C Metoda B Metoda A
14,4
13,2
11,0
3,01 · 0,645 = 1,94
C–A
3,4
--
--
2,86 · 0,645 = 1,84
C–B
1,2
B–A
2,2
--
2
s
6,24
2
r
sx  
 0,416
n
15
sx  0,416  0,645
R3; 42; 0,05 = 3,01
R2; 42; 0,05 = 2,86
Statisticky významný rozdíl byl zjištěn mezi metodou
A a B a metodou A a C.