Transcript variantie analyse

Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)

Het vergelijken van twee populatiegemiddelden:
– Student’s t-toets
– normale verdelingen in elke groep
– gelijke varianties

Het vergelijken van meer dan twee populatiegemiddelden
– Variantie analyse
– normale verdelingen in elke groep
– gelijke varianties
Variantie analyse (AN O VA)
Kern van de variantieanalyse (ANOVA) is het feit dat de variantie kan opgedeeld
worden (gefractioneerd). De variantie wordt berekend als de som van de
gekwadrateerde afwijkingen van het gemiddelde, gedeeld door n-1 (sample size
min een, het aantal vrijheidsgraden). Dus, gegeven een zekere n, is de variantie
een functie van de sommen van die kwadraten of van SS (sums of (deviation)
squares). Het fractioneren van de variantie gaat als volgt. Beschouw de volgende
eenvoudige data set:
Groep 1
Groep 2
Observatie 1
2
6
Observatie 2
3
7
Observatie 3
1
5
Gemiddelde
2
6
SS
2
2
Gemiddelde van alle waarnemingen
SS van alle waarnemingen
4
28
Variantie analyse (AN O VA)
De gemiddelden zijn voor de beide groepen behoorlijk verschillend (2 en 6,
respectievelijk). De sommen van de kwadraten zijn binnen elke groep 2. Wanneer
we ze optellen bekomen we 4. Als we nu de berekeningen hernemen, niet
rekening houdend met het bestaan van groepen, m.a.w. als we de totale SS
berekenen op basis van het globale gemiddelde, bekomen we 28. Met andere
woorden, wanneer we de variantie berekenen (sums of squares) gebaseerd op de
variabiliteit binnen de groepen (within-group) bekomen we een veel kleinere
schatter van die variantie als wanneer we ze berekenen op basis van de totale
variabiliteit rond het globale gemiddelde. Dit wordt in dit voorbeeld uiteraard
verklaard door het grote verschil tussen de groepsgemiddelden en het is dit
verschil dat bepalend is voor het verschil in de SS. Moesten we een ANOVA
uitvoeren van de gegevens uit het voorbeeld dan zouden we het volgende resultaat
bekomen:
STAT.
MAIN EFFECT
SS
df
MS
F
P
Effect
24.0
1
24.0
24.0
.008
Error
4.0
4
1
Variantie analyse (AN O VA)
STAT.
MAIN EFFECT
SS
df
MS
F
P
Effect
24.0
1
24.0
24.0
.008
Error
4.0
4
1
Zoals je ziet is in deze tabel de totale SS (28) gefractioneerd in de SS van de
variabiliteit binnen (within) de groepen (2+2=4; de tweede rij) en de variabiliteit
verklaard door het verschil tussen (between) de twee gemiddelden (28-(2+2)=24; de
eerste rij).
SS Error en SS Effect.
De ‘within-group’ variabiliteit (SS) is meestal de ‘Error variantie’ genoemd. Deze term
verwijst naar het feit dat we ze binnen het voorliggende onderzoek moeilijk kunnen
verklaren.
De SS Effect kunnen we echter wel verklaren. Ze wordt namelijk veroorzaakt door de
verschillen in gemiddelde tussen (‘between’) de groepen. Met andere woorden
verklaard het groepslidmaatschap deze variabliteit omdat we weten dat beide groepen
verschillende gemiddelden vertonen.
Variantie analyse (AN O VA)
Testen op Significantie.
Een aantal statistische tests is gebaseerd op een ratio van de verklaarde tot de niet
verklaarde variantie. ANOVA is hiervan een voorbeeld. De test is hier gebaseerd op
een vergelijking van de variantie ten gevolge van de tussen de groepen variabiliteit
(Mean Square Effect, of MSeffect) met de tussen groepen variabiliteit (Mean Square
Error, of MSerror; Edgeworth, 1885). Onder de nul hypothese (dat er geen verschillen
zijn in de gemiddelden tussen de verschillende groepen uit de populatie), zouden we
nog wel kleine random fluctuaties verwachten op de groepsgemiddelden wanneer we
kleine steekproeven zouden trekken zoals in ons voorbeeld. Daarom zou, onder de nul
hypothese, de variantie geschat op basis van de ‘within-group’ variabiliteit ongeveer
hetzelfde moeten zijn als de variantie ten gevolge van de ‘between-groups’ variabiliteit.
We kunnen deze twee schatters van de variantie vergelijken op basis van de F test,
die toetst of de ratio van de twee variantie schatters significant groter is dan 1. In ons
voorbeeld is die test zeer significant, en we zullen daarom ‘concluderen’ dat de
gemiddelden voor de twee groepen significant verschillen.
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
Voorbeeld:
30 personen worden behandeld voor overgewicht op basis van dieet A, dieet B en dieet C.
Na 1 maand evaluatie:
Groep
Gewichtsafname in kg
A
-1.0; 0.3; 0,9; 2.1; 2.6; 3.1; 3.3; 5.4; 5.7; 6.8
B
1.7; 3.0; 5.2; 5.6; 5.7; 6.1; 6.6; 7.8; 11.5; 12.6
C
4.1; 6.1; 6.9; 7.4; 8.0; 8.6; 8.8; 9.7; 10.6; 11.8
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
G
e
w
ic
h
ts
v
e
rlie
sp
e
rg
ro
e
p
1
4
1
2
1
0
VERLIES
8
6
4
2
0
-2
A
B
G
R
O
E
P
C
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
B
o
x&
W
h
is
k
e
rP
lo
t:g
e
w
ic
h
ts
v
e
rlie
sp
e
rg
ro
e
p
1
2
Groep n
A
10
B
10
C
10
1
0
8
VERLIES
6
4
2
0
-2
A
B
G
R
O
E
P
C
±
S
td
.D
e
v.
±
S
td
.E
rr.
M
e
a
n
gemiddelde
2.92
6.58
8.20
s
2.50
3.37
2.24
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
Groep n
A
10
B
10
C
10
gemiddelde
2.92
6.58
8.20
s
2.50
3.37
2.24
s²
6.25
11.36
5.02
1. Bereken in elke groep s² als schatting van de variantie
2. Aantal vrijheidsgraden Df: 10 - 1 = 9
3. Variantie binnen groepen = gemiddelde variantie in drie groepen = 7.54
= s²w met aantal vrijheidsgraden = 27 (N.B. s²w = SSW/dfW)
4. Als µA = µB = µC (= µ), dan zijn de gemiddelden van A, B en C een
steekproef van omvang 3 uit een normale verdeling met gemiddelde µ en
variantie s²/10
5. De steekproefvariantie van deze kleine streekproef is:
( X A  X )2  ( X B  X )2  ( X C  X )2
S 
3 1
2
X
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
6. Vermenigvuldiging met n (=10) geeft een schatting van s² , namelijk
s²B = 10.s²X (relatie sd - se)
Deze schatting is gebaseerd op de spreiding tussen de groepsgemiddelden. Hier
is s²X = 7.316 en dus s²B = 73.16 (N.B. s²B = SSB/dfB)
7. Indien de nulhypothese niet juist is, zal s²W nog steeds een schatter zijn van s²,
maar s²B niet meer. Omdat de verschillen tussen de gemeten gemiddelden een
afspiegeling zijn van de verschillen tussen µA, µB en= µC en dus niet meer alleen
door het toeval veroorzaakt worden, zal s²B de neiging hebben om groter te
worden naarmate de verschillen tussen µA, µB en= µC groter zijn. We toetsen dus
op basis van de discrepantie tussen s²B en s²w op basis van de toetsingsgrootheid:
F = s²B / s²w = 73.16 / 7.54 = 9.70
8. Kansverdeling van F hangt af van aantal vrijheidsgraden van de teller (dfB = 2)
en van de noemer (dfW = 27)
tabel
p<0.001
9. Procedure uitbreidbaar tot k groepen met ongelijke aantallen per groep.
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
Statistica output
Analysis of Variance (anova1.sta)
Marked effects are significant at p < ,05000
SS
df
MS
Effect
Effect
Effect
VERLIES
146,3280
2
73,16400
tussen diëten
s²B
SS
Error
203,7120
binnen diëten
df
Error
27
MS
Error
7,544889
F
9,697161
p
,000670
s²W
SPSS output
O
V
m
d
F
S
a
i
f
g
B
2
4
7
1
W
7
5
T
9
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
Waar zitten de verschillen ?
LSD (Least Significant Difference)
t-toets
s² geschat op basis van s²w met df = n-k
t AB 
XA  XB
1
1
sW

n A nB
Kies a
Bepaal ta uit tabel met df = n-k
Verklaar groepen I en j verschillend als:
X i.  X j .  sW ta
1 1

ni n j
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
Waar zitten de verschillen ?
LSD (Least Significant Difference)
In het voorbeeld met de drie diëten:
a  0.05
df = n-k = 27, ta = 2.05 (uit tabel)
ni = 10 voor i = 1,2,3
X i.  X j .  2.75 2.05
1 1

 2.52
10 10
Hieruit blijkt dat A (gemiddelde afname 2.92) significant verschilt van B
(gemiddelde afname 6.58) en van C (gemiddelde afname 8.20), maar dat het
verschil tussen B en C niet significant is.
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
o
SPSS output
C
m
D
e
M
e a n
i
d
e
n
e
r
e
d
e
e
S
I
.
r
(
(
r
i
J
I
E
g
J
B
)
B
)
T
A
B
u
0
4
1
7
2
0
0
6
3
7
*
C
0
4
0
7
2
0
0
1
3
7
*
B
A
0
4
1
2
7
0
0
6
7
3
*
C
0
4
9
7
7
0
0
7
3
3
C
A
0
4
0
2
7
0
0
1
7
3
*
B
0
4
9
7
7
0
0
7
3
3
L
A
B
S
0
4
0
4
5
0
0
6
8
2
*
C
0
4
0
4
5
0
0
0
8
2
*
B
A
0
4
0
5
4
0
0
6
2
8
*
C
0
4
9
4
4
0
0
8
8
8
C
A
0
4
0
5
4
0
0
0
2
8
*
B
0
4
9
4
4
0
0
8
8
8
B
A
B
o
0
4
1
4
5
0
0
8
5
5
*
C
0
4
0
4
5
0
0
1
5
5
*
B
A
0
4
1
5
4
0
0
8
5
5
*
C
0
4
9
4
4
0
0
5
5
5
C
A
0
4
0
5
4
0
0
1
5
5
*
B
0
4
9
4
4
0
0
5
5
5
*
.
T
h
Statistische uitspraken over meerdere
populatiegemiddelden: variantie
analyse (AN O VA)
M An O Va
Fixed effects: factoren met vaste, bekende niveaus
Random effects: niveaus corresponderen met de proefpersonen in het onderzoek
Repeated measures An o Va
Herhaalde metingen bij dezelfde proefpersonen
Uit verschillende groepen
Variantie analyse (AN O VA)
MANOVA
Veronderstel dat we in het bovenstaande voorbeeld een tweede groeperende factor
introduceren, m.n. geslacht. Stel dat we in elke groep drie mannen en drie vrouwen
zouden hebben:
Mannen
gemiddelde
Vrouwen
gemiddelde
Groep 1
Groep 2
2
6
3
7
1
5
2
6
4
8
5
9
3
7
4
8
Variantie analyse (AN O VA)
MANOVA
Het is duidelijk dat we de totale variantie kunnen opdelen volgens tenminste drie
bronnen: (1) error (‘within-group’) variabiliteit, (2) variabiliteit ten gevolge van het
groeplidmaatschap en (3) variabiliteit ten gevolge van geslacht. (Merk op dat er nog
een bijkomende bron is -- interactie -- die we kort zullen bespreken). Wat zou er
gebeurd zijn als we geslacht niet meegenomen zouden hebben als een factor in de
studie, maar gewoon een t-test zouden hebben uitgevoerd? Als je de SS zou
berekenen en de factor geslacht verwaarloost (gebruik de ‘within’-groep gemiddelden
en negeer geslacht; het resultaat is SS=10+10=20), dan zou je zien dat de
resulterende ‘within’-groep SS groter is dan wanneer we geslacht includeren (gebruik
de ‘within’-groep en de ‘within’-geslacht gemiddelden om die SS te berekenen; ze zijn
2 in elke groep, de gecombineerde SS-’within’ is 2+2+2+2=8). Dit verschil is het
gevolg van het feit dat de gemiddelden voor mannen systematisch lager zijn dan voor
vrouwen, en dit verschil in gemiddelden draagt bij tot de variabiliteit als we deze factor
negeren. Het controlleren voor de ‘error’ variantie verhoogt de sensitiviteit (power) van
een test. Dit voorbeeld toont (bijkomend) dat ANOVA ted verkiezen is boven een t-test:
bij ANOVA kunnen we voor elke factor testen terwijl we controleren voor alle andere;
daarom heeft ANOVA meer statistische power (m.a.w. we hebben minder
waarnemingen nodig om een significant effect te bekomen) dan de t-test.