Transcript Miary wielkości efektu

Wielkość efektu
Effect size
Beata Arcimowicz
Anna Kubiak
Maja Stańko
Piotr Haładziński
Lech Kaczmarek
„When we feel a p near zero
Makes us out to be a hero.
Replace that wish to null-reject
Report the size of the effect.”
R. Rosenthal
Cytat za: King, Minium (2009), str. 340
Spis treści
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Wielkość efektu
Miary wielkości efektu
Tabela miar wielkości efektu
Kalkulatory wielkości efektu
Miary wielkości efektu dla ANOVA
Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych
Omega-kwadrat dla grup niezależnych
Eta-kwadrat dla pomiarów powtarzanych
Eta-kwadrat dla planu dwuczynnikowego
Cząstkowa omega-kwadrat dla planu czynnikowego
Miary wielkości efektu dla danych jakościowych
Wielkość efektu dla testów zgodności chi-kwadrat
Miara wielkości efektu dla testów niezależności – Tabele 2 x 2
Współczynnik fi
Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2
V Cramera
Spis treści
• V Cramera a omega kwadrat
• Przekształcenie V Cramera na wartość omega kwadrat
• Wartości omega kwadrat
Miary wielkości efektu dla badań korelacyjnych
• Analiza regresji
• Analiza regresji – założenia
• Cztery odmiany modelu
• Równania regresji
• Równania regresji (2)
• Miary wielkości efektu
• Współczynnik f 2 Cohena
• Współczynnik f 2 dla regresji hierarchicznej
• Interpretacja współczynnika f 2
• Analiza czynnikowa
Spis treści
•
•
•
•
•
•
•
•
•
•
•
•
•
Analiza czynnikowa (2)
Kryteria ustalania liczby czynników w EFA
Kryteria ustalania liczby czynników w EFA (2)
Miary wielkości efektu dla EFA
Miary wielkości efektu dla CFA
Miary wielkości efektu dla CFA (2)
Miary wielkości efektu dla CFA (3)
Analiza ścieżek Path Analysis
Analiza ścieżek Path Analysis - wielkość efektu
Wskaźnik wielkości efektu requivalent
requivalent
Obliczanie requivalent
Interpretacja requivalent
Kiedy stosować requivalent
Wielkość efektu
• stosuje się do mierzenia wpływu pewnego
czynnika na wynik ogólny grupy – siły związku
między zmienną niezależna a zależną
• nie zależy od wielkości próby
• jego interpretacja opiera się na założeniu, że
rozkłady wyników grup porównywanych są
rozkładami normalnymi
• stanowi uzupełnienie każdego opisu wyników,
jest wymagane w raportach z badań
Miary wielkości efektu
• Rodzina d
– d Cohena: dla testu t dla prób zależnych
– g Hedgesa : dla testu t dla prób niezależnych
• Rodzina r
- r jest współczynnikiem korelacji punktowo-dwuseryjnej
między grupami eksperymentalną i kontrolna, a wyniki są
zmienną ciągłą
- eta-kwadrat
- omega-kwadrat
Miary wielkości efektu
Test t dla 2 średnich
niezależnych i zależnych
Jednoczynnikowa ANOVA
Przedział wartości siły związku
1. d Cohena
2. g Hedgesa
3. r punktowo-dwuseryjny między
grupami
d Cohena, g Hedgesa:
1. Eta-kwadrat
2. Omega-kwadrat
Eta-kwadrat <0,1>
0.2 – efekt mały
0.5 – efekt przeciętny
0.8 – efekt duży
Omega-kwadrat
0.01 – efekt mały
0.06 – efekt przeciętny
0.14 – efekt duży
Dwuczynnikowa ANOVA
1. Eta-kwadrat
2. Cząstkowa omega-kwadrat
Chi-kwadrat
Współczynnik Fi
Fi Cramera
0.1 – efekt mały
0.3 – efekt przeciętny
0.5 – efekt duży
Test Kruskala-Wallisa
Epsilon-kwadrat
<0,1>
Test U Manna-Whitneya
rg Rangowy współczynnik korelacji
dwuseryjnej Glassa
<-1,1>
Test rang Friedmana
Współczynnik zgodności W
<0,1>
Test znaków rangowanych
Wilcoxona
rc Rangowy współczynnik korelacji
dwuseryjnej dla par dopasowanych
<-1,1>
Tab. Miary wielkości efektu oraz przyjmowane przez nie wartosci dla poszczególnych testów.
Źródło: Opracowanie własne na podstawie King, Minium (2009)
Kalkulatory wielkości efektu
• d Cohena i r
http://www.uccs.edu/~faculty/lbecker/
można obliczyć wpisując
o średnie i odchylenia standardowe
o wartości t i df
• g Hedgesa, d Cohena i Δ Glassa
w programie STATISTICA dla analiz marketingowych
i rynkowych (http://www.statsoft.pl/)
Miary wielkości efektu dla ANOVA
Eta-kwadrat (stosunek korelacyjny) dla
grup niezależnych
Plan jednoczynnikowy
Miara wielkości efektu w ANOVA dla grup niezależnych:
ɳ2 = SSm/SSc
gdzie:
SSm – międzygrupowa suma kwadratów
SSc – całkowita suma kwadratów
Miara ta szacuje proporcję całkowitej wariancji, którą można przypisać
zmiennej niezależnej. Jest ona jednak obciążona, gdyż podwyższa
szacowane wartości.
SPSS: Analiza  Ogólny model liniowy Jednej zmiennej Opcje Oceny wielkości efektu
Omega-kwadrat
dla grup niezależnych
Plan jednoczynnikowy
Względnie nieobciążona miara wielkości efektu w ANOVA dla grup
niezależnych:
ω2m = [SSm – (k – 1)(s2wew)]/(SSc + s2wew)
gdzie:
SSm – międzygrupowa suma kwadratów
SSc – całkowita suma kwadratów
s2wew – wewnątrzgrupowe oszacowanie wariancji
Miara ta szacuje proporcję wariancji zmiennej zależnej
w populacji, którą możemy przypisać k warunkom eksperymentalnym.
Eta-kwadrat dla pomiarów powtarzanych
Plan jednoczynnikowy
Miara wielkości efektu w ANOVA dla pomiarów powtarzanych:
ɳ2 = SS2osoby/(SS2osoby + SS2reszta)
Miara ta szacuje tę proporcję zróżnicowania, którą można
przypisać zmiennej niezależnej po wyeliminowaniu
zróżnicowania spowodowanego różnicami indywidualnymi.
SPSS: Analiza  Ogólny model liniowy Powtarzane pomiary
Eta-kwadrat dla planu
dwuczynnikowego
Miara wielkości efektu w ANOVA dla planu dwuczynnikowego:
ɳ2wiersze = SSW/SSc
ɳ2kolumny = SSK/SSc
ɳ2 = SSWK/SSc
WK
gdzie:
SSW –suma kwadratów dla wiersza
SSK – suma kwadratów dla kolumny
SSWK – suma kwadratów dla interakcji WK
SSc – całkowita suma kwadratów
SPSS: Analiza  Ogólny model liniowy Wielu zmiennych  Opcje  Oceny wielkości efektu
Cząstkowa omega-kwadrat dla planu
czynnikowego
Miara siły związku między zmienną zależną
a efektem eksperymentalnym każdego
z czynników.
ω2= oszacowanie wariancji dla (W, K oraz WK)/ [oszacowanie wariancji dla
(W, K oraz WK) + oszacowanie wariancji wewnątrz kratek]
W – liczba wierszy;
K – liczba kolumn.
Miary wielkości efektu dla danych
jakościowych
Wielkość efektu dla testów zgodności
chi-kwadrat
SPSS: Analiza  Opis statystyczny Tabele krzyzowe
Miara wielkości efektu dla testów
niezależności – Tabele 2 x 2
W przypadku tabeli kontyngencji o wymiarach 2 x 2
miary siły związku dostarcza nam współczynnik fi.
Współczynnik fi dla tabel 2x2 to pierwiastek z chi
kwadrat podzielony przez liczbę n (liczebność próby).
Według Cohena można przyjąć, że fi wynoszące 0,1 - oznacza
mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt.
SPSS: Analiza  Opis statystyczny Tabele krzyzowe
Współczynnik fi
Miara wielkości efektu dla testów
niezależności –
Tabele większe niż 2 x 2
Dla większych tabel kontyngencji właściwą miarą siły związku
jest V Cramera.
V Cramera jest rozszerzeniem współczynnika fi, który
skonstruowany został z myślą o tabelach o wymiarach 2 x 2.
Współczynnik V Cramera dla tabel większych to pierwiastek z
chi kwadrat podzielony przez
nxdfmniejsze
SPSS: Analiza  Opis statystyczny Tabele krzyzowe
V Cramera
V Cramera a omega kwadrat
Współczynnik fi jest równoważny mierze
wielkości efektu omega kwadrat, ale wskaźnik
V Cramera i omega kwadrat równoważne nie
są, dlatego …
Przekształcenie V Cramera na wartość
omega kwadrat
Wartości omega kwadrat
Według Cohena można przyjąć, że omega kwadrat
wynosząca 0,1 - oznacza mały efekt; 0,3 - przeciętny
efekt a 0,5 - duży efekt.
Miary wielkości efektu dla
badań korelacyjnych
Analiza regresji
Analiza regresji to budowanie modelu
(uproszczonego obrazu) liniowej zależności
pomiędzy zmienną zależną i niezależną
(predyktorem) lub, w przypadku regresji
wielokrotnej (MR), zmienną zależną (jedno lub
wielowymiarową) i wieloma predyktorami.
Analiza regresji umożliwia przewidywanie
wartości zmiennej zależnej dla danych
wartości zmiennej (zmiennych) niezależnej
Analiza regresji
założenia
• zarówno zmienna zależna, jak i predyktory
(zm. niezależne) mierzone są na skali
interwałowej
• zmienna zależna, jak i predyktory, mają
rozkład normalny w populacji
• zakłada się liniowy (lub krzywoliniowy)
związek pomiędzy zmienną zależną a
predyktorami
Cztery odmiany modelu
• jednowymiarowa zmienna zależna oraz jedna
zmienna niezależna
• jednowymiarowa zmienna zależna oraz wiele
zmiennych niezależnych
• wielowymiarowa zmienna zależna oraz jedna
zmienna niezależna
• wielowymiarowa zmienna zależna oraz wiele
zmiennych niezależnych
Równania regresji
Przy jednej zmiennej zależnej Y względem X1
ważnej dla badacza:
– przewidywane wyniki zmiennej zależnej
– współczynnik regresji (kąt nachylenia linii regresji
względem osi odciętych układu współrzędnych)
– stała regresji (punkt przecięcia linii regresji z osią
rzędnych)
Równania regresji (2)
W przypadku dwóch zmiennych niezależnych
X1 i X2:
– przewidywane wyniki zmiennej zależnej
– cząstkowe współczynniki regresji
– stała regresji
Miary wielkości efektu
• statystyka R2, która mówi o stopniu
dopasowania modelu do danych. Pokazuje jaki
procent wariancji zmiennej zależnej można
wyjaśnić za pomocą predyktorów
• współczynnik f 2 Cohena, wykorzystujący
statystykę R2, stosowany w modelu regresji
wielokrotnej
SPSS: Analiza  Regresja Liniowa
STATISTICA: Statystyka  Regresja wieloraka
Współczynnik f 2 Cohena
Współczynnik f 2 dla regresji
hierarchicznej*
procent wariancji zmiennej zależnej wyjaśniany przez
zestaw lub pojedynczą zmienną niezależną A
procent wariancji zmiennej zależnej wyjaśniany łącznie
przez zestaw lub pojedynczą zmienną niezależną A oraz
zestaw lub pojedynczą zmienną B
* Regresja hierarchiczna to model regresji wielokrotnej do którego, w pierwszym
kroku, wprowadzamy zmienne, które mają istotny wpływ na zmienną zależną (o
czym wiemy z teorii, badań, itp.). Następnie wprowadzamy predyktor, który
pozwala (zdaniem badacza) zwiększyć predykcję.
Interpretacja współczynnika f 2
f 2 = 0,02
mały
f 2 = 0,15
średni
f 2 = 0,35
duży
Analiza czynnikowa
Jest to rodzina technik pozwalających na
przedstawienie relacji między zmiennymi,
które należą (wg badacza) do tego samego
zbioru (Zakrzewska, 1994) .
Celem zastosowania analizy czynnikowej jest
odnalezienie nowej grupy zmiennych, mniej
licznej od pierwotnej grupy, która wyraża to,
co jest wspólne pomiędzy oryginalnymi
zmiennymi (Zakrzewska, op. cit.).
Analiza czynnikowa (2)
Ze względu na przyjęty przez badacza cel
rozróżnia się dwa typy analizy czynnikowej:
• eksploracyjny (EFA), polegający na
odnalezieniu grupy zmiennych (czynników)
tłumaczących korelacje pomiędzy
obserwowalnymi zmiennymi
• konfirmacyjny (CFA), polegający na testowaniu
hipotez dotyczących relacji pomiędzy
czynnikami, które tłumaczą korelacje
pomiędzy zmiennymi obserwowalnymi
Kryteria ustalania liczby czynników w
EFA
kryterium Keisera: pozostawiamy taką ilość
czynników, których wartość ≤ 1
Kryteria ustalania liczby czynników w
EFA (2)
test osypiska: kryterium odrzucenia to punkt,
w którym nachylenie staje się małe, a
wariancja nie spada (szum informacyjny)
Miary wielkości efektu dla EFA
Miarą wielkości efektu dla eksploracyjnej
analizy czynnikowej jest łączny procent
wyjaśnianej wariancji przez wyodrębnione
czynniki.
SPSS: Analiza  Redukcja wymiarów Analiza czynnikowa
STATISTICA: Statystyka  Wielowymiarowe techniki eksploracyjne  Analiza czynnikowa
Miary wielkości efektu dla CFA
• test chi-kwadrat: miara dobroci dopasowania modelu
do danych. Jeżeli statystyka chi-kwadrat okaże się
istotna, należy odrzucić model
• GFI (wskaźnik dobroci dopasowania) oraz AGFI
(skorygowany wskaźnik dobroci dopasowania):
porównują wyjściową oraz odtworzoną macierz
kowariancji. Przyjmują wartość od 0 do 1. Jeżeli
wartość wskaźnika spada poniżej 0,9 - należy
zmodyfikować model* (Zakrzewska, 2004)
* Nie dysponujemy rozkładem statystycznym GFI, dlatego nie opracowano standardów
interpretacji
Miary wielkości efektu dla CFA (2)
• pierwiastek ze średniego kwadratu reszt
(RMR): pokazuje średnią z macierzy
pozostałości po dopasowaniu modelu (macierz
reszt). Jego poprawną interpretację zapewnia
odniesienie go do wielkości kowariancji z
macierzy korelacji zmiennych
obserwowalnych. Wysoka wartość RMR
wskazuje na złe dopasowanie modelu
(Zakrzewska, 2004)
Miary wielkości efektu dla CFA (3)
• pierwiastek ze średniego kwadratu błędu
aproksymacji (RMSEA): szacuje wielkość
popełnianego błędu aproksymacji w populacji.
Wyniki:
• RMSEA ≤ 0,05 oznacza dobre dopasowanie
• RMSEA > 0,08 oznacza poważny błąd
aproksymacji
(Zakrzewska, 2004)
Analiza ścieżek Path Analysis
Zastosowanie PA umożliwia weryfikację
hipotez dotyczących zależności przyczynowych
w określonym zbiorze zmiennych.
Model PA daje możliwość interpretowania
relacji jako bezpośrednich (X1, X2 na Y) lub
pośrednich (X1 poprzez X2 na Y).
Analiza ścieżek jest metodą testowania teorii –
weryfikowana struktura zależności powstaje
jako konsekwencja teorii (Gaul, Machowski,
2004).
Analiza ścieżek Path Analysis
wielkość efektu
Miarą wielkości efektu dla modelu PA jest,
analogicznie jak w przypadku analizy regresji,
statystyka R2.
Wskaźnik wielkości efektu
requivalent
requivalent
Łatwy do obliczenia wskaźnik wielkości efektu
wyprowadzony z wartości p oraz wielkości
próby (N). Przydatny w:
• prowadzeniu metaanaliz, gdy dysponujemy jedynie
wartością p oraz wielkością prób*
• sytuacji, gdy dla danego testu brak opracowanego
wskaźnika siły efektu (m.in. dokładny test Fishera, test
Wilcoxona, Manna-Whitneya U)
• Sytuacji, gdy obliczony wskaźnik siły efektu może być
omylny (mała liczebność próby + badana zmienna nie
rozkłada się normalnie)
*Dla dokładnego oszacowania requivalent musimy dysponować dokładną wartością poziomu
istotności p (np. p = 0,003). W przypadku, gdy dysponujemy jedynie przybliżoną wartością
(np. p < 0,05), będziemy w stanie obliczyć jedynie dolną granicę wskaźnika requivalent
Obliczanie requivalent
1. Odczytanie z tablic (obliczenie) wartości t
(wartość p jednostronna, stopnie swobody
df = N – 2)
2. Obliczenie requivalent wg wzoru:
Interpretacja requivalent
Wskaźnik wielkości efektu requivalent przyjmuje
wartości od -1 do 1 i odpowiada wskaźnikowi
korelacji punktowo-dwuseryjnej* pomiędzy
zastosowaniem manipulacji eksperymentalnej, a
wynikiem w standardowym badaniu
eksperymentalnym (randomizacja, grupa kontrolna o
liczebności N/2, grupa eksperymentalna o liczebności
N/2, rozkład normalny zmiennych w obu grupach),
gdzie statystyka testu t równa jest t uzyskanemu z
naszej wartości p.
*Jeżeli jedna zmienna jest ciagła i ilościowa (np. wynik w teście), druga jest
dychotomiczna i nominalna (np. zastosowanie techniki uczenia się)
Kiedy stosować requivalent
• gdy badanie zbliżone jest formą do badania
standardowego (patrz: poprzedni slajd)
• gdy jedyną alternatywą jest brak
jakiegokolwiek wskaźnika wielkości efektu
• gdy zastosowano metody nieparametryczne
dla których brak określonych ściśle
wskaźników
• gdy próba jest mała i inne wskaźniki mogą
wprowadzać w błąd
Literatura:
Brzeziński, J. (2004). Metodologia badań psychologicznych. Warszawa: Wydawnictwo
Naukowe PWN
Effect size (n.d.). W: Wikipedia. Pozyskano z: http://en.wikipedia.org/wiki/Effect_size
Ferguson, G. A., Takane, Y. (2003). Analiza statystyczna w psychologii i pedagogice.
Warszawa: Wydawnictwo Naukowe PWN
Gaul, M., Machowski, M. (2004). Wprowadzenie do analizy ścieżek. W: J. Brzeziński
(red.), Metodologia badań psychologicznych. Wybór tekstów (str. 362-390).
Warszawa: Wydawnictwo Naukowe PWN
King, B., Minium, E. (2009). Statystyka dla psychologów i pedagogów. Warszawa:
Wydawnictwo Naukowe PWN
Krejtz I., Krejtz K., (2007). Wprowadzenie do analizy regresji jedno- i wielozmiennowej.
W: A. Brzezicka-Rotkiewicz, S. Bedyńska (red), Statystyczny drogowskaz: praktyczny
poradnik analizy danych (str. 364-384). Warszawa: Academica
Król, G., Wieczorkowska, G. (2004). Budowanie wskaźników za pomocą analizy
czynnikowej. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór
tekstów (str. 391-416). Warszawa: Wydawnictwo Naukowe PWN
Literatura:
Rosenthal, R., Rubin, D. B. (2003). requivalent: A Simple Effect Size Indicator. Psychological
Methods, 8(4), 492-496.
StatSoft (2010, marzec). Internetowy podręcznik statystyki. Pozyskano z:
http://www.statsoft.pl/textbook/stathome_stat.html?http%3A%2F%2Fwww.statso
ft.pl%2Ftextbook%2Fadvans1.html
Stożek, E. (2010, marzec). O czym mówi efekt standardowy? Pozyskano z:
http://www.ptde.org/file.php/1/Archiwum/XI/57.pdf
Zakrzewska, M. (1994). Analiza czynnikowa w budowaniu i sprawdzaniu modeli
psychologicznych. Poznań: Wydawnictwo Naukowe UAM
Zakrzewska, M. (2004). Konfirmacyjna analiza czynnikowa w ujęciu pakietu
statystycznego LISREL 8.51 (2001) Karla G. Jöreskoga i Daga Sörboma. W: J.
Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str. 342478). Warszawa: Wydawnictwo Naukowe PWN