Transcript Fallgruber i kvantitativ andrespråksforskning

18.10.2012
Fallgruber
i kvantitativ andrespråksforskning
Bård Uri Jensen
http://privat.hihm.no/buj/
[email protected]
Statistisk hypotesetesting
1. Velge hypotese

F.eks. vietnamesere har mer inversjonsfeil enn somaliere
2. Danne nullhypotese

Vietnamesere og somaliere har like mye inversjonsfeil
3. «Motbevise» nullhypotesen = vise at den er usannsynlig


F.eks. mindre enn 5 % sjanse for at nullhypotesen er sann
= «Signifikans»
• Vi velger
α
ut fra hva vi mener er en akseptabel risiko for feil
 Ofte 0,05 i humanistisk forskning
Fallgruber i statistikken
1
18.10.2012
Et enkelt eksempel: «Sokkene i skuffen»
• Hypotese: Flere svarte sokker enn røde
• Null-hypotese: Like mange svarte som røde
• Metode: Enkel sannsynlighetsregning
Fallgruber i statistikken
Metode for sokkeproblemet
• Hvis nullhypotesen er sann (like mange svarte og røde),






1
2
3
4
5
n
svarte
svarte
svarte
svarte
svarte
svarte
sokker:
sokker:
sokker:
sokker:
sokker:
sokker:
p1
p2
p3
p4
p5
pn
= 0,5
= 0,5
= 0,5
= 0,5
= 0,5
= p1n
*
*
*
*
0,5
0,5
0,5
0,5
= 0,25
* 0,5 = 0,125
* 0,5 * 0,5 = 0,0625
* 0,5 * 0,5 * 0,5 = 0,03125
• Jeg trekker 5 svarte sokker på rad
  nullhypotesen er sannsynligvis ikke sann (p < 0,05)
  hypotesen er sannsynligvis sann
Fallgruber i statistikken
2
18.10.2012
Metode for sokkeproblemet
• Hvis jeg trekker røde innimellom, f.eks. 10 svarte og 3 røde,
 kan jeg bruke jeg en kjikvadrat-test.
• Hva hvis sokkene ligger i pakker?
• Strider mot prinsippet om «uavhengige observasjoner»
  Vi kan ikke bruke formelen pn
Fallgruber i statistikken
Korpus i andrespråksforskning
• Tekstkorpus
 = Samling av tekster der variablene er pakket i pakker
 Hver tekst inneholder flere forekomster skrevet av samme informant
• En forutsetning for kjikvadrat-test:
 Uavhengige observasjoner
Fallgruber i statistikken
3
18.10.2012
Eksempel 1 (kjikvadrat-test)
•
Hunter, J.D. (2011). Ph.D. thesis. University of Birmingham.
• I kapittel 5:
 11 informanter (med visse egenskaper)
 338 vurderinger av grammatikalitet
 Metode: Kjikvadrat-test på 338 observasjoner
 Konklusjon: “The participants were [...] more likely overall to judge items
grammatical (X2 (1, N = 338) = 30.38, p < .0001) than ungrammatical.”
(s. 139)
 Observasjonene er ikke uavhengige  Konklusjonen er ugyldig!
Fallgruber i statistikken
En mulig løsning: t-test
1. Regne ut gjennomsnittsverdier for hver informant / tekst
2. Bruke hver informants verdi som en (uavhengig) observasjon
3. Bruke en t-test på informantverdiene
Forutsetninger for t-test
•
•
•
Uavhengige observasjoner
Begge populasjoner er normalfordelt
m.fl...
Fallgruber i statistikken
4
18.10.2012
Eksempel 2 (t-test)
• Hunter (2011, s. 53).
• Problemer:
 Ikke uavhengige observasjoner (N = 14)
 Utvalgene kommer ikke fra normalfordelte populasjoner
  Konklusjonene er ugyldige.
Fallgruber i statistikken
0.00
0.05
0.10
p
0.15
0.20
0.25
Reaksjonstider for «korrekt», m=2.591, sd=2.760.
-5
0
5
10
Sekunder
Fallgruber i statistikken
5
18.10.2012
0.00
0.05
0.10
p
0.15
0.20
0.25
Reaksjonstider for «korrekt», m=2.591, sd=2.760.
-5
0
5
10
Sekunder
Fallgruber i statistikken
Eksempel 2 (t-test)
• Hunter (2011, s. 53).
• Problemer:
 Ikke uavhengige observasjoner (N = 14)
 Utvalgene kommer ikke fra normalfordelte populasjoner
  Konklusjonene er ugyldige.
Fallgruber i statistikken
6
18.10.2012
Eksempel 3 (t-test)
• Gajdos, J.L.W. (2011). Ph.D. thesis. University of Iowa.
Fallgruber i statistikken
Moral
«Man skal ikke bruke en test man ikke forstår.»
1. Man må forstå premissene for testen man bruker
2. Man må forholde seg til premissene
3. Man må dokumentere hvordan man forholder seg til premissene
Fallgruber i statistikken
7
18.10.2012
Er dette viktig?
JA
Fallgruber i statistikken
Kilder (http://privat.hihm.no/buj)
•
•
•
•
•
Lewis, D., & Burke, C. J. (1949). The use and misuse of the chi-square
test. Psychological Bulletin, 46(6), 433-489.
Boneau, A. C. (1960). The effects of violations of assumptions
underlying the t test. Psychological Bulletin, 57(1), 49-64.
Gajdos, J.L.W. (2011). German demonstrative adverbs of spatial deixis:
Evidence from native speakers, L2 learners, and corpora. Ph.D. thesis.
University of Iowa.
Hunter, J.D. (2011). A multi-method investigation of the effectiveness
and utility of delayed corrective feedback in second-language oral
production. Ph.D. thesis. University of Birmingham.
Huthaily, K.Y. (2008). Second language instruction with phonological
knowledge: Teaching Arabic to speakers of English. Ph.D. thesis.
University of Montana.
Fallgruber i statistikken
8