Transcript Lektion 11 – Kvalitetskriterier for den gode opgave

?
KVALITETSKRITERIER
Hvordan evaluerer vi kvaliteten af kvalitative undersøgelser?
Lektion 11 v/ Anne Hvejsel
TREENIGHED
(repræsentativitet)
Generaliserbarhed
KVALITETSKRITERIER
Validitet
(gyldighed)
Reliabilitet
(pålidelighed)
Mål for videnskabelige undersøgelser:
“En undersøgelse skal både være
pålidelig og gyldig for, at den kan til
skrives høj troværdighed”
(Fischer & Rasmussen, 2008, s. 125)
?
Hvad er validitet
LAV/HØJ VALIDITET?
I vil undersøge, hvem der træffer de reelle
beslutninger på ITU og I har derfor observeret 5
bestyrelsesmøder. På ét af bestyrelsesmøderne
bliver det bl.a. besluttet at indføre et nyt IT
system kaldet LearnIT. Senere viser det sig, at
LearnIT aldrig bliver implementeret.
Har I brugt den rette metode til at
undersøge det, I ville undersøge?
HISTORISK BLIK: validitet i NAT/SAMF
Validitet:
• “Måler vi det, vi tror vi måler?”
(Kerlinger 1979, s. 138)
• Validitet = målbart (tal)
• Verifikation
Videnskabsteori/- syn:
• Positivisme
• Universielle sandheder findes
• Når vi har identificeret det unikke
i objektet, kan vi generalisere og
formulere lovmæssigheder som
gælder for alle objekter
• Objektiv sandhedsværdi
• Studér objekter
http://www.news.wisc.edu/newsphotos/images/Ntambi_mice_compare02.jpg
HISTORISK BLIK: validitet i humaniora
Validitet:
•
•
•
•
Processuelt (Creswell, Kvale)
Håndværksmæssig kvalitet (Kvale)
Forsvarlige vidensudsagn
Modstå falsifikationsforsøg
Videnskabsteori/- syn:
• Social konstruktivistisk
• Kontekstualisering frem for
generalisering
• Hver situation er unik og har sin
egen logik
• Studér mennesker og
menneskefrembragte artefakter
• Forsker er aktiv fortolker
Creswell’s 8 strategier
1.
2.
3.
4.
5.
6.
7.
8.
Feltstudier
Triangulering
‘Peer review’
Negativ case-analyse
Forskerens bias
Respondent validering
‘Thick rich description’
Ekstern auditør
Kritisk
opdeling!
(se senere)
Creswell anbefaler at benytte
minimum to strategier
Start
Definere/redefinere fænomen
Behov for
redefinere
fænomenet?
Studere tilfælde af fænomen (cases)
Formulere/reformulere hypoteser
Studere tilfælde af fænomen (cases)
Matcher alle
tilfælde
hypoteserne?
Figur: The process of analytic induction
Kilde: Hammersley (1989b:170) angivet i Hammersley & Atkinson 2007, s. 187
Stop
Håndværksmæssig kvalitet
Forsvarlige vidensudsagn
“Validering bliver et spørgsmål om
at vælge mellem konkurrerende og
falsificerbare fortolkninger, om at
undersøge og skaffe argumenter for
alternative videnudsagns relative
troværdighed” (Polkinghorne, 1983)
VALIDITET I HUMANIORA
VALIDITET I HUMANIORA
“Jo stærkere falsifikationsforsøg en påstand har
overlevet, desto gyldigere, desto mere
troværdig er den pågældende viden”
(Kvale, 1994, s. 236)
VALIDERINGSSTRATEGI
En medstuderende har bedt om jeres hjælp til
hans bachelorprojekt. Han undersøger
konsekvenserne af den øgede narcissisme på
Facebook blandt danske unge. Som metode har
han gennemført 10 enkeltmands interview med
hhv. 5 piger og 5 drenge, hvor han har spurgt ind
til deres generelle hverdagsbrug af Facebook og
i særdeleshed om deres selvfremstilling.
Hvilke af Creswells strategier vil I råde ham
til at bruge for at validere sit resultat?
De 7 stadier
1.
2.
3.
4.
5.
6.
7.
Tematisering
Design
Interview
Transskribering
Analyse
Validering
Rapportering
1.
2.
3.
4.
5.
6.
7.
Hvor sikre er undersøgelsens teoretiske
forudsætninger, og hvor sikker er logikken i
slutningerne fra teorien til undersøgelsens
PF?
Metoders hensigtsmæssighed ift.
undersøgelsens genstand og formål
Troværdigheden af interviewpersonens
udsagn og selve kvaliteteten af interview
(spm) og kontinuerlig kontrol af udsagn
Spørgsmålet om, hvad der en gyldig
oversættelse fra mundtlighed til skriftlighed
Er spørgsmålene som stilles til
interviewtekst gyldige, og er
fortolkningslogikken fornuftig?
Reflekteret vurdering af, hvilke
valideringsformer der er relevante for en
bestemt undersøgelse?
Er rapporten en gyldig redegørelse for
undersøgelsens hovedresultater.
Validering på 7 stadier af interviewet, jf. Kvale, 1994, s. 232
Generaliserbarhed
KVALITETSKRITERIER I
KVALITATIV FORSKNING
Validitet
Reliabilitet
FRA NAT/SAMT TIL HUM
Generalisering -> Generaliserbarhed
• Creswells ‘ thick rich description’.
– Transferability: kan informationerne overføres til
andre situationer?
Læseren vurderer
• Kvale ‘analytisk generalisering’
generaliserbarheden
af dine resultater.
– “Indebærer en velovervejet bedømmelse af, i
hvilken grad resultaterne fra en undersøgelse kan
være vejledende for, hvad der kan ske i en anden
situation. Den er baseret på en analyse af ligheder
og forskelle mellem de to situationer.”
Generaliserbarhed, jf. Kvale, 1994, s. 228
STATISTISK GENERALISERING fra SAMF
STRATEGIER FOR CASEVALG
Selektionstype
Undertype
Formål
A
Tilfældig udvælgelse
At undgå systemisk bias I stikprøven.
Generalisering mulig
Tilfældig stikprøve
At tilvejebringe en repræsentativ
stikprøve, der tillader generalisering for
hele befolkningen
Stratificeret stikprøve
At generalisere for specielt udvalte
undergrupper inden for populationen
Informationsorienteret udvælgelse
At maksimere nytteværdien af
information. Vælges ud fra forventning
om informationsindhold
Eksteme/atypiske cases
At opnå information om usædvanlige
cases, som kan være særligt
gode/problematiske I snæver forstand
Cases med maksimal variation
At indhente information om betydning af
variation (fx. 3-4 cases)
Kritiske cases
At indhente information der tillader
logisk deduktion
Paradigmatiske cases
At udvikle mønskter
eksempel/prototype/metafor for det
område casen vedrører
B
Brinkmann & Tanggaard, 2010, s. 475
RELIABILITET
• Pålidelighed
• Indsamlingsmetoden er veldefineret (Kvale, 1994)
• Resultaternes pålidelighed, fordi analysen er
udført korrekt (Jensen, 2008)
• Forskningsresultaternes konsistens (Kvale, 1994)
• Intercoder agreement (Creswell, Hammersley & Atkinson, 2008)
– Open coding
– Focused coding
Reliabilitet i NAT/SAMF =
resultat testes og
efterprøves af andre og når
til samme resultat
=udsige lovmæssigheder
KILDERS RELIABILITET
• Dine resultaters pålidelighed afhænger ikke
kun af om analysen er udført korrekt - men
også af om dine kilder er pålidelige (Booth el al, 2008)
– Kilder bør vurderes ud fra:
•
•
•
•
Udgivelseskanal? (akademisk tidskrift, fagblad etc)
Peer reviewed?
Sponsoreret forskning?
Anerkendt eller ny forsker? (citation index, ethos)
• At lave fejl kan ske, men at snyde er
uopretteligt i akademiske kredse.
Referencer
Booth, W. C., Colomb, G.G. & Willimans, J. M. (2008) The Craft of
Research (3rd. Ed.) Chicago: The University of Chicago Press.
Fischer, V. C. & Rasmussen, L. H. (2008) Målgruppeanalyse – Kend
din målgruppe. København: Nyt Teknisk Forlag.
Hammersley, M. & Atkinson, P. (2007) Etnography. Principles in
practice. (3rd. Ed.). New York: Routledge
Jensen, L. B. (2012) Fra Patos til Logos. Videnskabsretorik for
begyndere. (5. oplag). Roskilde: Roskilde Universitetsforlag.
Kvale, S. (1994) Interview. En introduktion til det kvalitative
forskningsinterview. (6. oplag). København: Hans Reitzels Forlag.
Polkinghorne, D. E. (1983) Methodology for the human science.
Albany: SYNY Press.