Transcript 11. Kursusgang Validitet reliabilitet ITU forår 2012 07.05.12

11. Kursusgang
Validitet og
reliabilitet(gyldighed og
pålidelighed)
07.05.12
1
Et spørgsmål om validitet
• 70 procent af alle P3´s lyttere er
yngre mænd, mens resten er kvinder
• Problemformulering: Hvad er det der
er galt med indholdet i P3’s
programmer, som betyder at kvinder
ikke lytter til kanalen?
• Er det en gyldig problemstilling?
2
Kvales syv stadier
• Tematisering
• Design
• Interview
• Transskribering
• Analyse
• Validering
• Rapportering
Refleksion
Selvkritik
Perspektivering
Eksamination
Refleksion
Selvkritik
Argumenter for
valg
Husk: Validitet
og reliabilitet
Oplæg
Projektrapport
Eksamen
Reflekter over
spørgsmål
Indrøm fejl
4
Validitet og reliabilitet
• De kvalitative kriterier
• De kvantitative kriterier
5
Gyldighed og
pålidelighed
Validitet/gyldighed
• Hele undersøgelsen
• Hvad kan den sige om mit emne?
Reliabilitet/pålidelighed
• Har jeg lavet fejl i min indsamling af data?
• Er der fejl i mine data?
6
Et spørgsmål
• Er en undersøgelse der er pålidelig
også gyldig?
7
Metodekravene
Lund, Anker Brink (1986): Habermas i hovedet og Gallup på papiret, s.
8
Validitet – både
kval/kvan
Validitet (gyldighed)
"Validitet handler om at sikre sig, at
man konkret undersøger det, som
man sætter sig for at undersøge."
(Bente Halkier 2001: "Fokusgrupper, s.109)
Har du undersøgt det, man skal undersøge?
• Ydre validitet (autencitet og dybde)
• Indre validitet (konsensus)
9
Validitet i praksis
• Lav et systematisk stykke håndværk
• Gør det gennemskueligt for andre og
så dine forforståelser
• Fremlæg præmisserne for din
bearbejdning
• Argumenter for dine resultater
Fokusgrupper: Bente Halkier
10
Styrk validiteten ved
• Metodetriangulering
• At have nogle fornuftige
udvælgelseskriterier
• "Når samfundsforskere nævner tre
ting, der har betydning for validiteten
burde de sige systematik, systematik,
systematik"
Bente Halkier 2001: "Fokusgrupper, s.113
11
Tre elementer i validitet
12
Tjeklisten for validitet - 1
Konstruktionsvaliditet
• Har du fat i det rigtige problem og har du fat i de rigtige variable
(forskningsspørgsmål)
• Med al data ind kan du vurderer på validiteten i projektet
• Vurder om du har overset faktorer, som kan have betydning for validiteten
Datavaliditet
• Kan du svare på problemformulering på baggrund af din empiri
• Forhold dig kritisk til din undersøgelser og vurder hele tiden, om du har tilstrækkeligt
datamateriale til at kunne drage nogle konklusioner (data-validitetsproblemer).
• Ellers lav opfølgende undersøgelser for at få flere data indsamlet.
Undersøgelsesvaliditeten
• Her vurderer du hele din metode i forbindelse med både empiriindsamling,
teorivalg og problemformulering.
Lav en selvkritisk vurdering
• Samle dem i et metodekritikkapitel eller skriv dem ind i dine delkonklusioner.
13
Tjekliste for validitet - 2
Derudover skal du:
•
Lav et systematisk stykke håndværk
•
Gør det gennemskueligt for andre
•
Fremlæg præmisserne for din bearbejdning
•
Argumenter for dine resultater
14
Tjek tjeklisten…
• …og vend den med din sidemand, du
ikke er i gruppe med…
15
Reliabilitet
Reliabilitet (pålidelighed)
Har man målt rigtigt?
"I dag handler reliabilitet om at gøre sine
måder at producere og bearbejde data
eksplicitte og gennemskuelige for andre, så
andre kan vurdere, om der er lavet et
ordentligt stykke håndværk."
(Bente Halkier 2001: "Fokusgrupper, s.111)
16
Kriterier fra den
kvantitative metode
Objektivitet
– Kan tilstræbes – men kan vi nogensinde ikke være
subjekter?
– Det væsentlige kriterium er intersubjektivitet, både i
forhold til de interviewede og de andre forskere
Repræsentativitet
– Næsten uladsiggørlig, forbeholdt den kvantitative
metode, men interviewede man alle kirkegængere i
Lumsås kirke eller medlemmer af et community så er
man tæt på.
17
Tendenser – flere
fokusgrupper
• Flere fokusgrupper
• Give mulighed for at lave mange
modelbrugere
• Være up-front overfor de
kvantitative undersøgelser
• Men det handler om hvad man vil
undersøge og hvor komplekst det er
18
Formålet med kvantitative
undersøgelser
”Formålet
med kvantitative stikprøveundersøgelser er at finde mønstre i
mangfoldigheden. Disse undersøgelser
fokuserer på et mindre antal kendetegn hos
mange respondenter, hvor den kvalitative
undersøgelse fokuserer på et større antal
kendetegn hos få undersøgte enheder.”
Sepstrup, Preben (2002): ”En undersøgelse viser…”, s. 19
Måle og veje
Den kvantitative metode antager, at
de undersøgte forhold kan måles og
værdisættes eks:
– Hvor hyppigt taler du i mobiltelefon?
– Hvor vigtig er din mobiltelefon for dig på
en skala fra 1-5?
– Kan man så det?
Styrke og svagheder
 Metodens styrke
–
–
–
–
Klarhed
Overblik
Tal (– en undersøgelse viser…)
(Anerkendelse)
 Metodens svaghed
– Reduceret forståelse
– Minus nuancer
– Minus dybde
Validitet og
repræsentativitet
 Repræsentativitet:
– Den gruppe, man spørger, skal repræsentere
den gruppe, man vil vide noget om
Validitet: Kan man tro på svarene? Forstås de
rigtigt og ens – eks. ”bjørnetjeneste”
.
Validitet - spørgeskema
”Hvad synes du om hjemmehjælpen?”
- Hvem skal vi spørge?
- Hvor og hvordan kan man spørge dem
henne?
- Hvad hvis vi spørger de gamle på biblioteket?
- Hvad hvis vi sender det ud til de gamle i
deres hjem
23
Udvælgelse af
svarpersoner
 Systematisk udvælgelse
F.eks. hver tiende husstand eller
computergeneret), CPR-numre (koster
penge), medlemslister (eks. hver femte),
Nørreport (hver tiende person der går
forbi), arbejde etc.
Klyngeudvælgelse
Populationen opdeles i delgrupper –
klynger, der er repræsentative. Det kunne
være alle 8. klasser i Nordjyllands amt.
Stikprøvens størrelse
Gallup bruger 1000 enheder til at
sige noget om den danske
befolkning, men ofte er 500 nok
I USA bruger de også 1000 enheder
Tommelfingerregel = ikke færre end
100 enheder
Konstruktion af strukturerede
spørgeskemaer
Vær klar over formålet; hvad skal det
bruges til?
Begrænsningerne: Hvad kan man ikke
forvente at få besvaret ved denne
metode?
Spørgeskemaerne kan være åbne,
lukkede, semilukkede. Med
efterfølgende konsekvenser for
bearbejdningen.
Reliabilitet – kval/kvan
Reliabilitet er spørgsmålet om målingens kvalitet. Man kan vurdere
reliabiliteten i forhold til følgende potentielle fejlkilder:
• Subjekt-reliabiliteten: karakteristika hos respondenten under
undersøgelsen, humør, tid...
• Observatør-reliabilitet: fortolkning eller påvirkning af
respondentens svar fra interviewerens side.
• Instrument-reliabilitet: ex. var spørgsmålene klare for alle?
• Situationsreliabilitet: omgivelsernes påvirkning i
indsamlingssituationen f.eks manglende briller eller link til
spørgeskema i bunden af en mail
(DDA-nyt (1983):15-16)
27
Tjeklisten - reliabiliteten
• Hvor pålidelige er de indsamlede data? Herunder:
hvad kan have påvirket dataindsamlingen? (fx
følsomme emner, respondenterne etc.)
• Hvordan har du foretaget målingerne?
• Hvordan analyserer og bearbejder du data? Kan
du argumentere for din metode? Og kan andre
læse sig frem til,
• Hvorfor du er kommet frem til de resultater, du
kommer frem til? (vedlagte interviewudskrift
og/eller citater, der underbygger en påstand)
28
Tjek tjeklisten…
• …og vend den med din sidemand, du
ikke er i gruppe med…
29
30
Styrk validiteten
• Både af den kvalitative og den
kvantitative undersøgelse
31
Hvad er
metodetriangulering
"En måte å styrke validiteten i et prospekt på er
metodetriangluering. Metodisk triangulering betyr å
kompensere for svakheter ved én metode ved å
bruke også andre metodiske tilnærminger.......Slik
triangulering kan innebære at en bruker både
kvalitative og kvantitative metoder..., eller at en
bruker flere ulike kvantitative eller kvalitative
metoder for å analysere en problemstilling.”
Helge Østbye m.fl. (1997): "Metodebok for mediefag", s. 101
32
Hvad kan
metodetriangulering?
• Støtte validiteten (gyldighed - måler man det man vil
måle) af undersøgelsen
• Dette kan også bruges til at vurdere, validiteten af de
involverede undersøgelser.
• Levere viden, som det kvalitative interview er dårligt til
f.eks. antal brugere, uddannelse, køn, etc
• Åbne øjnene for nye aspekter - f.eks. hvem der er de
primære brugere af en hjemmeside Sikkertrafik.dk bekymrede mødre og mandlige trailerentusiaster
Forbehold
• Men dette forudsætter, at alle involverede metoder
(delundersøgelser) er valide
33
Former for
metodetriangulering, 1
Bente Halkier beskriver tre årsager til at lave
metodetriangulering:
1) For at forbedre metoderne gensidigt
Ved at bruge den ene metode f.eks. fokusgruppeinterview
som pilotmetode for at udvikle et større spørgeskema.
2) Som opfølgning efter hinanden for at opnå yderligere
relevant information
Ex. hvis individuelle interview viser, at den sociale
interaktion er vigtig, så kan der følges op med
fokusgruppeinterview – og omvendt.
34
Former for
metodetriangulering, 2
3) Som ligestillede former for empiri
Ex. både at bruge individuelle interview og
fokusgrupper for at opnå forskellige
perspektiver.
(Halkier (2002): ”Fokusgrupper”, s. 18-23)
Hvis I bruger metodetriangulering, så tænk
over:
• Hvorfor er det en væsentligt eller en udbytterig
fremgangsmåde til jeres formål?
35
Kritik af
metodetriangulering
Kim Schrøder kritik:
• For at sige, at hvis resultaterne fra de anvendte metoder
understøtter hinanden er det fint.
• Hvis ikke behøver, det ikke være et problem, men tegn på
mangfoldighed.
Kim Schrøder mener at:
”Måske skulle vi med en anden metafor hellere se de
forskellige metoder som forskellige optiske linser,
hvor man jo forventer, at man ser noget forskelligt
igennem dem?"
Kim Schrøder: "Pionerdagene er forbi, hvor går receptionsforskningen hen",
s. 13.
36
Slut for i dag
Bonus info:
• www.statistikbank.dk
• www.matematiksider.dk/statistik1.ht
ml
37
Kan man generalisere?
• Det store spørgsmål er om man kan bruge
resultaterne fra f.eks. fokusgrupper til at
sige noget generelt om en større gruppe?
38
Generaliserbarhed
Hvorledes kan kvalitative resultater generaliseres ?
Statistisk generaliserbarhed
• Hvor man ønsker at generalisere fra en udvalgt
stikprøve til befolkningen som helhed.
– Dette kan lade sig gøre, hvis stikprøven er udvalgt tilfældig, og
er repræsentativ.
Analytisk generaliserbarhed
• Hvor man ønsker at generalisere fra et udvalg til nogle
idealtyper, ex. forskellige brugerprofiler eller personaer.
– For at sige, hvorledes lignende situationer eller målgrupper
kunne tænkes at se ud eller opføre sig.
(Halkier 2002: 113)
39
Idealtyper – hvad er essensen
• Fremhæver eller tydeliggøre det vigtige for
et område
• Nedtoner det der ikke har så stor
betydning
• En idealtype er ikke en rigtig person
40
Bentes idealtyper
Bente opstiller 3 forskellige idealtyper for måder at
håndtere risiko på:
• Bekymret risikohåndtering
• Irriteret risikohåndtering
• Pragmatisk risikohåndtering
(Bente Halkier (2002): "Fokusgrupper" s. 114)
I hendes nye projekt er der seks forskellige måder at håndtere
madlavning på f.eks.: Madlavning som nødvendighed
41
Kim Schrøders idealtyper
Kim Schrøder opstiller ud fra forskning i
folks reception af reklamer, disse 3
idealtypiske reaktioner på reklamer:
Kim Schrøder:Pionerdagene er forbi – hvor går receptionsforskningen hen?
42
Generaliseringsmål
I følge Kvale kan man tale om tre mål med at foretage
generaliseringer. Ønsket om at studere:
1.
Hvordan det er: dvs. forsøge at fastslå det typiske, det
almindelige, det sædvanlige.
2.
Hvad der er muligt: ex. undersøge skoler der er på
forkant med integration af IT i undervisningen, for at
finde ud af, hvordan folkeskolen kan blive bedre til at
integrere IT i undervisningen.
3.
Hvordan det kunne blive: ex. undersøge situationer,
der er ideelle eller exceptionelle, for at se, hvad der
foregår der.
43
Personaer/modelbrugere
Nogle grupper ønsker afslutningsvist at opstille en
eller flere personaer eller modelbrugere.
Ex. Havde en rapport om skoleelver tre
drengeprofiler, de fremlagde (frit fra
hukommelsen):
• Jesper: den typiske, sociale, aktive
fodbolddreng, med mange venner...
• Mikael: der var til rollespil, lidt en enspænder....
• Ali: indvandrerdreng, der ...
44
2 intranetpersonaer, Margit
En målgruppeanalyse til et intranet på et hospital resulterede i 2
personaer:
• Livssituation: Margit Hansen er 38 år og bor i Brønshøj med sin
mand Preben og sine to døtre. Hun er sygeplejerske og mellemleder
på børneafdelingen på xx Hospital....
Arbejdsmæssigt: Interessen for at arbejde med mennesker har
Margit haft så længe...
Faglig interesse: Margit har en stærk faglig interesse og læser
næsten altid sit fagblad ”Sygeplejersken”...
Intranettet: Intranettet er det sted, Margit henter hovedparten af
sine oplysninger om hospitalet, og...
(Positiv)
45
2 intranetpersonaer, Hanne
• Livssituation: Husassistenten Hanne er mellemleder i
rengøringen på xx hospital. Hun er ryger, 49 år og har
sammen med sin mand Steen, der er tømrer, sønnen
Claus....
Arbejdsmæssigt: Hun har lige fejret sit 20 års jubilæum.
Faglig interesse: Hanne er ufaglært, men hun har flere
gange benyttet sig af kursustilbud fra sin fagforening,...
Intranettet: Hun bruger intranettet jævnligt, og sætter
pris på at hun derigennem kan få informationerne
hurtigt, men hun syntes at computere er lidt og
upersonlige og foretrækker at snakke med sine kollegaer
ansigt til ansigt....(Mere skeptisk. det er ok men synes
det kan være en besværlig ekstra kanal)
46
2 modelbrugere til
psykologhjemmeside
• Modelbruger A: er meget visuelt orienteret. Hvis en
hjemmeside skal opleve at få modelbruger A’s
indledende opmærksomhed, skal hjemmesiden være
visuelt velfungerende. Hænger hjemmesidens layout
ikke sammen med emnet, kan det let resultere i, at
modelbruger A klikker væk. For at modelbruger A
bliver på hjemmesiden og fortsat er opmærksom, kræver
det at tekst og elementer er sat hensigtsmæssigt op.
Tekslinier må ikke være for lange og linieafstanden ikke
for lille, er dette ikke i orden er der atter risiko for at
modelbruger A klikker væk. Det er ofte først herefter at
modelbruger A forholder sig til selve indholdet på
hjemmesiden.
47
Modelbruger B
Modelbruger B: er meget indholdsorienteret. Det første
modelbruger B lægger mærke til på en hjemmeside er
eksempelvis overskrifterne, der er her tale om den
indledende opmærksomhed. Hvis overskrifterne er
underlige eller indeholder stavefejl, er der risiko for at
modelbruger B klikker væk fra hjemmesiden. Er det
derimod iorden, er der stor sansynlighed for at
modebruger B begynder at forholde sig til de visuelle
elementer. De visuelle elementer har sjældent betydning
for om modelbruger B forbliver på hjemmesiden eller
klikker væk, det er indholdet der er relevant.
48
Lene Nielsens modelbruger
”Fordi modelbrugeren er hovedperson i scenariets
fortælling, har modelbrugeren en række karakteristika,
ligesom alle hovedpersoner i fortællinger har det.”
(Lene Nielsen 2002: 6)
• Et dramatisk ønske: det som hun ønsker at opnå
gennem handlingen.
• Et point of view: den måde hun oplever verden på.
• En forandring/forvandling: det der sker med hende
undervejs i fortællingen.
• En holdning: den holdning hun har.
49
Idealtyper
Om dette siger Bente Halkier:
" Disse idealtyper fungerer som en slags
kondensering af et kompleks af viden om
typiske sociokulturelle relationer på området
for fokusgrupperne. Det være sig relationer for
betydninger, relationer for betydningsdannelser
og relationer for normer - eller hvad projektet nu
koncentrerer sin vidensproduktion om."
(Bente Halkier (2002): "Fokusgrupper" s. 113-114)
50
Slut
51
Sammenhæng
”Med traditionel metodisk sprogbrug skal man
altså sikre sig, at man laver nogle fornuftige
operationaliseringer af de vidensinteresser, som
kan udmøntes fra problemstillingen i projektet,
og som er i vis samklang med det empiriske felt.
Både når det gælder udvælgelse, spørgeguide,
moderation, analyse og fortolkning. Derfor
handler validitet også om, at de anvendte
begreber og kategorier hænger sammen med
projektets vidensinteresse.”
(Halkier 2002, 110)
52
Lidt historie
Kilde: http://www.clbs.dk/userfiles/pdf/metoder_opslag.pdf
Population og
delmængder
2 typer af stikprøver:
1) Repræsentative
stikprøver
2) Ikke-repræsentative
stikprøver
 Hvis det er for
omkostningsfuldt at
spørge hele populationen,
kan man lave en
stikprøveundersøgelse en delmængde.
 Husk at have nogle
kriterier for udvælgelsen
eller vurderingen af en
stikprøve
Helge Østbye et al.: Metodebok for mediefag, BergenSandviken, 1997