Transcript Tänk så bra enkätstudier vi skulle kunna göra om det inte

Tänk så bra enkätstudier
vi skulle kunna göra
om det inte vore för
respondenterna…
Marika Wenemark
Folkhälsocentrum, Landstinget i Östergötland
Samhällsmedicin, Institutionen för medicin
och hälsa, Linköpings universitet
[email protected]
Marika Wenemark
Svarsfrekvens i Riks-SOM 1995–2010.
Marika Wenemark
Bias in responding
The respondents’ perspectives, however, are often quite different. They
are often unaware that the individual items are ignored in favor of the
total score. Even when told that their responses will be scored by a
computer, it is quite common to find marginal notes explaining and
elaborating their answers. Thus, it appears that respondents treat each
item as important in its own right, and often believe that their answers
will be read and evaluated by another person.
[Streiner – Health measurement scales 2003]
Marika Wenemark
Marika Wenemark
Idéer om hur man kan höja svarsfrekvensen…
  “Because a good response rate is so important, we will be sending
reminders to nonrespondents. To avoid this irritant, why not fill it in now
and get it over with!?”
  Hardest-to-reach respondents are those who refused the interview at least
twice before complying and/or required 21 or more calls to complete the
interview.
  Ofta är det bättre att lägga resurserna på ett mindre utskick där man har
resurser att “jaga in” svar.
Marika Wenemark
Marika Wenemark
Utveckling av enkätmetodik…
 
Responspsykologi och kognitiva intervjuer
 
Avancerade index och skalor
 
Intensivt uppföljningsarbete
 
Övertalningsmetoder
Men har vi inte glömt någonting?
Marika Wenemark
Let us not become a profession that
focuses mainly on technical survey issues,
instead of the people and issues that we
are studying.
Schulman 2003
Marika Wenemark
Respondenten i fokus
”Traditionell” enkätmetodik
Responspsykologi
Kognitiva intervjuer
Kunskap om våra respondenter
Teorier om sociala regler
Teorier om motivation
Etik
Marika Wenemark
Hur mycket tid ägnar du en vanlig vecka åt fysisk träning
som får dig att bli andfådd, till exempel löpning,
motionsgymnastik eller bollsport?
0 minuter/Ingen tid
Mindre än 30 minuter
30-60 minuter (0,5-1 timme)
60-90 minuter (1-1,5 timmar)
90-120 minuter (1,5-2 timmar)
Mer än 120 minuter (2 timmar)
Den kognitiva processen för att
svara på en fråga (Tourangeau 2000)
 
 
 
 
 
Förstå frågan
Skaffa relevant information
Formulera ställningstagande
Anpassa svaret till givna svarsalternativ
Justera svaret
Marika Wenemark
Hur länge har du arbetat på din nuvarande arbetsplats?
Hur gammal var du när du fick ditt första barn?
Hur gammal var du när du fick ditt senaste barn?
Marika Wenemark
Kognitiva intervjuer för att testa frågor
Hur bedömer du informationen du har fått när
det gäller följande:
Mycket
bra
Syftet med olika provtagningar [ ]
Cancersjukdomen
[ ]
Förväntad prognos
[ ]
Ganska
bra
Ganska
dålig
Mycket
dålig
Inte
aktuellt
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
Börda
Kognitiv börda
Onödigt arbete
Misstro
Kränkande frågor
Oro
Marika Wenemark
Misstro
Ställs frågorna om igen för att kolla att jag svarat rätt?
Ibland slås man av att enkäter är upplagda på ett sätt som att man
vill få ut saker utan att respondenten förstår det
Du vet ju bara själv om en händelse är relevant för stress och hälsa.
Jag tror att enkätsvar ofta redovisas fel när det kommer i tidningen.
Det gör att man blir osäker när man svarar. Man vill ju inte att det
redovisas fel.
Marika Wenemark
Exemplet GRODAN
142 000 elever använder 40
minuter till att besvara en enkät
Det motsvarar 95 000 timmar eller
53 heltidsanställda i ett år
Återföring:
Du svarade fel!
Marika Wenemark
7. Att vistas i naturen brukar få mig att känna eller uppleva en
känsla av att jag själv och alla människor hör samman med,
och ingår i naturen.
[
[
[
[
[
[
]
]
]
]
]
]
Helt oenig
Delvis oenig
Varken enig eller oenig
Delvis enig
Helt enig
Vet ej
Marika Wenemark
Face validity – bra eller dåligt?
… there are situations where face and content validity may
not be desirable, and may be consciously avoided. For
example, in assessing behavior such as child abuse …
Streiner – Health measurement scales 2003
Marika Wenemark
Bias in responding
The respondents’ perspectives, however, are often quite different. They
are often unaware that the individual items are ignored in favor of the
total score. Even when told that their responses will be scored by a
computer, it is quite common to find marginal notes explaining and
elaborating their answers. Thus, it appears that respondents treat each
item as important in its own right, and often believe that their answers
will be read and evaluated by another person.
[Streiner – Health measurement scales 2003]
Marika Wenemark
Marika Wenemark
Marika Wenemark
Tillfredsställelse
Bidra
Ansvar
Komma till tals
Reflektion
Marika Wenemark
Marika Wenemark
Kumulativ skillnad i svarsfrekvens
Marika Wenemark
SVARAR ALLTID
SVARAR ALLTID
SVARAR OFTA
SVARAR OFTA
SVARAR SÄLLAN
SVARAR SÄLLAN
SVARAR
ALDRIG
SVARAR
ALDRIG
Marika Wenemark
Hur kan vi ta större ansvar?
  Beställaren
Våga ifrågasätta uppdraget
Avsätta pengar för kvalitetsutveckling och datanyttjande
Inhämta färsk kunskap för att kunna göra en bra upphandling
Ställa krav på dokumentation
  Företag som genomför studien
Våga ifrågasätta uppdraget
Dokumentera och återföra erfarenheter av datainsamlingen
Erbjuda utprovning
Marika Wenemark
Vad kan vi alla göra?
  Bredare verktygslåda för våra studier
  Gemensamma utvecklingsarbeten
  Följa upp reaktionerna
  Minimera antalet förbannade respondenter
100 arga
respondenter
var väl inte så
farligt …
Fokus på de som vill
delta istället för på
de som inte vill
svara?
Samarbete
istället för
övertalning?
Respondent fokus
Fokus på det
sociala mötet
istället för tekniska
aspekter?
Marika Wenemark
Respondent
tillfredsställelse
istället för
respondent börda?
Utan respondenter –
ingen studie
Marika Wenemark