Økologisk validitet

Download Report

Transcript Økologisk validitet

Forskningsmetoder:

Oppsummering og utdypning Frode Svartdal UiTø April 2010

Siktemål, dagens forelesning

 Sentrale begreper og prinsipper  Ting du MÅ kunne  Ting du LURER på (spørsmål velkomne!)

Viktige begreper

          Validitet, reliabilitet Psykologiske begreper Operasjonalisering Teori Hypotese Data Populasjon, utvalg Kvantitativ vs. kvalitativ metode Korrelasjon (samvariasjon) Kausalitet

Viktige begreper forts.

 Korrelasjonelle vs. eksperimentelle studier  Eksperimentet: Kjennetegn og varianter   Signifikans Effektstørrelse  Statistikk: Slutningsstatistikk, beskrivende  Verifikasjon av resultater  Generalisering av resultater  Publikasjon av forskningsfunn

Huskeliste: Hva MÅ du kunne?

                  Validitet, reliabilitet Psykologiske begreper Operasjonalisering Teori Hypotese Data Populasjon, utvalg Kvantitativ vs. kvalitativ metode Korrelasjon (samvariasjon) Kausalitet Korrelasjonelle vs. eksperimentelle studier Eksperimentet: Kjennetegn og varianter Signifikans Effektstørrelse Statistikk: Slutningsstatistikk, beskrivende Verifikasjon av resultater Generalisering av resultater Publikasjon av forskningsfunn

Hvor er forskningsmetoder relevant?

 Grunnforskning  Avklare empiriske og teoretiske spørsmål  Anvendt forskning  Besvare praktisk begrunnede spørsmål

Grunnforskning vs. anvendt forskning

Grunnforskning

 Empirisk / teoretisk avklaring   Oppsummere forskning (review, metaanalyse) Avsløre feil og mangler i kunnskap 

Anvendt forskning

 Besvare praktisk relevante spørsmål   ”Virker terapi X mot fobi?” ”Hvordan endre røykevaner?”

Grunnforskning vs. anvendt forskning

Grunnforskning

”Forskning for forskningens skyld” Samfunnsmessig betydning ”Nyttig forskning”

Anvendt forskning

Grunnforskning vs. anvendt forskning

Grunnforskning

Samfunnsmessig betydning

Anvendt forskning

Design vs. metode

DESIGN

: Strategi for å besvare et forskningsspørsmål

METODE

: Måte å innhente data på DESIGN METODE Samme design, Ulike metoder

Vitenskapelig tilnærming

 En del spørsmål kan ikke besvares uten at man går grundig og systematisk til verks  Krever  Systematisk, planmessig undersøkelse med utgangspunkt i spørsmålet ( DESIGN )  Data (observasjoner) innhentet med anerkjente METODER  KONTROLL for feil (i måleprosedyrer og slutninger)

Noen eksempler

Clever Hans

Wilhelm von Osten (ca. 1900): Intelligent hest som von Osten påstod kunne telle, gange, dele, … Kunne den?

Clever Hans

   Undersøkelse av fenomenet: Otto Pfungst (1907)  Pfungst, O. (1911).

Clever Hans (The horse of Mr. von Osten): A contribution to experimental animal and human psychology

(Trans. C. L. Rahn). New York: Henry Holt. (Originally published in German, 1907).     Sjekket systematisk ulike faktorer av mulig betydning for fenomenet: Skille hest og spørrer fra hverandre Bruke andre spørrere enn eieren Spørrer var synlig for hesten vs. ikke synlig Introdusere spørsmål der spørrer ikke visste svarene Se http://en.wikipedia.org/wiki/Clever_Hans

Placeboeffekten

Effekt av medikament =

virksomt stoff

+

forventning

Hvordan kan dette avklares?

Placeboeffekten

R Randomisert eksperiment, noen er i eksperimentgruppen andre i kontrollgruppen: Gruppe 1: Virksomt medikament Gruppe 2: Sukkerpille

Placeboeffekten

R Randomisert eksperiment, deltakerne er ”blinde” for betingelsene: Gruppe 1: Virksomt medikament Gruppe 2: Sukkerpille

Problem: Forsøksleders forventning kan påvirke utfallet

Placeboeffekten

R Randomisert, ”dobbelt blindt” eksperiment, deltakerne og forsøksleder ”blinde” for betingelsene: Gruppe 1: Virksomt medikament Gruppe 2: Sukkerpille

Problem: Men hva betyr forventningen?

Placeboeffekten

R Randomisert, ”dobbelt blindt” eksperiment, deltakerne og forsøksleder ”blinde” for betingelsene; forventning manipuleres: Gruppe 1: Virksomt medikament + forventning A Gruppe 2: Virksomt medikament + forventning B Gruppe 3: Sukkerpille + forventning A Gruppe 4: Sukkerpille + forventning B

Placeboeffekten

 Flere interessante varianter:  Placebo: Positiv forventning gir positiv effekt  Eksempel: Sukkerpille gir nesten samme effekt som pille med virksomt stoff  Nocebo: Negativ forventning gir negativ effekt  Eksempel: En astmatiker tror det er en katt i rommet og får astmatisk anfall  Reversert placebo: Positiv forventning gir negativ effekt  Eksempel: Person med søvnproblemer får en pille med ”beroligende effekt”, fører til økte vansker med å sove

Vold og egen aggresjon

Er det å observere vold (eks. på film/TV) skadelig? Blir man mer voldelig selv? Hvordan kan dette undersøkes?

Vold og egen aggresjon

 Korrelasjonelle undersøkelser  Mål 1: Hvor mye barnet ser på voldelig materiale?

 Mål 2: Egen aggresjon Høy korrelasjon Correlation: r = .70750

30 25 20 15 45 40 35 10 10 15 20 25 30

Egen aggresjon

35 40 45 0.95 Conf.Int.

Men hva sier dette?

Vold og egen aggresjon

 Barn som ser mye vold på TV, er også mer aggressive selv  Men hvordan skal dette tolkes?

   Er de mer aggressive fordi de ser mye vold?

Eller: Ser de mye vold fordi de er aggressive og liker å se vold?

Eller: Er det en utenforliggende faktor som gjør at de både ser mye vold på TV og er aggressive Tredjevariabelproblemet Hvordan kan dette besvares?

Design

har utgangspunkt i forsknings spørsmål Kausale spørsmål

Validitet

  Validitet angår generelt om en slutning om verden er holdbar Flere ”kontekster” der begrepet validitet brukes:   Eksperimentell   Ytre/ekstern validitet Måling, testing  Indre validitet Test-retest  Kriterievaliditet  Begrepsvaliditet

Validitet: Eksperimenter

 Indre validitet  Er slutningen om effekt av den uavhengige variabel korrekt? Trues den av alternative forklaringer?

 Ekstern validitet  I hvilken grad kan funnet generaliseres (andre situasjoner, andre settinger, andre personer)?

Validitet: Eksperimenter

   Eksempel: Tilskuereffekten Indre validitet : Godt dokumentert at det er andre til stede i situasjonen som er den kritiske variabel.

Ekstern validitet : Replikasjoner viser at funnet har stor generalitet (ekstern validitet):   

Over personer

: Barn, studenter, voksne

Over settinger

: Laboratorium, på gaten, i butikk, undergrunnsstasjon

Over situasjoner

: Epileptisk anfall, brannalarm, slåsskamp, ulykke, punktering, tyveri

Ekstern validitet

 Direkte ekstern validitet:    Utprøving av en terapiform : Virker den?

Praktiske intervensjoner trafikksikkerhet) (eks. kampanjer for å øke Spørreundersøkelser innvandrere) (eks. holdninger til  Ingen direkte ekstern validitet:    Teoretisk avklaring (støtte for teori A eller teori B) Nyansering av et funn (er det alltid slik at belønning av og til gir en sterkere ekstinksjonsrespons?) Påvisning av en mulighet (kan læring av nytt materiale skje uten personens bevissthet?)

Økologisk validitet

 

Økologisk validitet

angår om studien er gjennomført under betingelser som ligner de ”naturlige” omgivelsene Mange undersøkelser har liten økologisk validitet (eks. laboratorieeksperimenter) 

Realisme

  i studiesituasjonen ”Psykologisk realisme”: Situasjonen studerer de samme variabler som er i operasjon i naturlige sammenhenger ”Overflatisk realisme”: Situasjonen ligner fysisk den naturlige situasjonen på

Økologisk validitet 2

 Realisme: Eksempel  Forskeren studerer hvordan en jury vurderer bevismateriale i en rettssak  ”Overflatisk realisme”: Undersøkelsen foregår i en simulert rettssak  ”Psykologisk realisme”: Undersøkelsen foregår med de viktige variabler ivaretatt (eks. at vurdering av skyldspørsmålet faktisk har konsekvenser for den anklagede)

Reliabilitet

 Konsistens  Eksempel: Viser IQ-testen omtrent samme resultat når personen testes med noen måneders mellomrom?

 Konsistens sier ingenting om validitet  En IQ test kan måle det den måler på en konsistent måte uten å måle intelligens på en god måte  Reliabilitet: Typiske anvendelser   Over tid: Test-retest reliabilitet Over personer: Inter-rater reliabilitet

Reliabilitet og validitet

 Oppgave 2 x 2 = ?

Reliabilitet

?

 Hvis svaret er det samme hver gang oppgaven gis, er svaret reliabelt 

Validitet

?

 Test av multiplikasjon? Ja (VALID)  Test av addisjon? Nei (ikke valid)

Psykologiske begreper

 Basis i forskning og teori  Attribusjon    Dissonans … Noen begreper brukes også i dagliglivet  Læring  Personlighet   Intelligens …

Psykologiske begreper

forts.

 Psykologisk begrep/variabler: Abstrakt  Måling av begrepet (operasjonalisering): Konkret  Abstrakt: Intelligens  Konkret: Skåre på IQ-test

Operasjonalisering

Thorndike:   Abstrakt : Læring (instrumentell betinging) Konkret : Tid for å slippe ut av buret

Operasjonalisering

forts.

Går begge veier: Abstrakt  operasjonalisering FRYKT   flukt, svetting, skjelving NB!

Begreper/variabler har alltid flere operasjonaliseringer

Teori

   

Samlet, indre konsistent redegjørelse

samling data  Generelle teorier: Eks. psykoanalysen for en  Avgrensede teorier: Eks. tilskuereffekten Alltid basert på

data

 MEN: Data kan ofte tolkes på flere måter Avledning av

hypoteser

som kan undersøkes Kriterier:   Vi velger den teori som

best forklarer

data Vi velger den

enkleste teorien

tilgjengelige

Teori

forts.

Se boka!

DISSONANSTEORI   SELVPERSEPSJONSTEORI

Hypotese

En testbar antakelse, begrunnet (typisk i teori)  Dissonansteori  GJØR NOE KJEDELIG  LITE BETALT DISSONANS ?

 GJØR NOE KJEDELIG  MYE BETALT INGEN DISSONANS ?

Hypotese (abstrakt nivå) vs. prediksjon (konkret nivå)

Data

 Noe som besvarer et forskningsspørsmål  Data er noe konkret (dvs. bestemt av vår operasjonalisering)  Eksempler:  Dråper med spytt  Antall gule kort i en fotballkamp  Skåre på en test  …

Populasjon og utvalg

Utvalg Utvalg Populasjon Utvalg

Populasjon og utvalg

forts

.

 Populasjon  En definert samling individer  Eks.: Studentene ved UiTø  Utvalg  En del av populasjonen  Representativt utvalg   Utvalget “ligner” populasjonen det er hentet fra Reresentativt utvalg oppnås gjennom randomisert (tilfeldig) utvelgelse

Randomisert utvalg Randomisert utvelgelse fra populasjonen gir et representativt utvalg og muliggjør

generalisering til populasjonen

Generalisering Utvalg

Randomisert utvalg Her svikter utvelgelsen fordi utvalget hentes fra en delmengde av populasjonen Generalisering?

Utvalg

Kvalitativ vs. kvantitativ tilnærming

 Kvalitativ  Kvalitativ (typisk verbal) beskrivelse  Kvantitativ  Numerisk beskrivelse

To metodiske tilnærminger

1. Beskrivende

a) Beskrive, kartlegge

 Observere fenomen 

b) Korrelasjonell

 Observerer relasjoner mellom fenomener 

2. Eksperimentell

 Manipulere betingelser for å identifisere kausale relasjoner Kvalitativ el.

kvantitativ Kvantitativ

Korrelasjon

 Samvariasjon (korrelasjon)  To variabler varierer i takt  Eks.  Alder – skostørrelse  Røyking – lungekreft  Trimming – helse  Basert på observasjon  Tolkning? FORSIKTIG!!!

Kausalitet

Kausalitet    Noe (årsak) påvirker noe annet (effekt)   Smitte  forkjølelse Observasjon av vold  egen aggresjon Sterk, middels, svak påvirkning    Vindpust mot øyet  Smitte  blunking (sterk) forkjølelse (middels; 30% sannsynlighet) Aspirin  - hjerteinfarkt (svak) Sammensatte årsaker   Smitte + stress  Smitte  forkjølelse

forkjølelse

Korrelasjon vs. kausalitet

 Korrelasjon vs. kausalitet  Kausalitet: A   B Innebærer korrelasjon  Korrelasjon: A samvarierer med B  Kan  innebære kausalitet Men: A  B vs. B  A (retningsproblemet)  Men: X  A og B (tredjevariabelproblemet)

Korrelasjonelle vs. eksperimentelle studier

 Korrelasjonelle: Variabler måles og relateres til hverandre  Eksperimentelle: Variabler manipuleres og effekt av dette måles  Manipulasjon:  Ulike nivåer av den uavhengige variabel (eks. lite, middels eller mye belønning)  Kvalitative manipulasjoner (eks. kognitiv terapi vs. psykodynamisk terapi)

Eksperimentet

 Kjennetegn?

 M______ av den ______ variabel  Måling av den ______ variabel  K______ over andre variabler  Hensikt?

 Avdekke _______ relasjoner mellom variabler  Fordeler og ulemper?

Statistikk

 Beskrive data  Trekke slutninger fra data Oversikt: http://www.sv.uit.no/seksjon/psyk/statintro.html

Signifikans vs. effektstørrelse

 Signifikans: Hvor reliabelt er resultatet?

  Kan den observerte forskjellen ha inntruffet av ren tilfeldighet?

Hvis det er liten sannsynlighet for dette (p < 0,05), forkaster vi denne muligheten og sier at resultatet er reliabelt (dvs. at det antakeligvis vil fremkomme hvis man gjør undersøkelsen på nytt med et annet utvalg)  Effektstørrelse: Hvor sterk er effekten?

 Hvor stor er effekten av dette tiltaket?

 Signifikans vs. effektstørrelse  Aspirin mot hjerteinfarkt: Signifikant effekt, men uhyre liten effektstørrelse

Verifikasjon av resultater

 Publikasjonsprosessen: Krav til artikler som publiseres  Peer review  Oppsummering av forskning  Review (kvalitativ gjennomgang av mange artikler på et område)  Meta-analyse (kvantitativ oversikt over mange artikler på et område)

Forskningsetikk

 Strenge etiske retningslinjer for forskning og registrering av personinformasjon  Regional etisk komite  Se:  http://www.etikkom.no

 http://www.datatilsynet.no/

Forskningsetikk: De 3 store

 Informert samtykke  Debriefing  Minimal risiko

Til slutt