Luotettavuus

13.3. 2013 Nina Haltian & Marjo Niemisen alkuperäisestä muokannut Rauno Huttunen

Laadullisen tutkimuksen luotettavuus

 Aineiston analyysivaihetta ja luotettavuuden arviointia ei voida selvästi erottaa toisistaan, luotettavuuden arviointi koskee koko tutkimusprosessia   Tutkijan on koko ajan pohdittava omia ratkaisujaan ja näin otettava yhtä aikaa kantaa sekä analyysin kattavuuteen että tekemänsä työn luotettavuuteen Lähtökohtana tutkijan avoin subjektiviteetti ja sen myöntäminen, että tutkija on tutkimuksensa keskeinen tutkimusväline

Laadullisen tutkimuksen luotettavuus

 Luotettavuus on tutkijayhteisön sosiaalinen sopimus siitä, mitä tänään pidetään tieteellisenä tutkimuksena  Luotettavuusterminologia voidaan jakaa kolmeen ryhmään:  1) perinteisten, kvantitatiivisen tutkimuksen, käsitteiden (reliabiliteetti ja validiteetti) soveltaminen laadulliseen tutkimukseen  2) vanhoille termeille kehitetty uusia sisältöjä  3) vanhojen termien hylkääminen ja uusien kehittäminen

Laadullisen tutkimuksen luotettavuus

 Luotettavuuden arviointinäkemykset voidaan erottaa toisistaan niiden sisältämien todellisuuskäsitysten mukaan  > neljä näkökulmaa  1) realistinen (tutkimusteksti ikkuna todellisuuteen)  2) relativistinen (luotettavuus vakuuttavuutena)  3) refleksiivisen käytännön näkökulma  4) arviointi kritiikkinä

Laadullisen tutkimuksen luotettavuus

 Realistinen luotettavuusnäkemys  Tutkimustekstiä pidetään ikkunana todellisuuteen  Validiteetti  1) sisäisellä validiteetilla (pätevyydellä) viitataan tutkimuksen teoreettisten ja käsitteellisten määrittelyjen sopusointuun  2) ulkoinen validiteetti tarkoittaa tehtyjen tulkintojen ja johtopäätösten sekä aineiston välisen suhteen pätevyyttä  Reliabiliteetti  Aineiston tulkinnan ristiriidattomuus

Laadullisen tutkimuksen luotettavuus

 Relativistinen luotettavuusnäkemys  Arvioinnin perustana on tutkimus tekstinä  Tutkimustekstin ei oleteta kuvaavan suoraviivaisesti ja epäproblemaattisesti tutkittua todellisuutta  Tutkimusteksti ei ainoastaan heijasta todellisuutta, vaan luo todellisuutta (on itse todellisuus, joka luo merkityksiä)  Potter & Wetherell:  Tekstin sisäinen johdonmukaisuus, koherenssi  Tutkittavien orientaatiot   Uudet ongelmat Tutkimuksen hedelmällisyys (tuloksellisuus)

Laadullisen tutkimuksen luotettavuus

 Refleksiivisen käytännön näkökulma  Toimintatutkimuksen luotettavuus: yhteistoiminta  Tutkittavat näyttäytyvät tutkimuksen tekijöinä  > tällöin luotettavuudesta tulee reflektiivisten toimijoiden yhteisten neuvottelujen tulos  Ns. konstruktiivinen käytäntö  Tutkimuksen eettiset kysymykset mahdollisesti asetettava eri tavalla  Luotettavuus ”mitataan” toiminnan kehittämisen näkökulmasta

Laadullisen tutkimuksen luotettavuus

 Arviointi kritiikkinä  Perspektiiviksi lukijan näkökulma  Arviointitapa, jossa ensiksi yritetään ymmärtää kirjoittajan tavoitteet ja toteutustapa  Seuraavaksi pyritään löytämään jotain tavoitteiden tai tieteenalan edistymisen kannalta tärkeää  Kolmanneksi arvioidaan taitoa konstruoida tästä uutta tutkimusta  Arvioidaan esitettyjä kuvauksia, tehtyjä päätelmiä ja tulkintoja sekä annettuja selityksiä  Argumentoinnin analysointi

Laadullisen tutkimuksen luotettavuus

 Jouni Tuomi & Anneli Sarajärvi (2004): Laadullinen tutkimus ja sisällönanalyysi  Luotettavuuden kriteerit laadullisessa tutkimuksessa: vertailu  Mm. Cuba & Lincoln:  Credibility  Transferability  Dependability  Confirmability

Laadullisen tutkimuksen luotettavuus

 Eskola & Suoranta (1996)  Credibility  Uskottavuus: vastaako tutkijan käsitteellistykset ja tulkinta tutkittavien käsityksiä  Transferability  Siirrettävyys: tulosten siirrettävyys toiseen kontekstiin (mahdollista tietyin ehdoin)  Dependability  Varmuus: mahdollisuuksien mukaan huomioon otettava tutkimukseen ennustamattomasti vaikuttavat ennakkoehdot  Confirmability  Vahvistuvuus: tulkinnat saavat tukea toisista tutkimuksista

Laadullisen tutkimuksen luotettavuus

 Niiranen (1990)  Credibility  Vastaavuus: vastaavatko tutkijan konstruktiot tutkittavien todellisuudesta alkuperäisiä konstruktioita  Transferability  Siirrettävyys: tulosten siirrettävyys toiseen kontekstiin riippuu siitä, miten samankaltaisia ympäristöt ovat  Dependability  Luotettavuus: ulkopuolinen henkilö tarkastaa tutkimusprosessin toteutumisen  Confirmability  Vahvistuvuus: ulkopuolinen henkilö arvioi tutkimuksen tuotokset (aineistot, löydökset, tulkinnat ym.)

Laadullisen tutkimuksen luotettavuus

 Tynjälä (1991)  Credibility  Uskottavuus: luotettavuus, jonka osatekijöitä ovat ”totuusarvo”, sovellettavuus, pysyvyys ja neutraalisuus  Vastaavuus: vastaavatko tutkijan konstruktiot tutkittavien todellisuudesta alkuperäisiä konstruktioita  Transferability  Siirrettävyys: tulosten siirrettävyys toiseen kontekstiin riippuu siitä, miten samankaltaisia ympäristöt ovat  Dependability  Tutkimustilanteen arviointi: otettava huomioon sekä erilaiset ulkoiset vaihtelua aiheuttavat tekijät että tutkimuksesta ja ilmiöstä itsestään johtuvat tekijät  Confirmability  Vahvistuvuus: erilaisin tekniikoin varmistutaan tutkimuksen totuusarvosta ja sovellettavuudesta

Laadullisen tutkimuksen luotettavuus

 Parkkila ym. (2000)  Credibility  Uskottavuus: tutkimukseen osallistuneiden riittävä kuvaus ja arvio kerätyn aineiston todenmukaisuudesta  Transferability  Siirrettävyys: tulosten siirrettävyys tutkimuskontekstin ulkopuoliseen vastaavaan kontekstiin  Dependability  Riippuvuus: tutkimus toteutettu tieteellisen tutkimuksen toteuttamista yleisesti ohjaavin periaattein  Confirmability  Vahvistettavuus: tehtyjen ratkaisujen ja päättelyn oikeutus (lukijan pystyttävä seuraamaan tutkijan päättelyä ja arvioimaan sitä)

Laadullisen tutkimuksen luotettavuus

 Tutkimusta arvioidaan kokonaisuutena, jolloin sen sisäinen johdonmukaisuus (koherenssi) painottuu  > seuraavien kohtien pitää olla suhteessa toisiinsa (huom! Kaikki kohdat eivät ole relevantteja kaikissa tutkimuksissa):  Tutkimuksen kohde ja tarkoitus  Omat sitoumukset tutkijana tässä tutkimuksessa  Aineistonkeruu

Laadullisen tutkimuksen luotettavuus

 Tutkimuksen tiedonantajat  Tutkija-tiedonantaja-suhde  Tutkimuksen kesto  Aineiston analyysi  Tutkimuksen luotettavuus  Eettisyys ja luotettavuus  Tutkimuksen raportointi

Laadullisen tutkimuksen luotettavuus

 Muita luotettavuuteen liittyviä seikkoja  Ns. yksimielisyyskerroin   Kaksi tutkijaa luokittelee saman aineiston Luotettavuus hyvä, jos luotettavuuskerroin 80-85%  Triangulaatio  Tutkimusaineistoon liittyvä triangulaatio   Tutkijaan liittyvä triangulaatio Teoriaan liittyvä triangulaatio  Metodinen (metodologinen) triangulaatio   Metodin sisäinen Metodien välinen   Analyysimenetelmien triangulaatio ”monitriangulaatio” ja jaksottainen triangulaatio

Laadullisen tutkimuksen luotettavuus

 Tietoteoreettinen validiteettitarkastelu. (Koro Ljungberg, Mirka. 2005. Kasvatus 36 (4), 274-284.)  Ulkoiset lähtökohdat  Perustuu yleistettäviin käsityksiin laadukkaasta tutkimuksesta  Pohjautuu osittain kvantitatiiviseen tutkimukseen  Ongelmana pohjautuminen ulkoisiin ja tutkijasta riippumattomiin keinoihin ja kriteereihin  Menetelmälliset lähtökohdat   Lähtökohtana, että tietyt tutkimusmenetelmät erottavat laadukkaan tutkimuksen vähemmän ansiokkaasta Sama ongelma kuin edellisessä + uskomus, että tietyt menetelmät tuottavat vain tietynlaista tietoa

Laadullisen tutkimuksen luotettavuus

 Tietoteoreettinen validiteettitarkastelu. (Koro Ljungberg, Mirka. 2005. Kasvatus 36 (4), 274-284.) 

Tutkimuksen täsmällisyys

1) sisäisestä validiteetistä, joka kuvaa tutkimustulosten yhteyttä totuuskäsitykseen (internal validity), 2) ulkoisesta validiteetistä eli yleistettävyydestä (external validity, generalizability)ja 3) luotettavuudesta eli tulosten toistettavuudesta (reliability).

Laadullisen tutkimuksen luotettavuus

 Tietoteoreettinen validiteettitarkastelu (Koro Ljungberg, Mirka. 2005. Kasvatus 36 (4), 274-284.)  Tutkijakeskeiset lähtökohdat  Korostavat tutkijan ja tutkimukseen osallistujien aktiivista roolia  Eettisyys, moraalinen vastuullisuus ja demokraattisuus  Luovuus, avoimuus ja tutkimuksen jatkuvuus  Uusiutuminen  Kriittinen itsereflektio (hallittu intersubjektiivisuus)

Laadullisen tutkimuksen luotettavuus

PUOLIMATKA, TAPIO. 2002. KVALITATIIVISEN TUTKIMUKSEN LUOTETTAVUUS JA TOTUUSTEORIAT.

Kasvatus 33 (5), 466 –474.

    Laadullinen tutkimus menettää uskottavuuttaan joidenkin tutkijoiden keskuudessa jos se luopuu realistisesta totuusteoriasta (totuuden korrespondenssiteoria) Laadullisen tutkimuksen validiteetti kärsii, jos laadulliset tutkijat eivät usko yhteen pysyvään totuuden määritelmään tai uskovat, että Totuutta ei ole olemassa. Empiirisen tutkimuksen luotettavuus on perimmältään sen kykyä tarjota totuudenmukaista tietoa siitä todellisuuden osa-alueesta, johon tutkimuksessa etsitään vastausta.

Perimmältään totuuskäsityksen pitäisi olla sama sekä kvantitatiivisessa että kvalitatiivisessa tutkimuksessa, vaikkakin luotettavuuden kriteerejä sovelletaan niissä osittain eri tavoin.

Laadullisen tutkimuksen luotettavuus

PERTTI TÖTTÖ:

Pirullisen positivismin paluu,

2000    Jos laadullinen tutkimus luopuu realistisesta totuusteoriasta, seurauksena on käsitteelliseen sekaannus, joka hämärtää tutkimustavoitteet. Jos laadullisessa tutkimusotteessa kieli ei niinkään kuvaa todellisuutta kuin luo sitä, on vaikea ymmärtää, mikä oikeastaan on tutkimuskohteena oleva todellisuus.

Laadullisen tutkimuksen tekijät joutuvat käytännössä paljolti toimimaan realistisen totuusteorian pohjalta, vaikka he lausunnoissaan vieroiksuisivatkin kuten Pertti Alasuutari.

Laadullinen tutkimus tarvitsee luotettavuuden arvioinnin takia realistista totuuden korrespondenssiteoriaa

Laadullisen tutkimuksen luotettavuus

Luotettavuuden sijasta tulisi puhua laadullisen tutkimuksen validoinnista ja laadusta. Luotettavuus ja pätevyys-puhe aina viittaa totuuden korrespondenssiteoriaan, joka ei pääsääntöisesti sovi laadullisen tutkimuksen ideaan. Laadullinen tutkimus voi tasokasta, käytännöllistä, dialogista, reflektiivistä, koherenttia suhteessa aikaisempaa tutkimukseen ja ajatuksia innoittavaa. Tasoton laadullinen tutkimus on päinvastaista eli epäkäytännöllistä, monologista, aikaisemman teorian yksioikoisesti ohittavaa ja hyvin vähän ajatuksia innoittavaa.

1. Principle of historical continuity

Analysis of the history of action:

how has the action evolved historically?

Emplotment:

how logically and coherently does the narrative proceed?

2. Principle of reflexivity

Subjective adequacy:

what is the researcher’s relationship with his/her object of research like?

Ontological and epistemological presumptions:

what are the researcher’s presumptions of knowledge and reality?

Transparency:

how does the researcher describe his/her material and methods?

3. Principle of dialectics

Dialogue:

how has the researcher’s insight developed in dialogue with others?

Polyphony:

how does the report present different voices and interpretations?

Authenticity:

how authentic and genuine are the protagonists of the narrative?

4. Principle of workability

Pragmatic quality:

how well does the research succeed in creating workable practices?

Criticality:

what kind of discussion does the research provoke?

Ethics:

how are ethical problems dealt with?

Empowerment:

does the research make people believe in their own capabilities and possibilities to act and thereby encourage new practices and actions?

5. Principle of evocativeness

Evocativeness:

how well does the research narrative evoke mental images, memories or emotions related to the theme?