Transcript Lysbilde 1
Måleegenskaper ved tester og kartleggingsverktøy PSYKTESTBARN Hege Kornør (redaktør) PSYKTESTBARN - ʺtestʺ selvutfyllingsskjema standardisert intervju kartleggingsverktøy screeninginstrument andre ikke-biologiske metoder … som brukes av forskjellige yrkesgrupper som yter psykososiale tjenester Regionsenter for barn og unges psykiske helse, Helseregion Øst og Sør | 24.04.2014 2 PSYKTESTBARN - ITC Guidelines • Test developers/publishers should: • provide evidence that the language use in the directions, rubrics, and items themselves as well as in the handbook are appropriate for all cultural and language populations for whom the test or instrument is intended. • implement systematic judgmental evidence, both linguistic and psychological, to improve the accuracy of the adaptation process and compile evidence on the equivalence of all language versions. • provide information on the evaluation of validity in all target populations for whom the adapted versions are intended. • provide statistical evidence of the equivalence of questions for all intended populations. PSYKTESTBARN - bakgrunn 2002: arbeidsgruppe nedsatt ved Norsk psykologforening (NPF) Utarbeide tiltaksplan/anbefalinger for kvalitetssikring av psykologiske tester i norsk praksis 2006: søknad fra NPF til Helsedirektoratet (Hdir) om prosjektstøtte ”Kliniske tester og kartleggingsmetoder – sikring av lovlighet og kvalitet” 2007: notat fra Anne Selvik, NPF ”Forsvarlig bruk av tester, strukturerte intervjuer og spørreskjemaer” 2008: mandat fra Hdir til Kunnskapssenteret ”etablere et fagmiljø som kan bidra til å heve kvaliteten på testbruk innen psykisk helse i Norge” Regionsenter for barn og unges psykiske helse, Helseregion Øst og Sør | 24.04.2014 7 PSYKTESTBARN - utvikling Høst 2009 •«Testprosjektet» • Kunnskapssenteret Høst 2011 Psyktest.no Vinter 2012 • PsykTestVOKSEN (Kunnskapssenteret) • PsykTestBARN (RBUP) Regionsenter for barn og unges psykiske helse, Helseregion Øst og Sør | 24.04.2014 Vinter 2013 • PsykTestBARN • RBUP 8 • godkjent vitenskapelig publiseringskanal (nivå 1) • én artikkel for hver test • beslutningsgrunnlag for klinikere Regionsenter for barn og unges psykiske helse, Helseregion Øst og Sør | 05.06.2014 9 10 PSYKTESTBARN - prosessen PSYKTESTBARN – inklusjon og psykometri publikasjoner som rapporterer minst en av følgende typer data: oversetting og tilpasning normdata reliabilitet validitet norsk, svensk og/eller dansk populasjon EFPA – kriterier to uavhengige forskere 7/18/2015 14 PSYKTESTBARN – publikasjoner publisert 31 under arbeid 8 ikke påbegynt 77 PSYKTESTBARN - resultater Vurderingsgrunnlag Normer Validitet Reliabilitet ADHD RS skole 3 publikasjoner fra 3 norske studier Ingen dokumentasjon. Ingen dokumentasjon. Ingen dokumentasjon. CBCL 38 publikasjoner fra 25 norske studier om CBCL 4-18. To publikasjoner om CBCL 6-18. Ingen dokumentasjon for de øvrige versjonene. Begrenset nasjonalt normgrunnlag God begrepsvaliditet, basert på på grunn av lokale populasjoner konfirmatorisk faktoranalyse (N = med lav til moderat svarprosent og 949; RMSEA = 0,039). Lovende svært varierende utvalgsstørrelser kriterievaliditet (sensitivitet 40-83 %; spesifisitet 70-94 %; N = 56-83) Svært god (α ≥ 0,90) og god (α = 0,80-0,89) indre konsistens for hovedskalaene, varierende for subskalaene. Ingen mål på testretest reliabilitet eller endringssensitivitet. Eyberg CBI 12 publikasjoner fra 4 norske studier Det foreligger norske normer for aldersgruppene 4-12 år Noe dokumentasjon , og forventede gruppe-forskjeller og endringer etter behandling gir støtte til begrepsvaliditet samt høye korrelasjoner med relevante skalaer fra CBCL. Svært god indre konsistens (alle Cronbach’s alpha fra 0,82 og høyere). Test-retest reliabilitet er ikke rapportert for norske utvalg EPDS 13 publikasjoner fra 11 norske studier, Ikke relevant med normer fra fire artikler fra fire svenske studier generelle befolkning. Data fra gravide og kvinner postpartum Kriterievaliditet bare undersøkt i en studie. For EPDS>10 er det ingen falske negative, men høy andel falske positive God begrepsvaliditet God intern konsistens, undersøkt i 5 studier. God test-retest reliabilitet undersøkt i en studie HoNOSCA Fire publikasjoner fra fire norske Ikke relevant for diagnostisk studier og en publikasjon fra en dansk instrument studie God «concurrent» validitet og forventede gruppeforskjeller indikerer god kriterievaliditet. Inter-rater reliabilitet varierer mellom utilstrekkelig (ni skalaer) til utmerket (3 skalaer) og totalskår med god inter-rater reliabilitet. Regionale normdata fordelt på SDQ Selvrapport 27 publikasjoner fra 14 norske studier inkludert. 20 publikasjoner alder og kjønn fra befolkningsstudier med til sammen 39 571 deltakere fra ulike deler av landet Tre studier av faktor-struktur og Intern konsistens var studier av gruppeforskjeller støtter tilfredsstillende for totale vansker, begrepsvaliditet. En liten studie av men ikke for subskalaene med diagnostisk nøyaktighet viste lav unntak av emosjonelle symptomer sensitivitet og høy spesifisitet. 19 PSYKTESTBARN - konklusjoner EPDS har god reliabilitet, men validitet er bare undersøkt i en studie som fant svakheter i diagnostisk presisjon. Det er behov for flere studier av kriterievaliditet hvor EPDS sammenlignes med best mulig depresjonsdiagnostikk. Selv om den totale dokumentasjonen virker lovende må [CBCL] brukes med en viss forsiktighet, og mer forskning er ønskelig, spesielt for den yngste aldersgruppen. Konklusjonen er at [ECBI] har svært god reliabilitet og har norske normer fra et representativt utvalg. Noe evidens støtter testens begrepsvaliditet. For ordinær klinisk bruk kan den norske versjonen av DAWBA være et godt hjelpemiddel i arbeidet med diagnostisering av problemer innenfor psykisk helse for barn og unge. Foreliggende dokumentasjon tyder på at de datagenererte diagnosene kun bør brukes til omtrentlige prevalensestimat i forskningsøyemed. Derfor kan det anbefales å bruke MFQ blant norske 1315 år gamle ungdommer i forskning, både i epidemiologiske studier og studier av kliniske utvalg. De psykometriske egenskapene til den norske versjonen av BITSEA er ikke dokumentert. Testen må derfor brukes med stor forsiktighet. Det foreligger ingen dokumentasjon for måleegenskapene ved den norske versjonen av CORS. Studier som undersøker måleegenskaper er derfor nødvendig.