Transcript S-81 AGENDA FReJA

Neuropsykologiske test
Test-retest stabilitet
og reliabilitet
Anders Gade
Gade
S-81 data
20 personer retestet
efter 3 måneder
Erik Lykke Mortensen
Hanne Udesen
Gade
AGENDA-projekt
77 personer retestet
efter 4 uger (38 efter
10 mg escitalopram dgl;
39 placebo)
Ulla Knorr
.. & Helena Dysgaard, Vibe Bredsdorf & Peter Kristian Jacobsen
Gade
ACD-gruppen (Agenda-Cimbi-Depad)
Helene
Carstensen
and
Vibe
Bredsdorff
(primarily
Agenda
(with Peter
Kristian
Jacobsen))
Gry
Zornhagen
(Cimbi)
and
Eva Meldal
(all 3)
Sofie Folke
Kasper Eskelund
(primarily Depad together Julie Nyvang)
Gade
FReJA – prospektiv neuropsykologisk
undersøgelse 2002, 2005, 2010
Gade
FReJA – prospektiv neuropsykologisk
undersøgelse 2002, 2005, 2010
Tom Teasdale
Korrelationer:
N:
2002-2005 2002-2010 2005-2010
38
31
35
(Indtil videre ikke renset for genbærere)
2002 gennemsnit: alder 53; uddannelsesscore 11.8; DART 28)
Gade
Test-retest reliabilitet
Reliabilitet handler grundlæggende
om målefejl
”A given score is thought to consist of two parts:
the true score and the error. The true score is the
actual value of a given individual on the construct
if it were to measured completely accurately by
the test. The error is the value of the extraneous
influences on the measurement process”.
Franzen, 1989, p.15
Gade
Hvad skal vi kræve i test-retest
korrelationskoefficienter?
”At MATRICS consensus meetings, high test-retest reliability was
considered the most important test feature in a clinical trial”.
”The committee considered an r value of 0.70 to be acceptable for
test-retest reliability for clinical trials”.
Nuechterlein et al., 2008
Gade
Hvad skal vi kræve i test-retest
korrelationskoefficienter?
We here present findings from three new studies
to show that (a) the BPP has a satisfactory
Test-Retest reliability, r = 0.77
Teasdale et al., 2011
BPP som gruppeprøve ved alder 19.2 år
WAIS med individuel administration 4 år senere
BPP – full scale IQ korrelation: 0.82
Mortensen et al., 1990
Gade
”Basisbatteri” og S-81 – test-retest korrelationer
i enkeltprøver og i ”faktorskorer”
Domæne
# test
Abstraktion
2
Hukommelsesspændvidde 3
Verbal indlæring
3
Genkendelse
5
Visuomotorisk tempo
3
Visuo-spatiale prøver
4
PASAT
2
Visuel syntese
2
faktor r enkelttest mean r
.82
.60
.89
.71
.56
.47
.87
.68 QS 50 ord
.56
.55 SDMT
.70
.41 vis.gestalt
.51
.38 er
.80
.68
Total BB
Mean total af 7 faktorer
.77
.90
13
24
.51
.54
Gade
Eksempel på brug af test-retest data:
SDMT
Test 1 Test 2
Pearson r
SE
St. difference 95%
45.3
.74
3.9
10.8
48.8
95% konfidensintervaller
Skore
Forbedring
Forværring
+/- 7.6
+ 14.3
- 7.3
Gade
”Reliable change index”
Temkin et al. (1999). JINS, 5, 357-369
Bird et al. (2003), Br.J.Clin.Psychol., 42, 407-425
Recognition Memory Words (QS 50 ord)
1. us. 2. us. r
London
46.1 46.5 .69
S-81
46.6 47.2 .70
Gade
Test reliabilitet - Visuelle Gestalter
Pearson
r
Indlæring: .14
Retention: .27
Gade
Reys komplekse figur
3 og/eller 30 minutters retention?
Begge er OK reliable ved 4 ugers retest: r = .80 / .85
Korrelation mellem præstation ved 3 og 30 min: .96 / .97
Gade
NART / DART
Moray House Test: 11 år
NART: 79 år
45 demens: r= 0.60
464 NC: r= 0.63
McGurn et al. (2004), Neurology, 62, 1184-6
Gade
Danish Adult Reading Test
Examples of items
GAGE
GIN
MONTAGE
...
NEUTRUM
LANCERE
POMERANS
MARKIS
KASEIN
CLOU
…
HUGUENOT
ECLAT
OBSKUR
Gade
Danish Adult Reading Test
Examples of items
GAGE
GIN
MONTAGE
...
NEUTRUM
LANCERE
POMERANS
MARKIS
KASEIN
CLOU
…
HUGUENOT
ECLAT
OBSKUR
Test-retest reliabilitet (AGENDA & FReJA)
Alle (N: 77):
Placebo (N: 39):
2002-2005:
2002-2010:
2005-2010:
0.93
0.93
0.93
0.92
0.92
Gade
Visuomotorisk tempo
r
S-81 AGENDA FReJA
1)
SDMT
.74
.83
.89 / .90 / .94
2)
Trails A
.43
.67
.67 / .58 / .47
3)
Trails B
.47
.68
.80 / .78 / .83
Faktorscore
.56
.88 / .84 / .87
I faktorscore sammen med Rey og Blokmønstre: AGENDA .91
Eksekutive tests
”Findings demonstrated modest reliability
of individual EF measures but very high
stability of a latent EF construct”.
Ettenhofer et al., 2006
Gade
Eksekutive tests - S-81
Sorteringsprøve
r: .37
WCST, antal fejl i alt r: .45
Gade
Eksekutive tests - AGENDA
r
alle
placebo
Ordmobilisering – S
.48
.42
Ordmobilisering – dyr
.69
.84
Bogstav-tal sekvensering
.50
.57
Stroop inkongruente
.81
.80
Eksekutive faktor
.79
.84
Eksekutiv faktor i FReJA:
.89 / .72 / .80
Gade
Stroop - neutral
XXX
XXX
XXX
XXX
XXX
XXX
XXX
XXX
XXX
XXX
XXX
XXX
Gade
Stroop - kongruent
blå
grøn
rød
blå
gul
grøn
gul
blå
gul
rød
grøn
blå
Gade
Stroop - inkongruent
gul
rød
blå
gul
grøn
rød
blå
rød
blå
gul
blå
gul
Gade
Stroop subtraktion =
Stroop inkongruent (sekunder)
minus
Stroop kongruent (sekunder)
”Test-retest reliability coefficients were high for standard … Stroop tasks
when reliability was measured using response latencies alone.
However, test-retest coefficients were unacceptably low
when reliability estimates were calculated using difference scores”
Strauss et al., 2005
(Stroop kongruent r .71; inkongruent .79; subtraktion .46)
Stroop inkongruent r .81 / .80
Stroop subtraktion r .65 / .60
Gade
Grundig gennemgang af
eksekutive tests senere ….. ?
Fx på kvartalsmøde i 2012
Gade
Konklusioner
1. Nogle af vore prøver – men ikke alle har glimrende reliabilitet
2. Brug viden om prøvernes reliabilitet i din
udvælgelse af prøver
3. Brug viden om prøvernes reliabilitet i dine
konklusioner, så du ikke udtaler dig mere
sikkert, end dine data berettiger til
4. Faktorskorer er generelt mere pålidelige
end enkelttests. Hvis du bruger prøver med
ringe reliabilitet – især hukommelse og
eksekutive funktioner – så brug mere end én
Gade
Gade