Transcript V lk til Velkommen til NKK-Workshop

Velkommen
V
lk
til
NKK-Workshop
10 11 mars 2010
10.-11.
Hvordan planlegge et
verifiseringsarbeid?
Gjennomgang av statistiske verktøy for
verifisering av riktighet.
Hva er styrken og svakheten med de
forskjellige modellene/verktøyene?
Sveinung Rørstad,
Fürst Medisinsk
Laboratorium
Hvorfor verifisere?
NS-EN ISO 15189:2007:
5 5 2: ”Metodene
5.5.2:
Metodene og prosedyrene
man velger å bruke, skal
evalueres og finnes å gi
tilfredsstillende resultater før de
benyttes til medisinske analyser”.
5.5.5: ”En gjennomgang av
biologiske referanseinter
referanseintervaller
aller
skal også finne sted når
laboratoriet endrer en
analyseprosedyre
l
d
eller
ll evt.
t en
preanalytisk prosedyre”.
5.6.2: ”Laboratoriet skal bestemme
usikkerheten ved resultater når
dette er relevant og mulig”
Konsekvenser av feil
(bias og impresisjon)
FN = Falske Negative
FP = Falske Positive
MAX = Predefinerte akseptgrenser
Ref: SJCLI Vol 59 No7 1999 – Per Hyltoft
Petersen
Konsekvenser av feil
(bias og impresisjon)
FP = Falske positive
FN = Falske negative
g
Prevalence fraction = Hyppighet av feil
Konsekvenser av
systematisk
t
ti k feil
f il for
f TSH
G.G.Klee et al.:
20000 pasienter fikk utført TSH
TSHbestemmelse
Ref: SJCLI Vol.59 No 7 -1999
Figuren viser endring i andelen av
pasientsvar som blir liggende utenfor
oppsatte grenser ved økende bias.
TSH mU/L
Bias
> 5,0
> 10,0
-20%
-47 %
-37 %
-10%
-28 %
-21 %
-6%
-17 %
-12 %
Ingen
12,4%
3,2%
+6%
+26 %
+25 %
+10%
+49 %
+46 %
+20%
+138 %
+165 %
Hvordan
vo d pplanlegge?
egge?
• Bemyndigelse
• Analytiske mål
• Verifisering
–
–
–
–
–
•
•
•
•
Riktighet
g
Presisjon
Måleområde
Spesifisitet/interferrens
Referanseområde
Intern kvalitetskontroll
EKV
IT-validering
Ressurser
Bemyndigelse
e y d ge se
• Større metodeendringer
g og
g
etablering av nye metoder.
– Oppdrag gitt av overordnet.
– Ansvarlige
A
li for
f oppdraget
d
t måå
utnevnes.
NB.Viktig med hensyn til tildeling av
ressurser!!
• Mindre endringer (lot-skifte
(lot skifte etc).
– Retningslinjer gitt i
kvalitetssystemet.
Analytiske mål for
riktighet
g
• Akseptgrense for bias i rutinemetoder:
– I henhold til biologisk variasjon:
B < 0,25 ⋅
(CV
W
2
+ CVB
2
)
(www.westgard.com/biodatabase1.htm)
– Der data for biologisk variasjon
mangler:
l
• < 1/16 av referanseintervallet
– Mellom instrument bias <0,33*SDW
– Alternativt:
• < 1 standardavvik (intern
reproduserbarhet for metoden)
• Vil i liten grad påvirke daglig
godkjenning i henhold til
kontrollregler.
• Vil i liten
li gradd påvirke
å i k AkkrediteringsAkk di i
CV.
– Faglig konsensus/anbefaling.
Hva
v må verifiseres?
ve se es?
• Vurderes i forhold til g
graden av
metodeendring.
• Produktinformasjon fra leverandør
måå leses
l
medd lys
l og lykte!
l kt !
• Etterspør ytterligere informasjon
p
fra leverandør/produsent.
• IVD-godkjenningen gjelder
”pakkeløsningen” med reagens,
k lib t og instrument.
kalibrator
i t
t
– Dersom en av disse 3 byttes ut,
stilles det krav til at validering
utføres av lab!
Større metodeendringer
•
•
•
•
•
•
Prosess: Mandat – plan – praktisk gjennomføring –
rapport– SP/DK
Nytt måleprinsipp. (Eks. ICP-MS-MS)
– Krever søknad om utvidet
akkrediteringsomfang.
Nytt instrument med internt etablert måleprinsipp.
– Eks.:Endre metode ffra Architect til Immulite
Ny metode med internt etablert måleprinsipp.
– Eks. Endre Calsium-metode fra Roche til Sero
Nytt parameter med internt etablert metode og
måleprinsipp.
måleprinsipp
– Eks.: C-peptid og Insulin på Modular E
Nytt objekt for internt etablert parameter, metode
og måleprinsipp.
– Eks.:
Ek Mg
M i urin (utføres
( f
allerede
ll d i serum).
)
Endring av antistoffer/antigene egenskaper, samme
parameter, metode og måleprinsipp.
– Eks. Endring fra monoklonale til polyklonale
antististoffer.
OBS. NAs holdning til geografisk enhet.
Større metodeendringer
g
Hva kan hentes fra annen
dokumentasjon?
• Spesifisitet/interferenser
• Preanalytisk og analytisk vurdering
av usikkerhets-kilder.
usikkerhets-kilder
• ”Carry over”
• Holdbarhet
• Klinisk nytteverdi, klinisk kvalitet.
• Praktisk egnethet (egenvurdering)
Forutsatt at dokumentasjonen
vurderes som god nok til vårt bruk.
Verifisering av riktighet
• Mot nåværende rutinemetode eller
samarbeidspartners referansemetode.
– Høsting
H ti av egnede
d prøver. Antall?
A t ll?
– Oppbevaring av prøver.
– Gjennomføring av analyse. Replikat?
• Mot sertifisert referansemateriale
– Relevant? Egnet materiale?
– Hvordan
H d utføre?
f ?
• ”Spiking”
– OBS. Stoff/Matriks
• Vurdering av resultatfordeling for
polikliniske prøver.
– Median / 2,5 og 97,5 percentilen.
• Mot resultater fra EKV.
Valg av statistiske verktøy
• Analyse-IT
–
–
–
–
–
Demings regresjon
Vektet Demings regresjon
Passing & Babloks regresjon
Bland-Altman
Bland
Altman differansplot
CLSI-test for referanseintervall
• NKK-verktøy
–
–
–
–
Demings regresjon
Vektet Demings regresjon
Passing & Babloks regresjon
XRef regneark for bruk av
referansemateriale
• Andre
A d
– MedCalc, MethComp, CBstat, ….
Bland-Altman
diff
differanseplott
l tt
Er observerte differanser akseptable?
Forutsetter at differansene er uavhengig av
nivå og normalfordelte.
Gir ikke data for slope og intercept til bruk
for vurdering mot referanseintervall.
Lineær regresjon
• Forutsetter lineær sammenheng
mellom metodene!
• Minste kvadrats metode (SLR, LSR)
– parametrisk, assymetrisk.
– forutsetter at x er uten tilfeldig
variasjon og at y har konstant
(proporsjonal) normalfordelt tilfeldig
variasjon.
variasjon
• Demings regresjon, uveiet og veiet
– parametrisk, symmetrisk.
– forutsetter at x og y har konstant
(proporsjonal) variasjon.
– vektet Deming er mer robust.
robust
– effektiv.
Demings regresjon
Stor fordel å benytte duplikat-analyse
- dobler antall punkter i regresjon
- gir estimat av repeterbarhet som grunnlag
for angivelse av usikkerhet for x og y.
Lineær regresjon
• Passing & Babloks regresjon
– ikke
ikke-parametrisk,
parametrisk symmetrisk.
symmetrisk
– forutsetter proporsjonal og tilnærmet
lik analytisk variasjon for x og y.
– robust (påvirkes lite av outliers).
– mindre effektiv.
Passing & Babloks
1)Median av
slopes.
2) Parallelle linjer med median slope trekkes
gjennom hvert punkt og interceptene avleses
på y-aksen.
3) Median av intercepts beregnes.
CLSI-test for
referanseintervall
f
i t
ll
jfr. Analyse-it
•
Velg ≥20 referanseindivider og finn deres referanseverdier
Hvis ≥90 % av verdiene er i referanseintervallet (<10 %
utenfor), kan du bruke det i rutine
Forklaring til tabell og figur
–
–
B - systematisk feil målt i antall standard avvik for total biologisk
variasjon
Tabellverdier - sannsynlighet for at minst 90 % av antall referanseverdier
(angitt i øverste rad) kommer i referanseintervallet – dvs. sannsynlighet
for å akseptere referanseintervallet
B
0.
0
0.
1
0.
2
0
0.
3
0.
4
0.
5
0.
6
0.
7
0.
8
0.
9
20
92
%
92
%
91
%
88
%
85
%
79
%
72
%
63
%
53
%
42
%
30
94
%
94
%
92
%
90
%
85
%
79
%
70
%
59
%
47
%
34
%
50
96
%
96
%
95
%
92
%
87
%
80
%
69
%
54
%
39
%
24
%
70
98
%
97
%
96
%
94
%
89
%
81
%
68
%
51
%
33
%
18
%
100
99
%
99
%
98
%
96
%
92
%
83
%
69
%
48
%
27
%
12
%
100 %
Sann
nsynlighet for å aksepteere referanseintervalleet
•
•
20
90 %
80 %
30
70 %
50
60 %
50 %
70
40 %
10
0
30 %
20 %
10 %
0%
0.0
0.5
1.0
1.5
Sysematisk feil i antall biologiske standard
avvik
CLSI verifisering av
referanseintervall
32 ref.verdier sml. med NORIP ref.intervall for
kalsium
• Kalsium: 32 referanseverdier fra
en lab sammenlignet med NORIP
referansegrense
Bruk av pasientdata fra
primærhelsetjenesten
i
h l tj
t
1)____ = tidligere metode med faktor = 1,07
2)____ = tidligere metode u/faktor
3)____ = data fra 1) justert med slope og
intercept fra metodesammenligning (Deming,
(Deming
vektet)
Verifisering av riktighet
og referanseintervall
referanseintervall.
Lykke til med
planlegging!