Transcript Técnicas Estatísticas para Validação de Métodos qualitativos Dorival Leão Necessidade Causa Desenvolvimento tecnológico Teste mais rápidos e efetivos Aumento da produtividade Efeito Substituir as metodologias atuais por metodologias de ensaio.

Técnicas Estatísticas para
Validação de Métodos
qualitativos
Dorival Leão
Necessidade
Causa
Desenvolvimento tecnológico
Teste mais rápidos e efetivos
Aumento da produtividade
Efeito
Substituir as metodologias atuais por
metodologias de ensaio mais “eficientes”
Princípios físicos e/ou químicos distintos
Validação de Métodos
• “A validação deve garantir, através de estudos experimentais, que o
método atenda às exigências das aplicações analíticas, assegurando a
confiabilidade dos resultados” (ANVISA).
• “Validação é o processo de definir uma exigência analítica e confirmar
que o método sob investigação tem capacidade de desempenho
consistente com o que a aplicação requer” (ISO/IEC 17025).
• “A validação de métodos assegura a credibilidade destes durante o
uso rotineiro, sendo algumas vezes mencionado como o “processo
que fornece uma evidência documentada de que o método realiza
aquilo para o qual é indicado para fazer” (USP).
Validação de Métodos qualitativos
Métodos
qualitativos
Os resultados são expressos em
termos de presença ou ausência,
assim como os procedimentos de
confirmação e identificação
Ensaios
para
validação
Especificidade
Exatidão e Precisão
Limite de detecção
Robustez
Ensaios Microbiológicos
Ensaios
Presença e ausência de Micro-organismos
Contagem de Micro-organismos (Quantitativo Discreto);
Tecnologias
baseadas
Crescimento
Viabilidade
Componentes celulares
Ácido nucleico
Modelo Logístico
Suponha uma amostra de n
observações independentes
da terna 𝑥𝑖 , 𝑚𝑖 , 𝑦𝑖 , 𝑖 =
1,2, … , 𝑛
•
•
•
•
Com isso, assumimos que a
variável resposta tem
distribuição de probabilidade
binomial tal que
Para adequarmos a resposta
média ao modelo linear
usamos a função de ligação
que pode ser escrita como
𝑥𝑖 é o valor da variável explicativa;
𝑚𝑖 é a quantidade de replicatas (número
de ensaios);
𝑦𝑖 número de replicatas detectada com
micro-organismos em 𝑚𝑖 replicatas;
n é o total de combinações.
𝑃 𝑌𝑖 = 𝑦𝑖 =
𝜋𝑖 = 𝜋 𝑥𝑖
log(
𝜋𝑖
1−𝜋𝑖
𝑚𝑖 𝑦𝑖
𝜋𝑖 (1 − 𝜋𝑖 )𝑚𝑖 −𝑦𝑖
𝑦𝑖
𝑒 𝛽0 +𝛽1 𝑥𝑖
=
, i=1,...n
1 + 𝑒 𝛽0 +𝛽1 𝑥𝑖
) = 𝛽0 + 𝛽1 𝑥𝑖
Modelo Logístico
Modelo Logístico com 𝛽
negativo
Modelo Logístico com 𝛽
positivo
Ensaios
Limite
de
detecção
Menor quantidade de micro-organismos
presentes na amostra, que consegue ser
detectada sob condições experimentais
estabelecidas
refere-se ao número de micro-organismos
presentes na amostra original antes da
diluição ou inoculação
Experimento 1
Realizar o teste com uma baixa concentração de micro-organismos e
aumentar a concentração até que pelo menos 50% das amostras
sejam detectadas no método tradicional
Alternativo
Alternativo
Alternativo
Alternativo
Alternativo
Alternativo
Alternativo
Alternativo
Alternativo
Alternativo
Tradicional
Tradicional
Tradicional
Tradicional
Tradicional
Tradicional
Tradicional
Tradicional
Tradicional
Tradicional
2
2,5
3
3,5
4
4,5
5
5,5
6
6,5
2
2,5
3
3,5
4
4,5
5
5,5
6
6,5
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
0
3
7
11
14
18
22
25
28
30
0
0
0
2
5
8
11
13
15
17
Ensaio Realizado
em paralelo.
Modelo Logístico
𝐿𝑜𝑔𝑖𝑡 𝑌 = log(
em que
𝜋𝑖
1−𝜋𝑖
) = 𝛽0 + 𝛽1 𝑇𝑒𝑠𝑡𝑒 + 𝛽2 𝑢𝑓𝑐
𝜋𝑖 = 𝑃[𝑌𝑖 = 𝑦𝑖 ] : probabilidade detecção
O método de teste alternativo
apresenta um limite de detecção
maior que o método de teste
tradicional (P-valor abaixo de
0,01%).
Intercepto
Teste-Tradicional
UFC
-5,02
-2,04
1,22
0,453
0,249
0,103
-11,08
-8,22
11,86
0
0
0
-5,904
-2,531
1,020
-4,129
-1,557
1,424
Ensaio 2
Executar o teste em paralelo em três (ou duas) concentrações
distintas.
Alternativo
15
20
16
Alternativo
45
20
20
Tradicional
15
20
12
Tradicional
45
20
19
Modelo Logístico
𝐿𝑜𝑔𝑖𝑡 𝑌 = log(
em que
𝜋𝑖
1−𝜋𝑖
) = 𝛽0 + 𝛽1 𝑇𝑒𝑠𝑡𝑒 + 𝛽2 𝑢𝑓𝑐
𝜋𝑖 = 𝑃[𝑌𝑖 = 𝑦𝑖 ] : probabilidade detecção
O método de teste alternativo
apresenta um limite de detecção
similar ao método tradicional(Pvalor de 11%).
Intercepto
MetodoT
Conc
0,020
-1,11
0,096
0,83
0,70
0,036
0,02
-1,60
2,68
0,98
0,11
0,0074
-1,61
-2,48
0,026
1,65
0,25
0,17
Teste Qui-Quadrado de homogeneidade
Gráfico da Tabela Cruzada
1.0
0.6
0.8
Alternativo
Tradicional
5
17
22
25
13
38
30
30
60
0.0
Alternativo
Tradicional
Total
0.2
0.4
Proporção
• Determinar uma concentração
específica de microorganismos;
• Executar um ensaio paralelo
entre os dois métodos.
1.2
Ensaio 3:
N_Detectou
Estatistica X²
8,68
Graus de Liberdade
1
P-Valor
0,0032
Estimativa Odds
0,16
P-Valor
0,0028
Deteccao
Conclusão:
• Tanto o teste exato de Fisher quanto o teste quiquadrado detectaram diferenças entre os dois
métodos;
• O teste alternativo apresenta maior “chance” de
detecção;
Cálculo do Tamanho da Amostra
Nível de significância: 0,05
Poder: 0,95
Alternativo
0,8
Tradicional
0,4
Alternativo
0,8
Tradicional
0,6
Alternativo
0,75
Tradicional
0,87
Alternativo
0,8
Tradicional
0,9
13
26
38
93
Especificidade
Crescimento
Outros
Capacidade de detectar
variedades de microorganismos diferentes, que
podem estar presentes na
amostra.
Capacidade de detectar
micro-organismos
diferenciando-os de
partículas externas, não
deixando com que elas
interfiram no resultado do
teste.
Exatidão e Precisão
• A exatidão e a precisão de um método
alternativo pode ser expressa como a razão
relativa de resultados falso positivos e falso
negativos entre o método alternativo e o
método tradicional, utilizando-se inóculos
padronizados com uma baixa concentração
de micro-organismos.
A relação entre Teste Alternativo e Teste
Tradicional
Verdadeiro Positivo
Falso Positivo
Falso Negativo
Verdadeiro Negativo
Sensibilidade e Especificidade
a
Verdadeiro
Positivo
b
Falso Positivo
a+b
c
Falso Negativo
d
Verdadeiro
Negativo
c+d
a+c
b+d
a+b+c+d
𝑎
𝑑
𝑆𝑒𝑛𝑠𝑖𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒 = (𝑎+𝑐) e 𝐸𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑑𝑎𝑑𝑒 = (𝑏+𝑑)
Sensibilidade
Especificidade
Probabilidade do teste
alternativo detectar dado
que o teste tradicional (ou
referência) detecta
Probabilidade do teste
alternativo não detectar
dado que o teste tradicional
(ou referência) não detecta
𝑆=
𝑎
(𝑎+𝑐)
𝐸=
𝑑
(𝑏+𝑑)
Coeficiente Kappa de Cohen
• É uma medida estatística da concordância
de dois avaliadores quando ambos
classificam a mesma amostra;
(Pr 𝑜 − Pr(𝑒))
𝐾𝑎𝑝𝑝𝑎 =
(1 − Pr 𝑒 ))
Grau de Concordância
0
𝐹𝑎𝑙𝑠𝑜𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜 = 20 = 0
20
8
28
0
12
12
20
20
40
8
𝐹𝑎𝑙𝑠𝑜𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 = 20 = 0,4
20
𝑆𝑒𝑛𝑠𝑖𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒 = 20 = 1
0,5
0,2
0,7
0
0,3
0,3
0,5
0,5
1
12
𝐸𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑑𝑎𝑑𝑒 = 20 = 0,6
𝐾𝑎𝑝𝑝𝑎 =
0,35
0,35
0,15
0,15
0,5+0,3 −(0,35+0,15)
(0,35+0,15)
= 0,6
Grau de Concordância
1
𝐹𝑎𝑙𝑠𝑜𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑜 = 20 = 0,05
19
2
28
1
18
12
20
20
40
2
𝐹𝑎𝑙𝑠𝑜𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑜 = 20 = 0,1
19
𝑆𝑒𝑛𝑠𝑖𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒 = 20 = 0,95
0,475
0,05
0,525
0,025
0,45
0,3
0,5
0,5
1
18
𝐸𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑑𝑎𝑑𝑒 = 20 = 0,9
𝐾𝑎𝑝𝑝𝑎 =
0,2625
0,2625
0,15
0,15
0,475+0,45 −(0,2625+0,15)
(0,2625+0,15)
= 0,87
Robustez
• Consiste em medir a capacidade do método
apresentar resultados “similares” quando
submetido a pequenas alterações
intencionais;
• Fornece indicação da confiabilidade
durante o uso rotineiro.
Ensaio
Executar o método com diferentes analistas e temperaturas distintas.
Neste caso, realizamos um experimento cruzado totalmente
aleatoriazado.
A
A
30
25
A
B
30
23
B
A
30
27
B
B
30
22
Modelo Logístico
Conclusão: Como o P-valor
para analistas e temperatura
são “grandes”, concluímos
que a interferência dos
analistas e da temperatura
(na faixa de estudo) são
desprezíveis.
Intercepto
AnalistaB
TemperaturaB
A
A
B
B
1,82
0,11
-0,77
A
B
A
B
0,44
0,47
0,48
0,86
0,74
0,87
0,76
4,12
0,23
-1,60
0,76
0,60
0,77
0,62
0
0,81
0,11
0,96
0,88
0,97
0,90
0,95
-0,81
-1,72
0,05
0,07
0,05
0,07
2,68
1,03
0,17
Referências Bibliográficas
• PDA, J. of Pharmaceutical Science and Technology,
technical report 3, Evaluation, Validation, and
Implementation of New Microbiological Testing Methods.
• Leão JÚNIOR, D. ; AOKI, Reiko ; SILVA, G. F. . Statistical
analysis of proficiency testing results under elliptical
distributions. Computational Statistics & Data Analysis, v.
53, p. 1427-1439, 2009.