Transcript Brailovsky C. Evaluación de competencias. 2001.

¿Qué es la competencia?
Carlos A. Brailovsky,
MD, MA (Ed), MCFPC (Hon)
Centro de evaluación de ciencias de la salud
Facultad de Medicina
Universidad Laval
Quebec, Quebec, Canadá
Tucumán junio 2001
Espiral de la educación
Neces idade s
e ducativas
Evaluación de las
actividade s
El estudiante
Evaluación del alcance de los obje tivos
Evaluación de la competencia
Evaluación de los conocimientos
Evaluación de las actitudes
Evaluación de los programas
Tucumán junio 2001
Objetivos de
aprendizaje
El entorno
M é todos e ins trum e ntos de aprendizaje
La competencia:
¿Qué es y como se la
mide?
Tucumán junio 2001
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Nuevos modelos de análisis psicométrico
Tucumán junio 2001
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Validación de los instrumentos en elaboración
Tucumán junio 2001
La competencia:
– Constructo multivariado
– Constructo multidimensional
Tucumán junio 2001
La competencia:
No puede medirse
de manera directa
Tucumán junio 2001
La competencia clínica
Razonamiento
H abilidades
psicomotoras
S olución de
problemass
C
C omunicación
C onocimientos
H abilidades
de organización
Tucumán junio 2001
Competencia
La competencia profesional
Acción
(actúa)
Competencia
(sabe como)
Desempeño
(muestra como)
Conocimientos
(sabe)
Tucumán junio 2001
De acuerdo a
P. Grand’Maison y
C.A. Brailovsky
La competencia
Su evaluación:
¿Cómo indicación del alcance de los
objetivos de formación?
o más bien
Tucumán junio 2001
La competencia
Su evaluación:
¿Como
puerta de entrada al
ejercicio de una profesión?
Tucumán junio 2001
La evaluación:
6 preguntas básicas
Tucumán junio 2001
?
¿Por qué?
¿Qué?
¿Quién?
¿Cómo?
¿Cuando?
¿Para quién?
?
La competencia
La capacidad de
hacer alguna cosa o
la capacidad de
cumplir una tarea

Tucumán junio 2001
La competencia
Su evaluación:
– Consecuencias
– Imparcialidad
– Complejidad cognitiva
– Calidad del contenido
– Generalisabilidad
Tucumán junio 2001
Estándar de desempeño
Establecimiento de estándares
=
Proceso para la determinación del
nivel de éxito de un examen
(nota de éxito/fracaso)
Tucumán junio 2001
Sesgos
Situaciones particulares en las que
la evaluación tiene un significado y
un impacto diferentes de un
subgrupo de candidatos al otro
Tucumán junio 2001
Sesgos
Errores introducidos por el
contexto específico de la
situación o ligados a la
influencia de variables externas
al fenómeno observado
Tucumán junio 2001
Estándar de desempeño
Establecimiento de estándares = proceso para la determinación del
nivel de éxito de un examen (nota de éxito/fracaso)
Estándares relativos
Estándares absolutos*
(enfoque normativo)
(enfoque criteriado)
En relación con los resultados de
todos los candidatos
Los más utilizados
Independientes de los resultados de
los otros candidatos
Enfoque interesante, pero criterios
difíciles a definir
Criterios arbitrarios (60%, 70%), o
Basados en el análisis de
contenidos (Angoff, Ebel)
Media y desviación estándar
M - 2 ED o M - 1,5 ED
* Muy a menudo, los estándares elegidos son más altos que los
estándares de desempeño observados en la práctica clínica real
Tucumán junio 2001
¿Por qué se debe evaluar la
competencia?





La evaluación forma parte integrante del proceso educativo
Para certificar la competencia (evaluación sumativa)
« Responsabilidad e imputabilidad »
Para dar retroacción (evaluación formativa)
Para evaluar los programas de formación
Para confirmar los valores y los estándares de la profesión
Tucumán junio 2001
La competencia
Solución de problemas
Seleccionar
Aplicar
Ajustar
}Los conocimientos
Para afrontar problemas en contextos
estables
Modelo de la racionalidad técnica
Tucumán junio 2001
Schon 1987
La competencia profesional
« Representa, para un individuo dado,
el grado de utilización de los
conocimientos, las habilidades y el
buen juicio asociados a la profesión, en
todas las situaciones a las que puede
confrontarse en el ejercicio de su
práctica profesional. »
Tucumán junio 2001
M.T. Kane, 1992
La competencia profesional
La capacidad (y su nivel) del profesional



A utilizar
- los conocimientos
- las habilidades
- las actitudes
- la capacidad de juicio
}
asociados a
la profesión
para solucionar problemas (complejos)
que se presentan en el campo de su actividad profesional
Tucumán junio 2001
Médico
- Identificar el problema
- Diagnóstico
- Tratamiento y toma en
manos
- Interacción con los
pacientes y el sistema
sanitario
Tucumán junio 2001
Competencia clínica
En relación con
1 La diciplina
• contenido
• contexto
2 Nivel de formación del
candidato
Objetivo global de la evaluación
sancional
« Asegurarse, en complemento con
otros elementos de información, que
los candidatos que obtienen el
permiso de ejercicio profesional son
competentes para practicar la
medicina de manera autónoma »
Tucumán junio 2001
« La historia de la evaluación de la
competencia está caracterizada por
tentativas constantes de aproximar lo
más posible el mundo de la educación
del mundo de la práctica profesional,
tratando de asegurar condiciones de
medida estandarizadas. »
Tucumán junio 2001
CPM Van derVleuten
Ad. in Health Sc. Ed.
1996, 1:41-67
Confiabilidad y validez de un
instrumento de medida
La confiabilidad y la validez de un
examen deben ser verificadas
permanentemente
Validez aparente
Validez de contenido
Confiabilidad
Validez criteriada
Validez de constructo
Tucumán junio 2001
La práctica profesional
Sector complejo:
– Difícil a definir
– Difícil a describir
Interacciones profesional/cliente
Contexto social
Tucumán junio 2001
Evaluación de la
competencia profesional
Tarea difícil y ardua
A menudo muy frustrante
pero
Posible
Tucumán junio 2001
Evaluación de la
competencia profesional
Indispensable
Elaboración de instrumentos
Confirmar que los profesionales son
capaces de hacer lo que se espera de ellos
Tucumán junio 2001
Profesión
Organizada alrededor de
un:
Corpus global de
– Conocimientos
– Idoneidad
– Aplicaciones practicas
Tucumán junio 2001
Profesión
Responde a
Ciertas reglas
Impone
Formación
Preparación
Particulares
Tucumán junio 2001
Evaluación de la competencia
Interpretación de datos
Compara la competencia
de los candidatos
Estándares predeterminados
Tucumán junio 2001
Evaluación de la competencia
Imposición de
criterios necesarios
Ejercicio de
la práctica profesional
Tucumán junio 2001
Evaluación de la competencia
Medida y evaluación
Resultados obtenidos
Nivel de competencia
1ra inferencia
Tucumán junio 2001
Evaluación de la competencia
Medida y evaluación
Desempeño
Preparados para
abordar la etapa subsecuente
2da inferencia
Tucumán junio 2001
Exámenes escritos: tipos de ítems

Items objetivos
-

Items subjetivos
-
Tucumán junio 2001
Elección de respuestas al
interior de listas sugeridas
Estructuración de las
respuestas
Exámenes escritos: tipos de ítems

Item objetivo








Elección de respuestas
Muchas preguntas
Difíciles para redactar
Fáciles para corregir
El estudiante está limitado
Preguntas concisas
“Adivinación” de respuestas
Los resultados dependen
del examen en sí mismo
Tucumán junio 2001

Item subjetivo







Construcción de las
respuestas
Respuestas más detalladas
+ Difíciles para corregir
+ Fáciles para redactar
Preguntas + generales
« Bluff »
El corrector puede influir
sobre los resultados
Exámenes escritos: tipos de ítems

A respuesta construida




A respuesta construida elaborada
A respuesta construida corta
A complemento de frase
A respuesta elegida





Tucumán junio 2001
A elección múltiple (diferentes tipos de elección)
A menú largo (elección simple)
De apareamiento
A elección simple (V - F)
A menú largo (elección múltiple)
Exámenes escritos: tipos de ítems

Preguntas de análisis de problemas (QAP)
(Sherbrooke)


Simulaciones clínicas escritas (CMFC,
CRMCC, CMQ)
Simulaciones clínicas escritas y enfoque con
elementos críticos (CMFC y OIIQ)
Tucumán junio 2001