¿Qué es la competencia? Carlos A. Brailovsky, MD, MA (Ed), MCFPC (Hon) Centro de evaluación de ciencias de la salud Facultad de Medicina Universidad Laval Quebec,
Download ReportTranscript ¿Qué es la competencia? Carlos A. Brailovsky, MD, MA (Ed), MCFPC (Hon) Centro de evaluación de ciencias de la salud Facultad de Medicina Universidad Laval Quebec,
Slide 1
¿Qué es la competencia?
Carlos A. Brailovsky,
MD, MA (Ed), MCFPC (Hon)
Centro de evaluación de ciencias de la salud
Facultad de Medicina
Universidad Laval
Quebec, Quebec, Canadá
Tucumán junio 2001
Slide 2
Espiral de la educación
Necesidades
educativas
Evaluación de las
actividades
Objetivos de
aprendizaje
El estudiante
Evaluación del alcance de los objetivos
Evaluación de la competencia
Evaluación de los conocimientos
Evaluación de las actitudes
Evaluación de los programas
Tucumán junio 2001
El entorno
Métodos e instrumentos de aprendizaje
Slide 3
La competencia:
¿Qué es y como se la
mide?
Tucumán junio 2001
Slide 4
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Nuevos modelos de análisis psicométrico
Tucumán junio 2001
Slide 5
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Validación de los instrumentos en elaboración
Tucumán junio 2001
Slide 6
La competencia:
– Constructo multivariado
– Constructo multidimensional
Tucumán junio 2001
Slide 7
La competencia:
No puede medirse
de manera directa
Tucumán junio 2001
Slide 8
La competencia clínica
Razonamiento
Habilidades
psicomotoras
Solución de
problemass
C
Competencia
Comunicación
Conocimientos
Habilidades
de organización
Tucumán junio 2001
Slide 9
La competencia profesional
Acción
(actúa)
Competencia
(sabe como)
Desempeño
(muestra como)
Conocimientos
(sabe)
Tucumán junio 2001
De acuerdo a
P. Grand’Maison y
C.A. Brailovsky
Slide 10
La competencia
Su evaluación:
¿Cómo indicación del alcance de los
objetivos de formación?
o más bien
Tucumán junio 2001
Slide 11
La competencia
Su evaluación:
¿Como
puerta de entrada al
ejercicio de una profesión?
Tucumán junio 2001
Slide 12
La evaluación:
6 preguntas básicas
Tucumán junio 2001
?
¿Por qué?
¿Qué?
¿Quién?
¿Cómo?
¿Cuando?
¿Para quién?
?
Slide 13
La competencia
La capacidad de
hacer alguna cosa o
la capacidad de
cumplir una tarea
Tucumán junio 2001
Slide 14
La competencia
Su evaluación:
– Consecuencias
– Imparcialidad
– Complejidad cognitiva
– Calidad del contenido
– Generalisabilidad
Tucumán junio 2001
Slide 15
Estándar de desempeño
Establecimiento de estándares
=
Proceso para la determinación del
nivel de éxito de un examen
(nota de éxito/fracaso)
Tucumán junio 2001
Slide 16
Sesgos
Situaciones particulares en las que
la evaluación tiene un significado y
un impacto diferentes de un
subgrupo de candidatos al otro
Tucumán junio 2001
Slide 17
Sesgos
Errores introducidos por el
contexto específico de la
situación o ligados a la
influencia de variables externas
al fenómeno observado
Tucumán junio 2001
Slide 18
Estándar de desempeño
Establecimiento de estándares = proceso para la determinación del
nivel de éxito de un examen (nota de éxito/fracaso)
Estándares relativos
Estándares absolutos*
(enfoque normativo)
(enfoque criteriado)
En relación con los resultados de
todos los candidatos
Independientes de los resultados de
los otros candidatos
Enfoque interesante, pero criterios
difíciles a definir
Los más utilizados
Media y desviación estándar
M - 2 ED o M - 1,5 ED
Criterios arbitrarios (60%, 70%), o
Basados en el análisis de
contenidos (Angoff, Ebel)
* Muy a menudo, los estándares elegidos son más altos que los
estándares de desempeño observados en la práctica clínica real
Tucumán junio 2001
Slide 19
¿Por qué se debe evaluar la
competencia?
La evaluación forma parte integrante del proceso educativo
Para certificar la competencia (evaluación sumativa)
« Responsabilidad e imputabilidad »
Para dar retroacción (evaluación formativa)
Para evaluar los programas de formación
Para confirmar los valores y los estándares de la profesión
Tucumán junio 2001
Slide 20
La competencia
Solución de problemas
Seleccionar
Aplicar
Ajustar
}Los conocimientos
Para afrontar problemas en contextos
estables
Modelo de la racionalidad técnica
Tucumán junio 2001
Schon 1987
Slide 21
La competencia profesional
« Representa, para un individuo dado,
el grado de utilización de los
conocimientos, las habilidades y el
buen juicio asociados a la profesión, en
todas las situaciones a las que puede
confrontarse en el ejercicio de su
práctica profesional. »
Tucumán junio 2001
M.T. Kane, 1992
Slide 22
La competencia profesional
La capacidad (y su nivel) del profesional
A utilizar
- los conocimientos
- las habilidades
- las actitudes
- la capacidad de juicio
}
asociados a
la profesión
para solucionar problemas (complejos)
que se presentan en el campo de su actividad profesional
Tucumán junio 2001
Slide 23
Médico
- Identificar el problema
- Diagnóstico
- Tratamiento y toma en
manos
- Interacción con los
pacientes y el sistema
sanitario
Tucumán junio 2001
Competencia clínica
En relación con
1 La diciplina
• contenido
• contexto
2 Nivel de formación del
candidato
Slide 24
Objetivo global de la evaluación
sancional
« Asegurarse, en complemento con
otros elementos de información, que
los candidatos que obtienen el
permiso de ejercicio profesional son
competentes para practicar la
medicina de manera autónoma »
Tucumán junio 2001
Slide 25
« La historia de la evaluación de la
competencia está caracterizada por
tentativas constantes de aproximar lo
más posible el mundo de la educación
del mundo de la práctica profesional,
tratando de asegurar condiciones de
medida estandarizadas. »
Tucumán junio 2001
CPM Van derVleuten
Ad. in Health Sc. Ed.
1996, 1:41-67
Slide 26
Confiabilidad y validez de un
instrumento de medida
La confiabilidad y la validez de un
examen deben ser verificadas
permanentemente
Validez aparente
Validez de contenido
Confiabilidad
Validez criteriada
Validez de constructo
Tucumán junio 2001
Slide 27
La práctica profesional
Sector complejo:
– Difícil a definir
– Difícil a describir
Interacciones profesional/cliente
Contexto social
Tucumán junio 2001
Slide 28
Evaluación de la
competencia profesional
Tarea difícil y ardua
A menudo muy frustrante
pero
Posible
Tucumán junio 2001
Slide 29
Evaluación de la
competencia profesional
Indispensable
Elaboración de instrumentos
Confirmar que los profesionales son
capaces de hacer lo que se espera de ellos
Tucumán junio 2001
Slide 30
Profesión
Organizada alrededor de
un:
Corpus global de
– Conocimientos
– Idoneidad
– Aplicaciones practicas
Tucumán junio 2001
Slide 31
Profesión
Responde a
Ciertas reglas
Impone
Formación
Preparación
Particulares
Tucumán junio 2001
Slide 32
Evaluación de la competencia
Interpretación de datos
Compara la competencia
de los candidatos
Estándares predeterminados
Tucumán junio 2001
Slide 33
Evaluación de la competencia
Imposición de
criterios necesarios
Ejercicio de
la práctica profesional
Tucumán junio 2001
Slide 34
Evaluación de la competencia
Medida y evaluación
Resultados obtenidos
Nivel de competencia
1ra inferencia
Tucumán junio 2001
Slide 35
Evaluación de la competencia
Medida y evaluación
Desempeño
Preparados para
abordar la etapa subsecuente
2da inferencia
Tucumán junio 2001
Slide 36
Exámenes escritos: tipos de ítems
Items objetivos
-
Items subjetivos
-
Tucumán junio 2001
Elección de respuestas al
interior de listas sugeridas
Estructuración de las
respuestas
Slide 37
Exámenes escritos: tipos de ítems
Item objetivo
Elección de respuestas
Muchas preguntas
Difíciles para redactar
Fáciles para corregir
El estudiante está limitado
Preguntas concisas
“Adivinación” de respuestas
Los resultados dependen
del examen en sí mismo
Tucumán junio 2001
Item subjetivo
Construcción de las
respuestas
Respuestas más detalladas
+ Difíciles para corregir
+ Fáciles para redactar
Preguntas + generales
« Bluff »
El corrector puede influir
sobre los resultados
Slide 38
Exámenes escritos: tipos de ítems
A respuesta construida
A respuesta construida elaborada
A respuesta construida corta
A complemento de frase
A respuesta elegida
Tucumán junio 2001
A elección múltiple (diferentes tipos de elección)
A menú largo (elección simple)
De apareamiento
A elección simple (V - F)
A menú largo (elección múltiple)
Slide 39
Exámenes escritos: tipos de ítems
Preguntas de análisis de problemas (QAP)
(Sherbrooke)
Simulaciones clínicas escritas (CMFC,
CRMCC, CMQ)
Simulaciones clínicas escritas y enfoque con
elementos críticos (CMFC y OIIQ)
Tucumán junio 2001
¿Qué es la competencia?
Carlos A. Brailovsky,
MD, MA (Ed), MCFPC (Hon)
Centro de evaluación de ciencias de la salud
Facultad de Medicina
Universidad Laval
Quebec, Quebec, Canadá
Tucumán junio 2001
Slide 2
Espiral de la educación
Necesidades
educativas
Evaluación de las
actividades
Objetivos de
aprendizaje
El estudiante
Evaluación del alcance de los objetivos
Evaluación de la competencia
Evaluación de los conocimientos
Evaluación de las actitudes
Evaluación de los programas
Tucumán junio 2001
El entorno
Métodos e instrumentos de aprendizaje
Slide 3
La competencia:
¿Qué es y como se la
mide?
Tucumán junio 2001
Slide 4
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Nuevos modelos de análisis psicométrico
Tucumán junio 2001
Slide 5
Evolución del mundo de la evaluación
Nuevos modelos teóricos
Nuevos instrumentos
Validación de los instrumentos en elaboración
Tucumán junio 2001
Slide 6
La competencia:
– Constructo multivariado
– Constructo multidimensional
Tucumán junio 2001
Slide 7
La competencia:
No puede medirse
de manera directa
Tucumán junio 2001
Slide 8
La competencia clínica
Razonamiento
Habilidades
psicomotoras
Solución de
problemass
C
Competencia
Comunicación
Conocimientos
Habilidades
de organización
Tucumán junio 2001
Slide 9
La competencia profesional
Acción
(actúa)
Competencia
(sabe como)
Desempeño
(muestra como)
Conocimientos
(sabe)
Tucumán junio 2001
De acuerdo a
P. Grand’Maison y
C.A. Brailovsky
Slide 10
La competencia
Su evaluación:
¿Cómo indicación del alcance de los
objetivos de formación?
o más bien
Tucumán junio 2001
Slide 11
La competencia
Su evaluación:
¿Como
puerta de entrada al
ejercicio de una profesión?
Tucumán junio 2001
Slide 12
La evaluación:
6 preguntas básicas
Tucumán junio 2001
?
¿Por qué?
¿Qué?
¿Quién?
¿Cómo?
¿Cuando?
¿Para quién?
?
Slide 13
La competencia
La capacidad de
hacer alguna cosa o
la capacidad de
cumplir una tarea
Tucumán junio 2001
Slide 14
La competencia
Su evaluación:
– Consecuencias
– Imparcialidad
– Complejidad cognitiva
– Calidad del contenido
– Generalisabilidad
Tucumán junio 2001
Slide 15
Estándar de desempeño
Establecimiento de estándares
=
Proceso para la determinación del
nivel de éxito de un examen
(nota de éxito/fracaso)
Tucumán junio 2001
Slide 16
Sesgos
Situaciones particulares en las que
la evaluación tiene un significado y
un impacto diferentes de un
subgrupo de candidatos al otro
Tucumán junio 2001
Slide 17
Sesgos
Errores introducidos por el
contexto específico de la
situación o ligados a la
influencia de variables externas
al fenómeno observado
Tucumán junio 2001
Slide 18
Estándar de desempeño
Establecimiento de estándares = proceso para la determinación del
nivel de éxito de un examen (nota de éxito/fracaso)
Estándares relativos
Estándares absolutos*
(enfoque normativo)
(enfoque criteriado)
En relación con los resultados de
todos los candidatos
Independientes de los resultados de
los otros candidatos
Enfoque interesante, pero criterios
difíciles a definir
Los más utilizados
Media y desviación estándar
M - 2 ED o M - 1,5 ED
Criterios arbitrarios (60%, 70%), o
Basados en el análisis de
contenidos (Angoff, Ebel)
* Muy a menudo, los estándares elegidos son más altos que los
estándares de desempeño observados en la práctica clínica real
Tucumán junio 2001
Slide 19
¿Por qué se debe evaluar la
competencia?
La evaluación forma parte integrante del proceso educativo
Para certificar la competencia (evaluación sumativa)
« Responsabilidad e imputabilidad »
Para dar retroacción (evaluación formativa)
Para evaluar los programas de formación
Para confirmar los valores y los estándares de la profesión
Tucumán junio 2001
Slide 20
La competencia
Solución de problemas
Seleccionar
Aplicar
Ajustar
}Los conocimientos
Para afrontar problemas en contextos
estables
Modelo de la racionalidad técnica
Tucumán junio 2001
Schon 1987
Slide 21
La competencia profesional
« Representa, para un individuo dado,
el grado de utilización de los
conocimientos, las habilidades y el
buen juicio asociados a la profesión, en
todas las situaciones a las que puede
confrontarse en el ejercicio de su
práctica profesional. »
Tucumán junio 2001
M.T. Kane, 1992
Slide 22
La competencia profesional
La capacidad (y su nivel) del profesional
A utilizar
- los conocimientos
- las habilidades
- las actitudes
- la capacidad de juicio
}
asociados a
la profesión
para solucionar problemas (complejos)
que se presentan en el campo de su actividad profesional
Tucumán junio 2001
Slide 23
Médico
- Identificar el problema
- Diagnóstico
- Tratamiento y toma en
manos
- Interacción con los
pacientes y el sistema
sanitario
Tucumán junio 2001
Competencia clínica
En relación con
1 La diciplina
• contenido
• contexto
2 Nivel de formación del
candidato
Slide 24
Objetivo global de la evaluación
sancional
« Asegurarse, en complemento con
otros elementos de información, que
los candidatos que obtienen el
permiso de ejercicio profesional son
competentes para practicar la
medicina de manera autónoma »
Tucumán junio 2001
Slide 25
« La historia de la evaluación de la
competencia está caracterizada por
tentativas constantes de aproximar lo
más posible el mundo de la educación
del mundo de la práctica profesional,
tratando de asegurar condiciones de
medida estandarizadas. »
Tucumán junio 2001
CPM Van derVleuten
Ad. in Health Sc. Ed.
1996, 1:41-67
Slide 26
Confiabilidad y validez de un
instrumento de medida
La confiabilidad y la validez de un
examen deben ser verificadas
permanentemente
Validez aparente
Validez de contenido
Confiabilidad
Validez criteriada
Validez de constructo
Tucumán junio 2001
Slide 27
La práctica profesional
Sector complejo:
– Difícil a definir
– Difícil a describir
Interacciones profesional/cliente
Contexto social
Tucumán junio 2001
Slide 28
Evaluación de la
competencia profesional
Tarea difícil y ardua
A menudo muy frustrante
pero
Posible
Tucumán junio 2001
Slide 29
Evaluación de la
competencia profesional
Indispensable
Elaboración de instrumentos
Confirmar que los profesionales son
capaces de hacer lo que se espera de ellos
Tucumán junio 2001
Slide 30
Profesión
Organizada alrededor de
un:
Corpus global de
– Conocimientos
– Idoneidad
– Aplicaciones practicas
Tucumán junio 2001
Slide 31
Profesión
Responde a
Ciertas reglas
Impone
Formación
Preparación
Particulares
Tucumán junio 2001
Slide 32
Evaluación de la competencia
Interpretación de datos
Compara la competencia
de los candidatos
Estándares predeterminados
Tucumán junio 2001
Slide 33
Evaluación de la competencia
Imposición de
criterios necesarios
Ejercicio de
la práctica profesional
Tucumán junio 2001
Slide 34
Evaluación de la competencia
Medida y evaluación
Resultados obtenidos
Nivel de competencia
1ra inferencia
Tucumán junio 2001
Slide 35
Evaluación de la competencia
Medida y evaluación
Desempeño
Preparados para
abordar la etapa subsecuente
2da inferencia
Tucumán junio 2001
Slide 36
Exámenes escritos: tipos de ítems
Items objetivos
-
Items subjetivos
-
Tucumán junio 2001
Elección de respuestas al
interior de listas sugeridas
Estructuración de las
respuestas
Slide 37
Exámenes escritos: tipos de ítems
Item objetivo
Elección de respuestas
Muchas preguntas
Difíciles para redactar
Fáciles para corregir
El estudiante está limitado
Preguntas concisas
“Adivinación” de respuestas
Los resultados dependen
del examen en sí mismo
Tucumán junio 2001
Item subjetivo
Construcción de las
respuestas
Respuestas más detalladas
+ Difíciles para corregir
+ Fáciles para redactar
Preguntas + generales
« Bluff »
El corrector puede influir
sobre los resultados
Slide 38
Exámenes escritos: tipos de ítems
A respuesta construida
A respuesta construida elaborada
A respuesta construida corta
A complemento de frase
A respuesta elegida
Tucumán junio 2001
A elección múltiple (diferentes tipos de elección)
A menú largo (elección simple)
De apareamiento
A elección simple (V - F)
A menú largo (elección múltiple)
Slide 39
Exámenes escritos: tipos de ítems
Preguntas de análisis de problemas (QAP)
(Sherbrooke)
Simulaciones clínicas escritas (CMFC,
CRMCC, CMQ)
Simulaciones clínicas escritas y enfoque con
elementos críticos (CMFC y OIIQ)
Tucumán junio 2001