Transcript Programa basado en competencias y su evaluación

La experiencia del Tecnológico de Monterrey
TEOFILO J. RAMOS
San Salvador, El Salvador
Mayo 16, 2013
1
Contexto Institucional
2
Contexto Institucional
www.itesm.edu
•
El Tecnológico de
Monterrey fue fundado
en 1943 por un grupo de
empresarios mexicanos,
bajo el liderazgo de Don
Eugenio Garza Sada
•
Institución privada sin
fines de lucro
•
Independiente
•
Genera los recursos
necesarios para su
operación
3
Contexto Institucional
• 31 Campus y una Universidad
Virtual
• 96,649 estudiantes:
Preparatoria: 24,592
Profesional: 54,777
Posgrado:
17,280 (8380 en la UV)
• 48.25% con beca o apoyo
financiero
• 8,391 profesores
4
Contexto Institucional
• 58 carreras profesionales
• 18 programas de especialidades
médicas
• 42 programas de maestría
• 10 programas de doctorado
•
•
•
185,797 egresados de
carreras profesionales
44,483 egresados de
programas de posgrado
18% de las 200 empresas
más importantes de México
son dirigidas por egresados
5
Contexto Institucional
• 21 oficinas de enlace
internacional
• 6,959 estudiantes
nuestros en
universidades
extranjeras
• 4,423 estudiantes
internacionales
• 754 profesores
participaron en
proyectos
internacionales
• 911 profesores
extranjeros impartieron
cursos en alguno de los
campus
• 372 convenios con
universidades
internacionales de
prestigio
6
Profesional
Nacional
% de prog. Acreditados *
Posgrado
100%
Organismo
# de programas
COPAES
199
CIEES
10
TOTAL
209
Programas acreditables**
209
Internacional
Organismo
AACSB
ABET
CLAEP
TOTAL
# de programas
6
22
1
29
% de prog. Acreditados*
80%
Organismo
# de programas
PNPC - CONACYT
59
CIEES
21
Total
80
Programas acreditables**
100
Organismo
# de programas
Triple Corona
(AACSB, EQUIS8
EFMD y AMBA) –
EGADE Mty
AMBA: CCM, CEM,
3
QRO
TOTAL
11
Meta institucional: 100% de los programas de profesional y posgrado acreditados
por algún organismo nacional
**Programas acreditables: programas que se ofrecen de manera completa en un
campus y han graduado al menos a tres generaciones
•
7
Calidad Académica en el
Tecnológico de Monterrey
Evaluación del
Aprendizaje
Seguimiento de
Egresados
Efectividad
Institucional
Estándares de admisión (College Board)
Pruebas estandarizadas
Antecedentes académicos
Exámenes estandarizados
Pruebas nacionales
 Estudios de egresados: Candidatos a graduarse, 3 meses de
graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años
 Empleadores
Indicadores de Excelencia Académica: IDEA (alumnos,
profesores, directivos), Tableros
Juntas de Evaluación
Institucionales y de Programas
Nacionales e Internacionales
Evaluación de
Programas Académico
Mejora Continua
Selección de
Alumnos
Medición de competencias de egreso “Learning outcomes”
(Programas académicos)
8

Campus que viven la filosofía del mejoramiento
continuo.

Reconocimiento y prestigio nacional e internacional
por la acreditación externa de los programas
académicos.

Profesores más competentes.

Mejores alumnos en lo académico y más
comprometidos en el desarrollo de sus
comunidades.

Mejores bibliotecas, infraestructura, y recursos de
apoyo al aprendizaje.
9

Identificación de áreas de oportunidad para
mejorar.

Se refuerza la visión del quehacer importante,
desde el cumplimiento de la Misión hasta los
Perfiles de Egreso y de que hay que demostrar
que se está logrando (rendición de cuentas)

Desarrollo de la cultura de la “documentación”.
10

Se facilitan las conversaciones con aliados
académicos internacionales (actuales y potenciales).

Ciclo virtuoso de calidad

Enfoque al aseguramiento de la calidad académica.

Enriquecimiento del modelo educativo (formación y
evaluación por competencias)

Inversión importante en recursos humanos y
económicos.
11
Contexto de programas
basados en competencias
 Fortalecimiento de la rendición de
cuentas
 Énfasis en la medición del aprendizaje
versus medición de la infraestructura y los
procesos académicos
 Tendencia internacional de las
acreditaciones
12
13
Objetivo
Asegurar el cumplimiento del perfil de
egreso de los programas académicos.
14
ABET
“The program must regularly use appropriate,
documented processes for assessing and
evaluating the extent to which both the
program educational objectives and the
student outcomes are being attained. The
results of these evaluations must be
systematically utilized as input for the
continuous improvement of the program. Other
available information may also be used to
assist in the continuous improvement of the
program.”
15
SACS
The institution identifies expected
outcomes, assess the extent to which
theses outcomes, and provides evidence
of improvement based on analysis of the
results in each of the following areas:
 Educational programs, to include
student learning outcomes.
16
Assessment
“A systematic process of looking at
student achievement within and across
courses by gathering, interpreting and
using information about student learning
for educational improvement”
American Association of Higher Education
17
Nuestra definición de Assessment
 Assessment es la evaluación sistemática de
los programas académicos con base en
resultados del aprendizaje (learning
outcomes*) y utilizando los resultados de la
evaluación para la mejora continua
*En el Tecnológico de Monterrey las denominamos
competencias de egreso
18
Evaluación de programas
 Evaluación de programa y
ciclos de mejora
 Evaluación a nivel curso
Semestres
Logros esperados
1er
2do
3er
4to
5to
….
9no
Al momento de graduarse
M11
M12
M13
M14
….
….
M19
M21
M22
M23
M24
….
….
M29
Competencias de Egreso
(CE’s):
M31
M32
M33
M34
….
….
M39
Alumnos
…
…
…
…
…
...
…
Mn1
Mn2
Mn3
Mn4
….
….
Mn9
• En cada materia, los profesores y
departamentos académicos evalúan
objetivos de aprendizaje del
curso: conocimientos, habilidades,
actitudes y valores.
Esto es lo que ya se hace
•
•
•
Generales
Comunes del área
De la especialidad
• Para ser evaluadas las CE´s, tienen que
ser expresadas en criterios de
desempeño.
Esto se añade
Proceso de evaluación de programas
Competencias de egreso
Definición
Criterios de desempeño
Plan de
Evaluación
Cursos, actividades
co-curriculares,
programas de apoyo,
recursos de aprendizaje
Acciones
educativas
Medición
Indirecta
Directa
Valoración
Decisión de mejora continua
Evaluación
19
20
Etapas del proceso de evaluación de programas
Etapa 1. Perfil de egreso basado en competencias
Etapa 2. Plan de evaluación del programa
Etapa 3. Evaluación y Resultados
Etapa 4. Acciones de mejora
21
Etapa 1.
Perfil de Egreso basado en
Competencias
22
Etapa 1. Perfil de Egreso basado en competencias
Personales:
1. Dominio del Inglés
2. Ética
3. Ciudadanía
4. Capacidad
emprendedora y de
innovación
5. Liderazgo
6. Confianza en sí
mismo
7. Compromiso con el
medio ambiente
8. Comunicación oral y
escrita
9. Perspectiva global
Profesionales:
• Básicas de la Profesión
• Administración
• Ingeniería
• Ciencias Sociales y
Humanidades
• Ciencias de la
Salud
Profesionales:
• De la Especialidad
• Mecánico
Administrador
• Mecatrónica
• Biotecnología
• Médico Cirujano
• Psicología Laboral
• Arquitecto
• Ciencia Política
• Etc.
23
Etapa 1. Perfil de Egreso basado en competencias
Competencias de Egreso (CEs)
Combinación de atributos — con respecto al
conocimiento y su aplicación, a las actitudes
y a las responsabilidades— que hacen
referencia a las capacidades que un
estudiante debe haber desarrollado al
momento de su graduación.
24
Etapa 1. Perfil de Egreso basado en competencias
Criterios de Desempeño (CDs)
Enunciados específicos medibles que
identifican comportamientos
observables que evidencian el
desarrollo de una competencia.
Se definen al menos 2 por cada CE
Objetivos de Programa
Los objetivos de un programa son declaraciones
amplias que describen los logros de un egresado de
un programa después de cierto tiempo de su
graduación
La medición de los objetivos puede utilizarse para
determinar el progreso del programa hacia el
cumplimiento de su oferta académica
Típicamente, un programa tiene alrededor de 5 a 7
objetivos
25
Objetivos de Programa
Deben reflejar las necesidades de los grupos de interés a
los que sirve el programa
Deben ser consistentes con la Misión de la institución y
estar publicados
Deben medirse para evaluar el programa en función de su
cumplimiento
Se deben revisar periódicamente para reflejar posibles
cambios en las necesidades del entorno
El proceso de definición, medición, evaluación y mejora
debe estar documentado
26
Ejemplo:
27
Carrera Ingeniero en Sistemas Computacionales
Objetivos del programa
1. Los egresados basan, consistentemente, en criterios éticos las decisiones que
toman en relación con su persona, su práctica profesional y su entorno.
1.1 Los egresados basan, consistentemente, en criterios éticos las decisiones que
toman en relación con su persona, su práctica profesional y su entorno y reportan
que generalmente o la mayoría de las veces, aplican un razonamiento que les
permite asegurar que su decisión será válida o justificable en el futuro y no sólo en
el momento presente.
2. Los egresados consideran las consecuencias de su actuación personal, social y
profesional para las personas y su entorno.
3. Los egresados se mantienen actualizados sobre el acontecer social, económico
y político.
4. Los egresados participan en organizaciones o actividades que contribuyen al
mejoramiento de su comunidad.
Ejemplo:
Carrera Ingeniero en Sistemas Computacionales
Competencia de egreso:
1. El alumno diseñará, desarrollará, implementará,
probará y mantendrá proyectos de software de acuerdo a
criterios de cumplimiento previamente establecidos. <<>>
Criterios de desempeño:
1.1 El alumno aplica los conceptos del ciclo de vida de sistemas en el desarrollo de
proyectos de software. Tendrá la habilidad de hacer un análisis de la problemática, modelar
una solución, desarrollar y probar el producto de software, cuidando que se satisfaga la
problemática inicial
1.2 El alumno será capaz de aplicar de manera adecuada, diferentes modelos del ciclo de
vida del desarrollo de software.
1.3 El alumno define la problemática de TI, realiza un diagnóstico para identificar
requerimientos y genera alternativas de solución.
1.4 El alumno modela, diseña y codifica satisfactoriamente la solución de un problema de
tecnología de información aplicando herramientas de diseño y desarrollo
28
29
Etapa 2.
Plan de Evaluación de cada carrera
30
Etapa 2. Plan de Evaluación de cada carrera
Es la guía para realizar la evaluación del
programa.
 Para cada criterio de desempeño de cada
una de las competencias de egreso,
identificar:
o
o
o
o
o
Frecuencia de la medición
Método de medición
Dónde medir
Forma de cumplimiento y metas
Responsable de la medición
31
Etapa 2. Plan de Evaluación de cada carrera
Semestre
Método de evaluación
Cuándo
Dónde
Responsable
Meta
Agosto - Diciembre, 2011
Rúbrica
Anual
TC2011 Sistemas Inteligentes
Carlos Ramiírez Gutiérrez
80%
32
Etapa 2. Plan de Evaluación de cada carrera
Rúbrica
Niveles de desarrollo
1
2
3
Es incapaz de proponer o juzgar
Propuestas de mejora de mejoras a soluciones ya
soluciones existentes
existentes de problemas,
mediante el uso de IA. mediante el uso de técnicas y
algoritmos de IA.
Propone mejoras parciales a
soluciones ya existentes de
problemas, mediante el uso de
técnicas y algoritmos de IA.
Propone, justifica y critica
Propone mejoras efectivas a
mejoras efectivas a soluciones
soluciones ya existentes de
ya existentes de problemas,
problemas, mediante el uso de
mediante el uso de técnicas y
técnicas y algoritmos de IA.
algoritmos de IA.
Desarrollo de reportes
técnicos y artículos
científicos para
conferencia en el área
de Inteligencia Artificial
y afines, a partir de los
proyectos desarrollados.
Analiza pero es incapaz de
documentar formalmente y
juzgar teorías de solución a
problemas reales, que
involucran estrategias y
algoritmos de IA.
Analiza, elabora y documenta
formalmente teorías de
solución a problemas reales,
que involucran estrategias y
algoritmos de IA.
Aplica de forma muy limitada
técnicas y algoritmos de IA en
los proyectos del curso.
Aplica en la mayoría de los
Aplica consistentemente
casos técnicas y algoritmos
técnicas y algoritmos efectivos
efectivos de IA los proyectos delde IA en los proyectos del
curso.
curso.
Es incapaz de analizar,
documentar formalmente y
juzgar teorías de solución a
problemas reales, que involucran
estrategias y algoritmos de IA.
Utilización efectiva de
técnicas y algoritmos de
Es incapaz de aplicar técnicas y
Inteligencia Artificial en
algoritmos de IA en sus
la solución de problemas
proyectos.
teóricos y en el
desarrollo de proyectos.
4
Elabora, documenta
formalmente y critica teorías
de solución a problemas reales,
que involucran estrategias y
algoritmos de IA.
33
Etapa 2. Plan de Evaluación de cada carrera
Consideraciones metodológicas:
 Es una tarea adicional a la evaluación del curso
pero puede hacerse sobre el producto de un curso
(course embedded assessment)
 También es posible realizarlo en un evento
especial (assessment center)
34
Etapa 2. Plan de Evaluación de cada carrera
Consideraciones metodológicas:
 Se evalúa el programa académico, y no al alumno
o al profesor en lo individual, a través de
evidencias del desarrollo de las competencias a
nivel programa.
35
Etapa 2. Plan de Evaluación de cada carrera
Consideraciones metodológicas:
 Se pueden utilizar los siguientes métodos de medición:
o Métodos indirectos: mediante los resultados de encuestas.
Ejemplo: Instrumento de Competencias Éticas y Ciudadanas
o Métodos directos: se observa de primera mano el desempeño
del alumno. Ejemplos:
• Examen estandarizado (EGEL, TOEFL).
• Aplicación de rúbrica (evaluación de un ensayo, proyecto,
presentación oral).
36
Etapa 2. Plan de Evaluación de cada carrera
Consideraciones metodológicas:
 No se requiere medir todo, ni todo el tiempo:
o La medición puede ser semestral o anual
o La medición se realiza sobre una muestra
aleatoria
37
Etapa 3.
Evaluación y Resultados
38
Etapa 3. Evaluación y resultados
Ejecutar el plan de evaluación
 Realizar la medición de las competencias de
egreso de acuerdo con el plan de
evaluación.
 Integrar reportes para el análisis colegiado y
la toma de decisiones de mejor.
39
Etapa 4.
Documentación de Acciones de Mejora
40
Etapa 4. Documentación de Acciones de Mejora
 Realizar el análisis de resultados de la
medición y la definición de acciones de mejora
y su implementación (se recomienda integrar
esas actividades dentro del plan semestral de
trabajo departamental)
 Documentar y dar seguimiento a los acuerdos
 Asegurar el inicio de un nuevo ciclo de
medición y mejora
41
Sistema para Administrar la
Evaluación de Programas
Académicos (SAEP)
Tecnológico de Monterrey
Vicerrectoría Académica
Junio 2012
42
SAEP
Herramienta de apoyo para administrar la evaluación:
 Sistema en línea
 Permite dar seguimiento a la evaluación de programa
 Enlaza los resultados de evaluaciones oficiales (pruebas
nacionales, encuestas institucionales y externas) con
criterios de desempeño
 Facilita la evaluación de evidencias a través de rúbricas
 Documenta los resultados del desarrollo de competencias
y las acciones de mejora establecidas
SAEP como herramienta de ayuda en el proceso43
de evaluación de programas académicos
Etapa 1:
Perfil
• Permite agregar por
criterio de
desempeño acciones
de mejora
• Funcionalidad de
documentar
información adicional
Etapa 4:
Acciones
de mejora
• Permite a los profesores evaluar trabajos de
alumnos a través de rúbricas
• Obtiene de fuentes oficiales resultados de
exámenes (TOEFL, CENEVAL) y encuestas
(Trayectoria, ICEC, NSSE)
• Permite generar reportes de avance en word o
html
• Funcionalidad de exportar a Excel los resultados
Proceso de
evaluación
en
SAEP
Etapa 3:
Evaluación
• Se visualiza el perfil
de egreso por carrera
• Permite generar
reportes en word o
html
Etapa 2:
Plan de
evaluación
• Se define el plan de
evaluación por
carrera-campus:
• Métodos de
evaluación
(encuestas, rúbricas
y exámenes)
• Formas de
cumplimiento,
responsables y
metas
• Permite generar
reportes en word o
html
44
¿Comentarios o preguntas?
Teófilo J. Ramos
[email protected]