Transcript Documento de reforma de los exámenes Saber Pro presentado por

Los nuevos exámenes SABER PRO
Javier Botero Álvarez
Viceministro de Educación Superior
Margarita Peña Borrero
Directora General - ICFES
Julián Mariño Von Hildebrand
Director de Evaluación - ICFES
Bogotá, agosto 24 de 2011
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco Legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco Legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Objetivos del Sistema de Calidad de la Educación Superior
Promover, gestionar y mejorar permanentemente la calidad de las
instituciones y programas de educación superior y su impacto en la formación
de los estudiantes
Generar una cultura de evaluación y autoevaluación permanente y
sistemática
Propender por la pertinencia y cobertura de la Educación Superior en el
país
Fomentar la búsqueda de la atención integral de los estudiantes y demás
actores de la comunidad académica, con los servicios del sistema
Promover una cultura de autocontrol que conduzca a una mayor eficiencia y
transparencia en la gestión de las Instituciones de Educación Superior
Sistema de Calidad de la
Educación Superior
SNIES. Sistema
Nacional de
Información de la
Educación Superior
Formulación de
políticas
públicas
Normas y procesos
de calidad
Fomento
Investigación
científica para el
mejoramiento
continuo
Verificación del
cumplimiento de
normas
SACES. Sistema de
Aseguramiento de la
Calidad de la Educación
Superior
Aseguramiento de la calidad
Evaluación
Operación del
modelo
Evaluación
• Registro calificado
• Planes de mejoramiento
Reconocimiento a la excelencia
• Verificación de condiciones
• Acreditación de calidad
Fomento
Evaluación
Inspección y Vigilancia
I ES
Fomento
SPADIES. Sistema de
Prevención y Atención
de la Deserción de la
Educación Superior
OLE. Observatorio
Laboral de la Educación
Evaluación en el Sistema de Calidad de la Educación Superior
Antecedentes Normativos
Actualización legislativa de la evaluación externa.
• Normatividad
Ley 1188 de 2008
Condiciones generales de calidad
Decreto reglamentario 1295 de 2010
Características específicas de calidad
Ley 1324 de 2009
Cambia la naturaleza jurídica las funciones del
ICFES
Regula los Exámenes de Estado
Decreto 3963 de 2009
Reglamenta las pruebas de estado de la
educación superior
Evaluación en el Sistema de Calidad de la Educación Superior
Estudiantes
• Saber 11º
• Saber Pro
Docentes
IES y Programas
• Uso efectivo de
los resultados de
la evaluación
docente como
insumo para el
mejoramiento de
la calidad
• Seguimiento a las
condiciones de
oferta de
programas
• Seguimiento a la
permanencia
(SPADIES)
• Atención integral
al estudiante
Egresados
• Vinculación al
mercado laboral
(Observatorio
Laboral para la
Educación)
Evaluación de Estudiantes en el Sistema de Calidad de la Educación
Superior
• Pruebas Saber Pro
Objetivos de SABER PRO (Decreto 3963 de 2009)
Servir de fuente de información para la construcción de
indicadores de evaluación de la calidad de los programas e
instituciones de educación superior y del servicio público
educativo, que soporten la cualificación de los procesos
institucionales, la formulación de políticas y el proceso de toma
de decisiones en todos los órdenes y componentes del sistema
educativo.
Comprobar el grado de desarrollo de las competencias de los
estudiantes próximos a culminar los programas que ofrecen las
instituciones de educación superior de tal manera que sirva
como insumo para el mejoramiento continuo.
Producir indicadores de valor agregado de la educación
superior en relación con el nivel de competencias de quienes
ingresan a este nivel.
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco Legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Número de programas evaluados, 2004 - 2008
38
50
54
55
55
Total de estudiantes evaluados por área del
conocimiento, 2004 - 2008
Puntajes promedio ECAES, 2004 - 2008
Puntaje ECAES, 2008
Diferencias Oficial – Privado
Participación por ECAES
Lic Matematicas
Lic Frances
Fonoaudiologia
Nutricion Y Diet.
Optometria
Terapia Ocup.
I. Agricola
I. Petroleos
I. Forestal
I. Agroindustrial
Téc. Electrónica
Quimica
Fisica
Matematicas
Geologia
Total
% del Total
Estudiantes
Total
2.008
946
260
669
125
1.271
243
1.142
271
1.040
242
800
178
514
105
1.067
261
547
127
1.034
201
787
200
1.150
271
458
100
411
84
467
72
12.303
2.740
3%
3%
IES
2.008
19
4
12
6
7
9
5
4
5
11
9
12
7
11
4
Derecho
Administracion
Contaduria
I. Industrial
I. Sistemas
Total
% del Total
Estudiantes
Total
2.008
42.576
8.267
58.509
10.363
32.742
5.677
21.483
4.105
28.834
4.261
184.144
32.673
44%
39%
IES
2.008
80
132
87
62
97
5 ECAES concentraban el
44% de los evaluados,
mientras 15 representaban
tan sólo el 3%.
Limitaciones de los ECAES (2004 – 2008)
Los resultados producidos presentan las siguientes dificultades para
construir indicadores que apoyen la toma de decisiones sobre calidad en
Educación Superior:
Sesgo por no presentación del examen de una parte importante de la
población (cerca del 25% entre individuales y programas enteros).
Imposibilidad para comparar las medidas entre programas: los
exámenes evalúan cosas distintas en poblaciones distintas. Ni los
promedios, ni las distribuciones, ni las variaciones son comparables.
Posibilidades restringidas de uso para la toma de decisiones en los
niveles altos de la administración del sistema (por encima de programa:
facultades, rectorías, MEN, público en general) debido a la atomización
de resultados.
Limitaciones de los ECAES (2004 – 2008)
Posibilidades restringidas de interpretación pedagógica de los
resultados de los exámenes particulares. No se asocian a los puntajes
descripciones pedagógicas sobre qué pueden hacer los estudiantes y
qué les falta.
Con excepción de Inglés y de una evaluación limitada de Comprensión
Lectora, no se da cuenta del desarrollo de competencias transversales,
requeridas para cualquier profesional.
Orientación a la producción de resultados brutos, no medidas de valor
agregado. Los mejores puntajes corresponden sistemáticamente a las
instituciones con procesos de selección más estrictos.
Problemas técnicos que afectan la calidad de las mediciones debidos a
los tamaños demasiado pequeños de las poblaciones que se evalúan
con algunos de ellos.
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco Legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Marco legal – Decreto 3963 de 2009
Competencias a evaluar
Se deben evaluar las competencias de los estudiantes que están próximos a
culminar los distintos programas de pregrado, en la medida en que puedan
ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas
genéricas que son necesarias para el adecuado desempeño profesional o
académico independientemente del programa que hayan cursado.
Las competencias específicas serán definidas por el MEN con la participación
de la comunidad académica, profesional y del sector productivo, teniendo en
cuenta los elementos disciplinares fundamentales de la formación superior
que son comunes a grupos de programas en una o más áreas del
conocimiento.
Los exámenes estandarizados no pretenden ser la medida de la calidad de la
formación impartida.
Marco legal – Decreto 3963 de 2009
Nuevas reglas
Obligatoriedad de los exámenes de Estado (de Media y Superior),
para ingresar al pregrado y obtener el título
Adopción de estructuras de examen e indicadores comparables
por períodos no menores a 12 años
Establecimiento de un periodo de transición para la adopción
gradual de las nuevas estructuras. Durante este periodo se
elaborarán y validarán las nuevas evaluaciones.
Competencias del MEN y del ICFES
MINISTERIO DE EDUCACIÓN
ICFES
Establece los propósitos de la
evaluación, sus efectos y, a través
de las resoluciones, qué debe
evaluarse:
Diseña y construye las pruebas, las
aplica y produce reportes de
resultados (individuales y
agregados):
Competencias genéricas
Competencias comunes
Competencias específicas
Instrumentos (módulos)
Resultados por grupos de
referencia
En cooperación con:
Comunidad académica
Sector productivo
Resoluciones de características específicas definidas por competencias
Área
Apoyo
Proyectos de resolución para evaluación por CONACES
Derecho
ACOFADE
Arquitectura
ACFA
Economía
AFADECO
Ingeniería
ACOFI
Psicología
ASCOFAPSI
Administración
ASCOLFA
30 de agosto. Presentación propuesta por parte de entidades de apoyo
Salud
Alianza de Salud
Comunicación
AFACOM
Veterinaria y Agrarias
ASFAMEVEZ y ACOFIA
Contaduría
REDFACONT
Ciencias Naturales
ACOFACIEN
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco Legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Propósito de los nuevos exámenes
Apoyar el Sistema de Aseguramiento de la Calidad de la
Educación Superior con mejor información para la toma de
decisiones.
Evaluar todo el sistema de ES
Garantizar la utilidad de los indicadores
Garantizar la confiabilidad y la continuidad
Garantizar interpretación pedagógica
Propósito de los nuevos exámenes
Evaluar todo el sistema de ES
La Ley 1324 hizo obligatorio el presentarse al examen
para obtener el título. Con esta medida se logró
corregir el sesgo enorme que producía la no
presentación del examen por parte de estudiantes y
programas enteros.
El nuevo esquema de evaluación debe permitir evaluar
a la totalidad de la población de ES.
Propósito de los nuevos exámenes
Garantizar la utilidad de los indicadores
Los indicadores producidos deben apoyar la toma de decisiones
de los distintos niveles del sistema de educación y de otros
grupos de interés: deben permitir hacer comparaciones y
establecer referentes para diversas agrupaciones.
Se deben evaluar elementos comunes para distintos tipos de
formación.
Para poder identificar experiencias exitosas de formación en ES
no basta con medir resultados de salida de los estudiantes. Es
necesario tener una medida de variación entre la entrada y la
salida, una medida de valor agregado.
Propósito de los nuevos exámenes
Garantizar la confiabilidad y la continuidad de los indicadores
Se deben garantizar las condiciones técnicas de evaluación en
exámenes estandarizados, en particular, respetar los tamaños
mínimos de grupos evaluados.
La evaluación se debe enfocar en los elementos fundamentales
que no son susceptibles de variar en el corto plazo.
La evaluación de elementos altamente específicos y variables
debe desarrollarse en las instituciones de ES.
Propósito de los nuevos exámenes
Garantizar interpretación pedagógica
Para que la evaluación produzca una información rica en
términos cualitativos, que permita orientar las decisiones
pedagógicas, es necesario identificar niveles y elaborar
interpretaciones de los rendimientos que los caracterizan.
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Estructura de los exámenes
Los exámenes SABER PRO se estructuran por módulos
(componentes combinables ) de evaluación de dos tipos de
competencias:
1. Competencias genéricas
2. Competencias específicas comunes a grupos de programas
Algunos módulos de competencias genéricas se incorporarán
también a SABER 11º para producir medidas de valor agregado.
Módulos de Competencias Genéricas
Lectura Crítica
Razonamiento Cuantitativo
Cultura Ciudadana y Entendimiento del Entorno
Redacción
Inglés
Todas las personas que presenten el examen deberán
tomar estas pruebas comunes.
Módulos de Competencias Genéricas
Lectura Crítica: desempeños asociados a Lectura, Pensamiento
Crítico y Entendimiento Interpersonal
Leer analítica y reflexivamente.
Comprender los planteamientos expuestos en un texto e
identificar sus perspectivas y juicios de valor.
Identificar y recuperar información presente en uno o varios
textos, construir su sentido global, establecer relaciones
entre enunciados y evaluar intencionalidad.
Se evaluará también en SABER 11º.
Módulos de Competencias Genéricas
Razonamiento Cuantitativo: desempeños relacionados con
Uso Lenguaje Cuantitativo y Solución de Problemas.
Comprensión de conceptos básicos de las matemáticas para
analizar, modelar y resolver problemas, aplicando métodos y
procedimientos cuantitativos y esquemáticos.
Interpretación de datos, la formulación de problemas y la
ejecución, evaluación y validación de procedimientos y
estrategias.
Se evaluará también en SABER 11º.
Módulos de Competencias Genéricas
Competencias Ciudadanas y Entendimiento del Entorno
Reconocer y valorar la diversidad cultural y los derechos
individuales y colectivos.
Entender, en el contexto nacional y global, los grandes
problemas sociales, económicos, políticos y ambientales
contemporáneos.
Identificar dilemas éticos en situaciones concretas.
En desarrollo
Módulos de Competencias Genéricas
Escritura
Comunicar ideas por escrito referidas a un tema dado. Los
escritos se califican teniendo en cuenta los siguientes
criterios:
Elaboración de la intención y el propósito.
Claridad de la estructura y la organización.
Manejo del lenguaje y las convenciones.
Módulos de Competencias Genéricas
Inglés
Comunicarse efectivamente en inglés.
Permiten clasificar a los evaluados en cuatro categorías de
desempeño, según las bandas del Marco Común Europeo.
Se evalúa en SABER 11º.
Módulos de Competencias Específicas comunes de grupos
de programas
Cada módulo evalúa un saber hacer complejo en contexto que se
define con base en las competencias fundamentales de grupos de
programas o áreas de conocimiento.
Se refieren a problemas que son comunes a distintos programas,
más que a contenidos curriculares específicos.
Corresponden a una definición de cada formación, no de forma
aislada, sino a partir de sus interacciones y sus elementos comunes
con las demás.
Se usan para evaluar estudiantes de distintos programas, incluso de
distintas áreas del conocimiento.
Módulos de competencias comunes
Ejemplos:
Diseño en ingeniería
Indagación
Investigación en ciencias sociales
Salud pública
Gestión de recursos
El Ministerio determinará, a partir de 2012, para cada programa, los
módulos que serán obligatorios para sus estudiantes, con base en lo
establecido en las resoluciones de características mínimas.
De acuerdo con su orientación propia, cada programa podrá
seleccionar módulos adicionales (sujeto a limitaciones de tamaño de
estos) en los que evaluar a sus estudiantes.
Producción de resultados
No se pretende que los estudiantes de todas las formaciones desarrollen a un
mismo nivel las competencias genéricas, ni aún las comunes a grupos de
programas.
Entregar solo un puntaje o un promedio no es informativo, es preciso ubicarlo con
respecto a una referencia.
Para que la referencia tenga sentido, es preciso conformar grupos de referencia.
Se deben definir niveles de desempeño para los módulos.
GRUPOS DE REFERENCIA
Agrupación de programas con características similares entre los que se
compararán los resultados de la evaluación.
Los grupos de referencia se definieron según la clasificación de programas del
Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio
de Educación Nacional y la Clasificación Internacional Normalizada de la
Educación (CINE) de la Unesco.
Se han conformado 30 grupos de referencia según nivel de formación:
14 de nivel universitario
6 de nivel tecnológico
6 de nivel técnico
2 para niveles técnicos y tecnólogos
1 para todos los niveles
1 para el ciclo de normalistas superiores
Presentación de resultados
Se entregarán resultados por módulo.
No habrá un puntaje total del examen.
RESULTADOS INDIVIDUALES – por módulo
Puntaje
Nivel de desempeño
Promedio de puntajes en el grupo de referencia
Desviación estándar de puntajes del grupo de referencia
RESULTADOS INSTITUCIONALES – por módulo
Resultados individuales (de sus estudiantes)
Distribución por niveles de desempeño (público)
Promedios de puntajes en relación con los promedios y desviaciones del
grupo de referencia y el total nacional (público)
Grupos de referencia
Número de programas por nivel clasificados en cada grupo de referencia
Administración y turismo
Técnico
Tecnológico
2.568
905
1.663
Arquitectura y urbanismo
Universitario
Artes – diseño - comunicación
Técnico
160
160
850
405
Tecnológico
Bellas artes y diseño
Universitario
Ciencias agropecuarias
445
388
388
814
Técnico
Tecnológico
Universitario
169
393
252
Ciencias económicas y administrativas
Universitario
2.160
2.160
Ciencias militares y navales
Universitario
Ciencias naturales y exactas
Universitario
13
13
346
346
Ciencias sociales
Universitario
Comunicación, periodismo y publicidad
Universitario
633
633
345
345
Derecho
Universitario
416
416
Educación
Universitario
2.194
2.194
Grupos de referencia
Número de programas por nivel clasificados en cada grupo de referencia
Humanidades
Universitario
222
222
Ingeniería
Universitario
Ingeniería, industria y minas
Técnico
2.384
2.384
1.431
387
Tecnológico
Judicial
No universitario
Medicina
1.044
168
168
151
Universitario
Militar y policial
151
26
No universitario
Normales superiores
26
492
Recreación y deportes
Todas
Salud
Técnico
Tecnológico
Universitario
TIC
Técnico
Tecnológico
TOTAL GENERAL
120
120
916
127
226
563
1.026
293
733
17.823
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Transición ECAES
– SABER PRO
Transición ECAES – SABER PRO
El proceso…
Se ha realizado un proceso participativo en la elaboración y validación de
módulos y en la construcción de preguntas:
Participación de más de 30 Asociaciones de Facultades, Redes y Programas.
Más de 60 talleres, grupos focales y sesiones de discusión para la
elaboración de módulos y validación de especificaciones.
Más de 50 sesiones de validación de especificaciones de módulos cubriendo
todas las regiones del país y en las ciudades principales en donde tienen
sede los diferentes programas.
Participación de más de 500 docentes de Instituciones de Educación
Superior en todas las fases del proceso de diseño de módulos.
Plan de la presentación
El sistema de calidad de la Educación Superior
Aprendizajes de los ECAES (2004 – 2008)
Marco legal de la transformación de los Exámenes de Estado de la Educación
Superior
Decreto 3963
Periodo de transición
Resoluciones de características mínimas
Propósitos de los nuevos exámenes
Los nuevos exámenes de ES: SABER PRO
Módulos
Competencias Genéricas
Competencias Comunes a Grupos de Programas
Producción de resultados: Grupos de Referencia
Transición ECAES – SABER PRO
Cómo se construye
Avance
Evaluación Noviembre 2011
Combinaciones de módulos
Aplicación de noviembre 2011
Mañana
Competencias
Genéricas
•Lectura Crítica
•Razonamiento
Cuantitativo
•Inglés
•Escritura
Tarde
Competencias
Específicas
• Cada programa establece,
según su grupo de
referencia, en cuál de las 50
combinaciones de módulos
de competencias comunes
son evaluados sus
estudiantes.
Módulos para el examen SABER PRO de Noviembre de 2011
Se ha logrado consolidar 20 módulos de competencias específicas
comunes a grupos de programas. No se pretende que todos los
programas de una misma área tomen los mismos módulos.
La oferta de exámenes para noviembre se estructuró en 50
combinaciones de módulos.
Se han definido diferentes combinaciones de módulos para cada
grupo de referencia.
Cada programa seleccionará aquella que sea más afín con su perfil de
formación, entre las que se ofrezcan para su grupo de referencia.
18
19
MÓDULOS
Administración y gestión de la salud
Comunicación Científica
Desarrollo e implementación de estrategias comerciales y
logísticas
Diseño de ingeniería
Ensamblaje, mantenimiento y operación de maquinaria y
equipos
Enseñar
Ética y bioética
Evaluar
Formar
Formulación de proyectos de Ingeniería
Gestión de proyectos
Indagación
Indagación y modelación
Investigación en Sociales y Humanidades
Módulos específicos de Derecho
Producción agrícola
Producción pecuaria
Producción sostenible y manejo de sistemas de producción
agropecuario
Salud pública
20
Salud y Bienestar Animal
1
2
3
4
Competencias
Específicas
Comunes
5
6
7
8
9
10
11
12
13
14
15
16
17
Muchas Gracias!
Resultados de noviembre 2011
Se entregarán resultados por módulo.
No habrá un puntaje total del examen.
Se reportarán Quintiles de puntaje en lugar de niveles de desempeño.
Los resultados institucionales no serán públicos, se entregarán individualmente a
cada universidad.
Para permitir la investigación con resultados, estos se publicarán sin identificar a
las instituciones.
RESULTADOS INDIVIDUALES – por módulo
Puntaje
Quintil dentro del grupo de referencia
Promedio de puntajes en el grupo de referencia
Desviación estándar de puntajes del grupo de referencia
RESULTADOS INSTITUCIONALES – por módulo
Resultados individuales (de sus estudiantes)
Distribución por quintiles dentro del grupo de referencia (NO PÚBLICO)
Promedios de puntajes en relación con los promedios y desviaciones del
grupo de referencia y el total nacional (NO PÚBLICO)