Transcript Pregunta - Institución Educativa José Acevedo y Gómez

Metodología de diseño de
especificaciones de pruebas a partir
del modelo basado en evidencias
Subdirección de Análisis y Divulgación
Medellín, febrero de 2012
El ciclo de la evaluación
MINISTERIO DE
EDUCACIÓN
NACIONAL
1.
2.
Define políticas,
propósitos y usos de
las evaluaciones, así
como los referentes
de lo que se desea
evaluar, en consulta
con los grupos de
interés.
Hace seguimiento a
estrategias y planes
de mejoramiento.
ICFES
1.
2.
Diseña, construye y
aplica las
evaluaciones, así
como analiza y
divulga los
resultados.
Identifica los
aspectos críticos.
SECRETARÍAS DE
EDUCACIÓN Y
ESTABLECIMIENTOS
EDUCATIVOS
Diseñan, implementan y
coordinan estrategias y
planes de
mejoramiento.
Para empezar…
¿Qué características debe tener
una prueba para que podamos
afirmar que es válida?
Ahora vamos a analizar
dos preguntas…
¿Qué se puede afirmar acerca
de lo que saben y saben hacer
los estudiantes en cada caso?
Pregunta 1:
Pregunta 2:
Pedro tenía algunos dulces guardados,
se comió la mitad y regaló 2. Ahora
tiene 4 dulces. ¿Cuántos dulces tenía
guardados Pedro?
A. 6
B. 8
C. 10
D. 12
Consideraciones importantes
A través de la evaluación se busca hacer
inferencias válidas sobre los conocimientos,
habilidades y capacidades de los estudiantes,
con base en un conjunto de observaciones
Una buena evaluación debe sustentarse en
instrumentos con alto grado de validez, de
modo que se pueda establecer lo que los
estudiantes saben y saben hacer
Consideraciones importantes
Validez: grado en que la evidencia empírica y la
teoría dan sustento a las interpretaciones de los
resultados de una medición:
Se mide lo que se supone que se quiere medir:
consistencia entre los instrumentos de evaluación y
sus referentes  resultados interpretables y
utilizables
Calidad de las conclusiones que se efectúan a partir
de las mediciones
Uso legítimo de las interpretaciones
Elementos claves:
Validez y confiabilidad
El propósito del diseño de las pruebas es:
Asegurar su validez: que midan lo que se supone
deben medir (alineación con estándares básicos)
Garantizar la confiabilidad: mediciones precisas
Comparabilidad
(entre grupos de referencia en un mismo momento
y en períodos de tiempo)
¿Qué es el diseño de
especificaciones basado en el
modelo de evidencias (DBE)?
Es un marco para el desarrollo de pruebas que
busca asegurar la validez mediante la alineación de
los procesos y los productos de las pruebas con los
objetivos de las mismas
Es una familia de prácticas del desarrollo de
instrumentos diseñada para aclarar lo que mide
una prueba y apoyar las inferencias hechas con
base en las evidencias derivadas de la misma
Organización en el DBE
El DBE organiza el trabajo de diseño e
implementación en términos de estratos o niveles
Cada uno de los estratos o niveles tiene
implicaciones para los otros estratos:
Estándar
Competencia
Afirmación
Evidencia
Tarea
Pregunta
Organización en el DBE
Organización en el DBE
Estrato
Estándar
Qué es
Para qué
“Uno de los parámetros de lo que
todo niño, niña y joven debe saber y
saber hacer para lograr el nivel de
calidad esperado a su paso por el
sistema educativo” (MEN, 2006, p.
9)
Guiar el diseño de currículos, planes
de estudio, proyectos escolares y el
trabajo de enseñanza en el aula
“Es un criterio claro y público que
permite juzgar si un estudiante, una
institución o el sistema educativo en
su conjunto cumplen con unas
expectativas comunes de calidad”
(MEN, 2006, p. 11)
Producción de textos escolares,
materiales y demás apoyos
educativos
Diseño de prácticas evaluativas
dentro de la institución
Criterios comunes para las
evaluaciones externas
(MEN, 2006, p. 11)
Organización en el DBE
Estrato
Qué es
“Saber hacer en situaciones
concretas que requieren la
aplicación creativa, flexible y
responsable de conocimientos,
habilidades y actitudes” (MEN,
2006, p. 12)
Competencia
Para qué
Para superar la visión tradicional de
educación que privilegiaba la
transmisión y memorización de
contenidos
Favorecer una pedagogía que
permita a los estudiantes
“Un saber hacer flexible que
comprender los conocimientos y
puede actualizarse en distintos
utilizarlos efectivamente dentro y
contextos … capacidad de usar los fuera de la escuela, de acuerdo con
conocimientos en situaciones
exigencias de los distintos contextos
distintas de aquellas en las que se
aprendieron” (MEN, 2006, p. 12)
(MEN, 2006, p. 12)
Organización en el DBE
Estrato
Qué es
Para qué
Enunciado sobre los
Comunicar el significado
conocimientos, habilidades de los resultados de una
y capacidades de los
evaluación
estudiantes que serán
evaluados
Afirmación Identifica el propósito de la
prueba atendiendo a la
pregunta: ¿qué se quiere
decir sobre los estudiantes
a partir de sus respuestas
en una evaluación?
Organización en el DBE
Estrato
Evidencia
Qué es
Enunciado que representa
conductas o productos
observables, con el que es
posible verificar los
desempeños a los que se
refieren las afirmaciones
Responde a la pregunta: ¿qué
tiene que hacer el evaluado
que permita hacer inferencias
sobre su desempeño?
Para qué
Asegurar la pertinencia de
una prueba, según sus
características o restricciones
Cada afirmación debe tener el
número de evidencias
suficiente para sustentarla
Organización en el DBE
Estrato
Tarea
Qué es
Enunciado que representa
una descripción de una
potencial familia de
preguntas. Es específico y
puede diferenciarse en su
nivel de complejidad
Se refiere a lo que se pide a
los evaluados que hagan en
una prueba
Para qué
Caracterizar la dificultad /
complejidad de las
preguntas
Dar las pautas para la
construcción de preguntas
SABER 5º y 9º: qué se evalúa
Competencias en lenguaje, matemáticas
y ciencias naturales que han
desarrollado los estudiantes hasta quinto
(primero a quinto - ciclo de básica
primaria) y hasta noveno (sexto a
noveno - ciclo de básica secundaria)
SABER 5º y 9º: competencias
evaluadas
Lenguaje
Comunicativa
(procesos de
lectura y escritura)
Matemáticas
Ciencias naturales
Razonamiento y
argumentación
Comunicación,
representación y
modelación
Planteamiento y
resolución de
problemas
Uso comprensivo
del conocimiento
científico
Explicación de
fenómenos
Indagación
SABER 5º y 9º: componentes
evaluados
Componentes: categorías conceptuales o los tópicos
propios del área o la disciplina
Lenguaje
Semántico
Sintáctico
Pragmático
Matemáticas
Numéricovariacional
Geométricométrico
Aleatorio
Ciencias naturales
Entorno vivo
Entorno físico
Ciencia, tecnología
y sociedad (CTS)
Especificaciones de las pruebas de
matemáticas de SABER 5º y 9º
Tres competencias que indagan por aspectos
conceptuales y estructurales:
Proceso
Descripción
El razonamiento y la argumentación
Relacionados con la justificación y distinción de los tipos de
razonamiento, así como con la evaluación de cadenas de argumentos
para llegar a determinadas conclusiones.
La comunicación, la representación
y la modelación
Capacidad del estudiante para expresar ideas, interpretar, representar,
usar diferentes tipos de lenguaje y describir relaciones.
El planteamiento y la resolución de
problemas
Formulación de problemas a partir de situaciones dentro y fuera de la
matemática, la capacidad de verificar e interpretar resultados a la luz de
éstos, desarrollo y aplicación de diferentes estrategias y la generalización
de las mismas para dar solución a nuevas situaciones.
Especificaciones de las pruebas de
matemáticas de SABER 5º y 9º
Componentes evaluados en matemáticas (1/2):
Componente
Numérico -variacional
Aleatorio
Descripción
Indaga por:
La comprensión de los números y la numeración, así como el significado del número y la
estructura del sistema de numeración
El significado de las operaciones, además de la comprensión de sus propiedades,
efectos y relaciones entre ellas.
El uso de los números y las operaciones en la resolución de problemas diversos
El reconocimiento de regularidades y patrones
La identificación de variables, además de la descripción de fenómenos de cambio y
dependencia.
Los conceptos y procedimientos asociados a la variación directa, la proporcionalidad, la
variación lineal en contextos aritméticos y geométricos, la variación inversa y la noción de
función.
Indaga por:
La representación, lectura e interpretación de datos en contexto
El análisis de diversas formas de representación de información numérica.
El análisis cualitativo de regularidades, tendencias y tipos de crecimiento, así como la
formulación de inferencias y argumentos a partir de medidas de tendencia central y de
dispersión.
El reconocimiento, descripción y análisis de eventos aleatorios
Especificaciones de las pruebas de
matemáticas de SABER 5º y 9º
Componentes evaluados en matemáticas (2/2):
Componente
Geométrico-métrico
Descripción
Está relacionado con la construcción y manipulación de las representaciones de
los objetos del espacio, las relaciones entre ellos y sus transformaciones.
Específicamente, tiene que ver con:
La comprensión del espacio
El desarrollo del pensamiento visual
El análisis abstracto de figuras y formas en el plano y en el espacio a través de la
observación de patrones y regularidades
El razonamiento geométrico y la solución de problemas de medición
La construcción de los conceptos de cada magnitud
La comprensión de los procesos de conservación
La estimación de magnitudes
La apreciación del rango
La selección de unidades de medida, de patrones y de instrumentos
El uso de unidades
La comprensión de los conceptos de perímetro, área y volumen
Especificaciones de las pruebas de
matemáticas de SABER 5º y 9º (1/3)
Competencia
Razonamiento
y
argumentación
Componente
Afirmaciones quinto grado
Numéricovariacional
Reconoce patrones numéricos.
Justifica propiedades y relaciones numéricas usando
ejemplos y contraejemplos.
Reconoce y genera equivalencias entre expresiones
numéricas.
Analiza relaciones de dependencia en diferentes
situaciones.
Justifica el valor posicional en el sistema de
numeración decimal en relación con el conteo
recurrente de unidades.
Reconoce patrones en secuencias numéricas.
Interpreta y usa expresiones algebraicas equivalentes.
Interpreta tendencias que se presentan en un
conjunto de variables relacionadas.
Usa representaciones y procedimientos en situaciones
de proporcionalidad directa e inversa.
Reconoce el uso de las propiedades y las relaciones de
los números reales.
Desarrolla procesos inductivos y deductivos desde el
lenguaje algebraico para verificar conjeturas acerca
de los números reales.
Compara y clasifica objetos tridimensionales y figuras
bidimensionales de acuerdo con sus componentes.
Reconoce nociones de paralelismo y perpendicularidad
en distintos contextos.
Hace conjeturas y verifica los resultados de aplicar
transformaciones a figuras en el plano.
Describe y argumenta relaciones entre perímetro y
área de diferentes figuras cuando se fija una de estas
medidas
Simboliza objetos tridimensionales a partir de
representaciones bidimensionales.
Construye y descompone figuras planas y sólidos a
partir de condiciones dadas.
Identifica y justifica relaciones de semejanza y
congruencia.
Construye argumentaciones formales y no formales
sobre propiedades y relaciones de figuras planas.
Hace conjeturas y verifica propiedades de
congruencia y semejanza entre figuras
bidimensionales.
Generaliza procedimientos de cálculo para encontrar
el área de figuras planas y el volumen de algunos
sólidos.
Utiliza técnicas y herramientas para la construcción de
figuras planas y cuerpos con medidas determinadas.
Predice y compara los resultados de aplicar
transformaciones rígidas (rotación, traslación y
reflexión) y homotecias (ampliaciones y reducciones)
sobre figuras bidimensionales en situaciones
matemáticas y en el arte.
Compara datos presentados en diferentes
representaciones.
Hace arreglos condicionados o no condicionados.
Hace conjeturas acerca de la posibilidad de ocurrencia
de eventos.
Hace conjeturas acerca de los resultados de un
experimento aleatorio usando proporcionalidad.
Predice y justifica razonamientos y conclusiones
usando información estadística.
Calcula la probabilidad de eventos simples usando
métodos diversos.
Geométricométrico
Aleatorio
Afirmaciones noveno grado
Especificaciones de las pruebas de
matemáticas de SABER 5º y 9º (2/3)
Competencia
Componente
Numéricovariacional
Comunicación,
representación
y modelación
Geométricométrico
Aleatorio
Afirmaciones quinto grado
Afirmaciones noveno grado
Reconoce los significados del número en diferentes
contextos (medición, conteo, comparación,
codificación, localización, entre otros).
Reconoce diferentes representaciones de un mismo
número.
Describe e interpreta las propiedades y relaciones
de los números y sus operaciones.
Traduce relaciones numéricas expresadas gráfica y
simbólicamente.
Identifica las características de gráficas cartesianas
en relación con la situación que representan.
Identifica expresiones numéricas y algebraicas
equivalentes.
Establece relaciones entre las propiedades de las
gráficas y las de las ecuaciones algebraicas.
Reconoce el lenguaje algebraico como forma de
representar procesos inductivos.
Describe y representa situaciones de variación
relacionando diferentes representaciones.
Diferencia atributos mensurables de los objetos y
eventos en diferentes situaciones.
Selecciona unidades estandarizadas y no
convencionales apropiadas para diferentes
mediciones.
Utiliza sistemas de coordenadas para especificar
localizaciones.
Representa y reconoce objetos tridimensionales
desde diferentes posiciones y vistas.
Identifica las características de localización de los
objetos en sistemas de representación cartesiana y
geográfica.
Reconoce y aplica transformaciones de figuras
planas.
Identifica las relaciones entre distintas unidades
utilizadas para medir cantidades de la misma
magnitud.
Diferencia los atributos mensurables de diversos
objetos.
Clasifica y organiza la presentación de datos.
Interpreta cualitativamente datos relativos a
situaciones del entorno escolar.
Representa un conjunto de datos e interpreta
representaciones gráficas de un conjunto de datos.
Hace traducciones entre diferentes
representaciones.
Expresa el grado de probabilidad de un suceso.
Interpreta y utiliza conceptos de media, mediana y
moda; y explicita sus diferencias en distribuciones
diferentes.
Compara, usa e interpreta datos que provienen de
situaciones reales y traduce entre diferentes
representaciones de un conjunto de datos.
Reconoce la posibilidad o la imposibilidad de
ocurrencia de un evento a partir de una información
dada o de un fenómeno.
Reconoce las relaciones entre un conjunto de datos
y sus representaciones.
Especificaciones de las pruebas de
matemáticas de SABER 5º y 9º (3/3)
Competencia
Componente
Afirmaciones quinto grado
Afirmaciones noveno grado
Resuelve y formula problemas aditivos de
transformación, comparación, combinación e
igualación.
Resuelve y formula problemas multiplicativos de
adición repetida, factor multiplicante, razón y
producto cartesiano.
Resuelve y formula problemas de proporcionalidad
directa e inversa.
Resuelve y formula problemas que requieren el
uso de la fracción como parte de un todo, como
cociente y como razón.
Resuelve problemas en situaciones aditivas y
multiplicativas.
Resuelve problemas que involucran potenciación,
radicación y logaritmación.
Resuelve problemas en situaciones de variación y
modela situaciones de variación con funciones
polinómicas y exponenciales en contextos
aritméticos y geométricos.
Geométricométrico
Utiliza diferentes procedimientos de cálculo para
hallar la medida de superficies y volúmenes.
Reconoce el uso de las magnitudes y de las
dimensiones de las unidades respectivas en
situaciones aditivas y multiplicativas.
Utiliza relaciones y propiedades geométricas para
resolver problemas de medición.
Usa y construye modelos geométricos para
solucionar problemas.
Resuelve problemas de medición utilizando de
manera pertinente instrumentos y unidades de
medida.
Resuelve y formula problemas a través de modelos
geométricos.
Establece y utiliza diferentes procedimientos de
cálculo para hallar medidas de superficies y
volúmenes.
Resuelve y formula problemas que requieren
técnicas de estimación.
Aleatorio
Resuelve problemas que requieren representar
datos relativos al entorno a partir de una o
diferentes representaciones.
Resuelve problemas que requieren encontrar o dar
significado al promedio de un conjunto de datos.
Resuelve situaciones que requieren calcular la
posibilidad o imposibilidad de ocurrencia de
eventos.
Usa e interpreta medidas de tendencia central
para analizar el comportamiento de un conjunto
de datos.
Resuelve y formula problemas a partir de un
conjunto de datos presentado en tablas, diagramas
circulares y de barras.
Hace inferencias a partir de un conjunto de datos.
Plantea y resuelve situaciones relativas a otras
ciencias utilizando conceptos de probabilidad.
Numéricovariacional
Planteamiento
y resolución de
problemas
Ejemplo 1: matemáticas, quinto
Competencia
Planteamiento y resolución de problemas
Componente
Numérico variacional
Afirmación
Resolver y formular problemas aditivos de
comparación, combinación e igualación
Evidencia
Resolver situaciones aditivas rutinarias de
comparación, combinación, transformación…
Tarea
Situaciones donde haya que adicionar dos o más
medidas de magnitudes para obtener un resultado
Pregunta:
Ejemplo 2: matemáticas, noveno
Competencia
Componente
Razonamiento y argumentación
Geométrico - métrico
Afirmación
Utilizar técnicas y herramientas para la
construcción de figuras planas y cuerpos con
medidas dadas
Evidencia
Pasar de una representación bidimensional
a una tridimensional
Tarea
Situaciones en las que se debe elegir de
entre varios desarrollos planos el que
corresponde a un sólido dado
Pregunta:
Ejemplo 3: matemáticas, 11º
Competencia
Comunicación, representación y modelación
Componente
Aleatorio
Afirmación
Evidencia
Tarea
Reconocer la posibilidad o imposibilidad
de ocurrencia de un evento a partir de
una información dada
Identificar la posibilidad o imposibilidad de
un evento según las condiciones del
contexto enunciado
Situaciones en contexto aleatorio donde se
presente la probabilidad de un evento y se indague
por su significado en el contexto
Pregunta:
La señora Martínez desea ganar el mercado que ofrecen como
premio. Sin embargo, no sabe a qué hora podría ir al supermercado
para tener más opción de ganarlo. ¿Qué le aconsejaría usted?
Flujo de construcción y validación de
ítems
Taller de
entrenamiento de
constructores
Selección de
constructores
Construcción
individual o en grupos
Diagramación ítem
Revisión técnica
Revisión por expertos
temáticos
Revisión de estilo
Validación
Revisión técnica
Diagramación examen
Revisión técnica
Pilotaje
Revisión diagramación
Impresión examen
Revisión impresión
Calificación
Análisis de ítems –
preguntas dudosas
Aplicación
Ventajas del DBE
Es un acercamiento proactivo al diseño y desarrollo de
pruebas válidas y comparables
Formaliza y documenta las prácticas de diseño de pruebas
Permite el diseño de nuevos tipos de pruebas que no
podrían ser creadas de manera efectiva a través de
procesos tradicionales de diseño
Facilita la elaboración de descripciones sobre lo que saben
y saben hacer los estudiantes (niveles de desempeño)
¡GRACIAS POR SU ATENCIÓN!
www.icfes.gov.co