Transcript El marco PISA para la evaluación lingüística Eduardo Vidal-Abarca

El marco PISA para la
evaluación lingüística
Eduardo Vidal-Abarca
Catedrático Universidad de Valencia
Miembro del Grupo de Expertos de PISA-Lectura
Contenidos

PISA: Una visión general
 PISA-Lectura
 TCL-PISA
 De la evaluación al currículum
PISA
Una visión general
Mapa de PISA
Países
OCDE
Países fuera OCDE en PISA
Países fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA
DEL MUNDO
2006
Evolución de PISA
Países
OCDE
Países fuera OCDE
en PISA 2006
80
70
Países fuera OCDE en
PISA 2006 Y PARA
TAPAR EL MAPA DEL
MUNDO
N Países
60
50
40
30
20
10
0
2000
2003
2006
2009
La evaluación de PISA
Competencias complejas
 Lectura, Matemáticas, Ciencias
 Evaluadas cada 3 años

2000 Lectura, Matemáticas, Ciencias
 2003 Lectura, Matemáticas, Ciencias
 2006 Lectura, Matemáticas, Ciencias
 2009 Lectura, Matemáticas, Ciencias


Recomendaciones de política educativa
Tipos de evaluación
Evaluación
Sistemas
(Calidad del sistema,
política educativa)
Individuos
(Clasificar, intervenir)
En común:
 Definir un campo de evaluación
 Diseñar tareas representativas (modelos teóricos, currículum)
 Graduar tareas por dificultad
 Desarrollar instrumentos de medida (fiabilidad, validez, etc)
Tipos de evaluación
Evaluación
Sistemas
(Calidad del sistema,
política educativa)
Individuos
(Clasificar, intervenir)
Diferencias:
 Muestras vs. Totalidades
 Cantidad de ítems de las pruebas
 Uso de los datos
PISA: Lectura
Evaluación de sistemas: PISA
Marco internacional de evaluación
Consenso (definición, marco, medidas)
Conexión: políticas públicas – evaluación - investigación
Evaluar capacidades lectoras:
Más allá de lo escolar (Curriculum vs. Capacidades)
Ampliar lo textual (desarrollo personal y social)
Conectar con procesos (investigación cognitiva)
La competencia en lectura se define como comprender, usar y
reflexionar sobre textos escritos a fin de lograr metas personales,
desarrollar el conocimiento y las potencialidades personales, y
participar en la sociedad
Organización de PISA Lectura
Situaciones: ¿En qué situaciones se lee?
 Textos: ¿Qué textos se leen?
 Aspectos (tareas): ¿En qué tareas hay que

ser un competente lector?
Situaciones

Publicas (38 %) – participar en la sociedad


Educativas (28%) - información y conocimiento


Libros de texto, enciclopedias educativas, etc
Personal (19 %) – intereses personales


Documentos oficiales, periódicos, folletos públicos, etc
Novelas, biografías, cartas, textos informativos, etc
Ocupacionales (15 %) – tareas laborales

Leer para hacer (p. ej., qué hacer en caso de …)
Textos

Continuos (64 %)






Expositivos
Narrativos
Argumentativos
Descriptivos
Instrucciones
No-continuos (36%)





Gráficos
Tablas
Diagramas
Mapas
Anuncios
Artículo
periodístico
-Público
-Continuo-Expositivo
Folleto informativo
-Ocupacional
-Continuo-Descriptivo
Figura de Enciclopedia
-Educativo
-No-Continuo - Gráfico
Informe de
resultados
-Público
-No-Continuo Tabla
Textos




Continuos
No-continuos
Mixtos
Múltiples

Medio:


Impreso
Electrónicos
2009
Aspectos (tareas)
COMPRENDER
Preguntas de
USAR
Textos escritos
REFLEXIONAR SOBRE
INTRUCCIONES:
Consulta la tabla para contestar a las preguntas siguientes
Aspectos (estructura de tareas)
LECTURA
Información en texto
Fuera del texto
Aspectos (estructura de tareas)
LECTURA
Información en texto
Partes
independientes
Fuera del texto
Relaciones en el
texto
Todo el texto Partes del texto
Aspectos (estructura de tareas)
LECTURA
Información en texto
Partes
independientes
Fuera del texto
Relaciones en el
texto
Todo el texto Partes del texto
Recuperar Comprensión Interpretar
global
Aspectos (estructura de tareas)
LECTURA
Información en texto
Partes
independientes
Relaciones en el
texto
Fuera del texto
Contenido
Estructura
Todo el texto Partes del texto
Reflexionar y Reflexionar y
Comprensión
Interpretar
Recuperar
Evaluar
Evaluar
global
Contenido
Forma
Escalas (Capacidades)
LECTURA
Información en texto
Recuperar
información
Recuperar
Fuera del texto
Interpretar
Reflexionar
Comprensión
global
Contenido
Interpretar
Forma
PROCESOS DE COMPRENSION

Comprender un texto:

Operaciones -> representación mental

Intra-texto: (ciclos)





Formar ideas
Relacionar ideas: partes, globalmente
Auto-regular
Más allá: contenidos, forma
Responder preguntas:



Comprender pregunta (Auto-regular)
Activar representación
Construir Respuesta (Auto-regular)

Decisiones (¿releer?)
OPERACIONES MENTALES
Formar ideas
Relacionar ideas:
-Elementos textuales
-Relación global
-Párrafo
-Texto
Auto-regular
REPRESENTACION FINAL
CONOCIMIENTO PREVIO + TEXTO
Representación mental
COHERENTE
Representación mental
INCOHERENTE (y errónea)
PROCESO PREGUNTA-RESPUESTA
PREGUNTA
¿Cuál de las …?
RESPUESTA
… … …… …. ..
TEXTO
Xxx xxx xx
xxx xxx xx x
xxx xxx x
xxx xx xx x
xx xx xx
Ciclos: pregunta –
(texto) - respuesta
Auto-regulación 2
CAMBIOS EN LA
REPRESENTACIÓN
Fuentes de Dificultad
Texto: longitud, complejidad, familiaridad
 Pregunta -Texto:






cantidad de información para buscar o relacionar
superposición pregunta-texto (inferencias)
información textual en competición (contexto de
ideas)
cantidad conocimiento previo para activar
(transferencia)
Formato de pregunta: seleccionar vs. producir
EJEMPLOS
EJEMPLO
EJEMPLO
Niveles de competencia (Integrar)
5
Comprensión completa y detallada del texto
4
Inferencias basadas-en-el-texto en contexto poco
familiar
3
Integrar partes del texto para entender una idea
importante
2
Identificar la idea esencial de un texto
1
Reconocer el tema esencial del texto cuando el tema
es familiar
Conclusiones
Esquema de competencias amplio pero
específico
 Más allá de lo escolar
 Tareas variadas y ajustadas a
competencias

Test (Individual) de Competencias
en Lectura para ESO (TCL)
TCL-PISA (Lápiz y papel)

Modelo PISA de Capacidades
Recuperar
 Interpretar
 Reflexionar


Objetivos:
Evaluar capacidades a comienzos de ESO
 Conectar con intervención educativa

Procedimiento de elaboración

Decidir el esquema de competencias (PISA)
 Seleccionar/Elaborar Textos



Elaborar preguntas




Pertinentes
Atractivos
Formulación clara
Dificultad variada
Criterios de corrección claros
Pruebas piloto previas
Contenido

Textos:



Preguntas (20)




Continuos 3
No continuos 2
Recuperar
Integrar
Reflexionar
Tarea:

Contestar preguntas usando información
textual
Ejemplo 1
Ejemplo 2
Accidentes de tráfico
Ejemplo 3
Variación de la
temperatura de La
Tierra (1000-2000)
Aumento de
Emisiones de CO2
(1800-2000)
El calentamiento global
Ejemplo 4
Energía nuclear
Aplicación

Muestra


603 niños y niñas de 1º, 2º, 3º ESO (204, 200, 199
alumnos respectivamente)
Control de variables demográficas y educativas
Puntuación por curso
Media
20
18
16
14
12
10
8
6
4
Diferencias significativas entre cursos
12,6
13,8
11
2
0
1 ESO
2 ESO
3 ESO
Relación TCL y Rendimiento
Ciencias: .481**
 Ciencias Sociales: .298**


Matemáticas: .223*
 Valenciano: .187*
 Lengua Española: .121
Conclusiones

Evaluación individual basada en PISA

Adecuada para niveles ESO

Base para intervención educativa

Relación variada con Rendimiento
Evaluación de competencias en centros y aulas
De la evaluación de
competencias al currículum
escolar
Enseñanza/Evaluación de
competencias en centros

¿Qué competencias enseñar/evaluar?





POCAS competencias
Competencias CLAVE
Contextos REALES
Conexión TRANSVERSAL y LONGITUDINAL
¿Qué tareas utilizar?




Alineadas con las competencias
Variadas (en dificultad y representatividad)
Con criterios de corrección claros
Amenas
Evaluación de competencias en
centros

Procedimiento para evaluación sumativa





Elaborar un esquema coherente (competencias –
situaciones – conocimientos)
Seleccionar/Elaborar materiales de evaluación a
partir del esquema y elaborar criterios de
corrección
Probar materiales (textos, preguntas, etc …):
dificultad, adecuación, facilidad de corrección
Desarrollar prueba final
Tomar criterios externos de validez
Enseñanza de competencias


Alinear enseñanza y evaluación (pero no confundir)
Enseñar a comprender:

¿Qué enseñar?






Cómo enseñar



Captar ideas
Relacionar ideas
Sintetizar
Aplicar
Reflexionar y evaluar
Guiar el aprendizaje
Atender diferencias individuales
Evaluar periódicamente
¡Gracias por la atención!