Transcript el examen CELU. Experiencia y perspectivas de desarrollo

14 y 15 de noviembre 2013
USAL
Impacto de la evaluación : el examen CELU
Experiencia y perspectivas de desarrollo
Alejandra Elichabe
Laboratorio de Idiomas Facultad de FFyL UBA
Consorcio Interuniversitario ELSE
Bachman (2004) “proceso de recolección de información
acerca de algo que nos interesa, de acuerdo con
procedimientos que son sistemáticos y tienen
fundamentos sólidos”
Mc Namara (2008) “intento de llegar a una conclusión
acerca del conocimiento que tiene una persona sobre
una lengua o de lo que puede hacer con ella.”


Evaluación externa que trata de establecer el
nivel de dominio lingüístico de un candidato
por medio de una prueba.
Interés por los resultados con independencia
del proceso de enseñanza-aprendizaje

Fulcher (2010)
“Los exámenes de lengua son un
fenómeno social complejo”
Contextos:
la educación,
el empleo,
la movilidad internacional,
la planificación educativa ,
la política económica.
Controversias/ efectos perjudiciales:
¿filtro para la inmigración?
¿cupo para empleos o becas?
¿igualdad de oportunidades o acento de diferencias?
¿integración a una comunidad o aislamiento?



El impacto de la evaluación (intencional o no intencional)
está incluído en la validez?
A favor: los exámenes cuyo propósito incluye la intención de
producir cambios en el contexto de enseñanza aprendizaje deben
ser evaluados en relación al cumplimiento de esos objetivos.
En contra: las consecuencias sociales presuponen
consideraciones políticas que están fuera del control de los
administradores y elaboradores.

Administradores y Evaluadores:

principios éticos



códigos de práctica profesional para diseñar exámenes:
especificaciones, piloteo el examen, validación la prueba,
operacionalización del instrumento de evaluación
Consequential validity (Messick, 1989,1996) impacto de la
evaluación en contextos educativos
(Fulcher and Davidson, 2007) effect-driven testing.
“La ética en el desarrollo de instrumentos de evaluación incluye las consideraciones
acerca del efecto que el test intenta alcanzar y , en consecuencia, el desarrollo de
un examen que permita alcanzar el efecto deseado.”

Shohamy:(2001) desarrolla el concepto de la evaluación crítica de lenguas
extranjeras (CLT) Los administradores deben hacerse responsables de que los
exámenes sean usados en forma adecuada.
IMPACTO POSITIVO



1.Cumplimiento de los
programas
2. Motivación de los
estudiantes y profesores.
3. Nuevas metodologías
de enseñanza
/aprendizaje.
IMPACTO NEGATIVO



1. Ajuste de programas en
función del examen
“enseñar para aprobar”
2. Angustia y ansiedad de
profesores y estudiantes.
3. Escasas posibilidades
de enseñanza/
aprendizaje de saberes
significativos.
IMPACTO POSITIVO

Tests de alta relevancia
: “high-stakes“
producen cambios en
el contexto educativo y
social . Nuevos
objetivos y
metodologías de
enseñanza
aprendizaje. Nuevos
materiales y
programas
IMPACTO NEGATIVO
Tests de alta relevancia :
“high-stakes“
 Mayor control del
sistema educativo
 “Accountability”
saciones o
recompensas para
escuelas y profesores
 Propósitos del proyecto en 2001
1
Certificación de dominio de español
2
Expansión académica del área de ELSE.
3
Integración y cooperación académica regional





Examen de desempeño: un buen examen
tiene mayores posibilidades de producir
efecto retroactivo positivo:
Redireccionando las prácticas de
enseñanza/aprendizaje.
Redefiniendo objetivos, contenidos o
habilidades y competencias
Mecanismo potente para la implementación
de políticas públicas y educativas.
Sin embargo...
Messick (1989)Alderson (2004) Necesidad de
“wash back design” para mejorar los aspectos
que pueden producir efectos perjudiciales.




Krsul (2005) Para una validación concurrente del examen CELU
Compara los resultados de 38 candidatos que rindieron el examen CELU
2004 con su desempeño en cursos de niveles del Laboratorio de la UBA y
en exámenes de dominio de CEB/ CEI/ CEA. El estudio evidencia una
fuerte correlación en el resultado.
Cabrera (2005) investiga la coherencia interna del examen CELU 2004. El
objetivo fue verificar el grado de correlación de las calificaciones que reciben
cada una de las partes del CELU entre sí y con las demás, incluida la
calificación final. Se midió la asociación entre el nivel de cada actividad, su
puntaje y el nivel final.
Conclusiones: existe una coherencia muy importante de la Sección Escrita del
CELU y una razonable dependencia del nivel final respecto de cada una de las
actividades. Los resultados evidencian una importante correlación entre los
puntajes. También se correlacionaron los niveles finales del oral, del escrito
con la calificación final resultando una fuerte asociación entre los dos niveles
parciales (0.63) una alta correspondencia entre el nivel Oral y el nivel final
(0.73) y una correlación casi perfecta entre el nivel escrito y el nivel final
(0.94)



Krsul (2007) La validez de imagen del examen CELU. Investigación
sobre la validez aparente del CELU 206, 207, a partir de las encuestas a
candidatos. Los resultados revelan que, en general, los candidatos
expresan un grado de satisfacción significativo al responder a las
preguntas relativas a la dificultad del examen, el tiempo asignado para la
realización de las tareas y la especificidad de las consignas.
Lanzoni,María Laura y López Camelo, Claudia; Exámenes de
desempeño en L2: incidencia de las divergencias en la corrección.
Adjudican las divergencia intra evaluadores a dificultades en la
interpretación de la grilla, ya que, a veces se justifica la asignación de
niveles diferentes utilizando los mismos argumentos, tomados de los
descriptores.
Furlan, 2013 Estudio sobre confiabilidad inter e intra correctores.
Análisis del porcentaje de coincidencias que tuvo cada evaluador al asignar
nivel por segunda vez, así como en el estudio de las posibles causas de las
discrepancias. El estudio revela una alta confiabilidad inter evaluador y
concluye que la mayoría de las discrepancias están dadas entre niveles que
son próximos, lo que puede atribuirse a una redacción poco precisa de los
descriptores y a interpretación de los mismos por parte de los evaluadores.
La investigación muestra también una oscilación en la fiabilidad interna de
los evaluadores que puede adjudicarse a la interpretación de los
descriptotes.


Furlan, 2013 Análisis de la validez aparente del examen
CELU a partir del análisis de 504 encuestas respondidas por
los candidatos de los exámenes CELU 111, CELU 211 Y CELU
112
El estudio realizado revela que la consideración de los
candidatos sobre los tres exámenes con respecto a dificultad,
tiempo, claridad de las consignas y relación de las actividades
con la vida real es, en general, muy positiva, con porcentajes
que superan el 60 por ciento. Se observa especialmente un
elevado porcentaje en el ítem relativo a la claridad de las
consignas, superior al 80 por ciento, lo que indica un trabajo
riguroso del comité de redacción del examen.





Otras fuerzas sociales y políticas para
potencializar efectos positivos:
Políticas lingüísticas que respondan a la
demanda de hablantes.
Basadas en la reciprocidad y cooperación
regional.
Estrategias de implementación a través de
las universidades nacionales que puedan
transformar las demandas en respuestas
Formación de profesores
◦ incorporar nuevas Universidades y otras instituciones
adherentes al proyecto de difusión, enseñanza,
investigación, evaluación y certificación del español;
◦ crear el área de la especialidad con investigadores y
docentes universitarios, y asegurar su capacitación y
actualización continua;
◦ promover el desarrollo de la lingüística en su relación
con la enseñanza y evaluación de la lengua;
◦ estimular la investigación y el desarrollo de la
enseñanza y evaluación del español como lengua
segunda y extranjera;
◦ diseñar y crear cursos de español como lengua
segunda y extranjera y facilitar la publicación de
materiales para ELSE.






De Consorcio Interuniversitario para la Evaluación de Conocimiento y Uso del
Español como Lengua Extranjera a Consorcio ELSE frente a ELE,
enfatiza el acento puesto en la segunda lengua.
Considera, además de un destinatario “extranjero” (no definido y
homogéneo en sus necesidades de aprendizaje),un destinatario
alóglota y cercano (hablantes indígenas, migrantes, turistas, refugiados,
brasileños) para quien se diseña una enseñanza de segunda lengua
(Widdowson 1973)
a)En la que los aspectos pragmáticos se encuentran anclados en
presentaciones y explicaciones culturales, nacionales y regionales,
que evitan el estereotipo.
b) Contempla las diferentes distancias lingüísticas del hablante
descripto en el punto anterior.
c) Se basa en el uso lingüístico más que en la descripción y práctica de
reglas. (PICT: ESTÁNDARES PARA LA ENSEÑANZA DE ELSE 2007)


,
La
denominación actual del Consorcio es:
CONSORCIO
INTERUNIVERSITARIO PARA LA
ENSEÑANZA, EVALUACIÓN Y CERTIFICACIÓN DEL
ESPAÑOL COMO LENGUA SEGUNDA y EXTRANJERA
(ELSE)
y tiene entre sus propósitos:
promover la investigación, enseñanza, aprendizaje,
evaluación, certificación, post-formación de
docentes y especialistas, el diseño y publicación de
materiales y otras actividades relacionadas con el
Español como Lengua Segunda y Extranjera.

Universidad de BUENOS AIRES
Universidad Nacional de LANÚS
Universidad Nacional de CATAMARCA
Universidad Nacional del LITORAL
Universidad Nacional del CENTRO
Universidad Nacional de LOMAS DE ZAMORA
Universidad Nacional del COMAHUE
Universidad Nacional de MAR DEL PLATA
Universidad Nacional de CÓRDOBA
Universidad Nacional de MISIONES
Universidad Nacional de CUYO
Universidad Nacional de MORENO
Universidad Nacional de ENTRE RÍOS
Universidad Nacional del NORDESTE
Universidad Nacional de GENERAL SAN MARTÍN
Universidad Nacional del NOROESTE de BS. AS.
Universidad Nacional de GENERAL SARMIENTO
Universidad Nacional de QUILMES
Universidad Nacional de JUJUY
Universidad Nacional de RÍO CUARTO
Universidad Nacional de LA MATANZA
Universidad Nacional de RÍO NEGRO
Universidad Nacional de LA PAMPA
Universidad Nacional de SALTA
Universidad Nacional de la PATAGONIA AUSTRAL
Universidad Nacional de SAN JUAN
Universidad Nacional de la PATAGONIA SAN JUAN
BOSCO
Universidad Nacional de SAN LUIS
Universidad Nacional de LA PLATA
Universidad Nacional de LA RIOJA
Universidad Nacional del SUR
Universidad Nacional de TRES DE FEBRERO
Universidad Nacional de TUCUMÁN
Universidad Nacional de VILLA MARÍA
Regionalización
Seis Prosecretarías, con Universidades agrupadas según
criterios regionales y/o grado de desarrollo en ELSE o
antigüedad en el Consorcio.
1.
Capacitación/formación continua para profesores de ELSE.
2.
Capacitación/formación continua para redactores y evaluadores
CELU.
3.
Cursos de español para extranjeros.
4.
Investigación.
5.
Incorporación de nuevas sedes para la toma del CELU.
6.
Desarrollo de sitio web con recursos para el aula de ELSE.
7.
Diseño de un certificado de español inicial.
2006 1era Jornada CELPE Bras – CELU en UNICamp
Objetivo:
Discutir los sistemas de evaluación Celpe-Bras y CELU y experiencias de
enseñanza de portugués y español como lenguas segundas y extranjeras (PELSE)
con el propósito de establecer prioridades conjuntas, en especial los avances
sobre temas debatidos en esas oportunidades

1. Uso de los exámenes como parámetros de referencia para delimitar objetivos de
enseñanza;
2. Relación de los exámenes con acciones de políticas lingüísticas más amplias, inclusive
las que se desarrollan en contextos multilingües
3. Relación de los exámenes con la enseñanza y la investigación del portugués y del
español como lenguas maternas.
4. Efectos retroactivos de los exámenes








Proyecto 2013-2014
10 y 11 de octubre de 2013 reunión entre representantes del Consorcio
Iteruniversitario ELSE, el INEP (Instituto Nacional de Estudos e Pesquisas
Educacionais) del Ministerio de Educación del Brasil, responsables de los
exàmenes CELU y Celpe-Bras en el Instituto de Estudios del Lenguaje de
la Universidad Estadual de Campinas (UNICAMP)).
Objetivos:
fortalecer el vínculo académico
promover investigaciones y reflexiones en torno a temas de interés
común
presentar las características de ambos exámenes y sus sistemas de
corrección
Intercambiar experiencias sobre la gestión de sedes, la capacitación y
acreditación de evaluadores
Comparar los exámenes y analizar sus niveles
Generar un marco de referencia común de niveles de dominio para
ser utilizado en América del Sur, estableciendo descripciones y
definiciones precisas sobre los niveles de competencia requeridos que
sirvan de base para la región en un contexto de creciente movilidad e
internacionalización.
Partir de diagnósticos y de objetivos claros.
Cuestiones básicas:

1. ¿A quién estaría dirigido un marco regional? Al trabajo en el aula, a la
industria editorial, a las universidades, al sistema educativo general de cada
país, al sistema educativo del Mercosur?
 ¿Cuáles serían los objetivos políticos y las bases ideológicas de un marco
regional?
 ¿Cuál sería su utilidad como modelo de aplicación práctica? ¿Sería un modelo
para guiar el trabajo hacia un cierto resultado (i.e. un modelo de acción o de
construcción), un modelo de estimación (un documento que permita estimar
qué es lo que va a pasar en la enseñanza de lenguas y en las propiedades del
español y del portugués ante determinadas situaciones posibles) o no sería
un modelo en absoluto sino un "reglamento de uso o de enseñanza del
español y del portugués" ?
 ¿Quiénes serían los productores y los ejecutores del marco? ¿A quién
representa? ¿Qué ideología transmite?
 ¿Quiénes lo pondrían en funcionamiento? ¿Cómo podríamos medir su éxito o
su fracaso? (Menegotto 2013)
¡Muchas gracias!
[email protected]