Transcript y evalúa

MODELOS EVALUATIVOS
INFORME DELORS LA EDUCACION ENCIERRA UN TESORO, 1996
•...LA MAGNITUD DE LOS RECURSOS ASIGNADOS A LA EDUCACIÓN
JUSTIFICAN QUE PARA COMPROMETER INVERSIONES ADICIONALES
EN EL SECTOR SEA NECESARIO ESTABLECER PROCEDIMIENTOS DE
RENDICIÓN DE CUENTAS QUE SÓLO PUEDEN OBTENERSE CON
SISTEMAS DE EVALUACIÓN CONFIABLES Y PERTINENTES.
•...TODO EJERCICIO DE EVALUACIÓN ES INSTRUCTIVO DE SUYO,
PORQUE PERMITE QUE LOS ACTORES COMPRENDAN MEJOR LO QUE
ESTÁN HACIENDO, PORQUE PERMITE RESALTAR LAS INICIATIVAS
EXITOSAS Y EXPLICAR EL CONTEXTO DE SUS LOGROS, CON LO CUAL
PUEDE DIFUNDIR LA CAPACIDAD DE INNOVACIÓN.
•…LOS HALLAZGOS DE LAS EVALUACIONES CONDUCEN A
RECONSIDERAR PRIORIDADES Y LA COMPATIBILIDAD ENTRE
DESEOS Y RECURSOS.
EL BANCO MUNDIAL:
•LAS PRIORIDADES EDUCATIVAS DEBEN
DETERMINARSE CADA VEZ MÁS SOBRE LA
BASE DE ESTÁNDARES DE DESEMPEÑO O
PERFORMANCE Y DE LA MEDICIÓN DE SU
LOGRO MEDIANTE EVALUACIONES
APROPIADAS, TANTO COMO SOBRE LA
BASE DEL ANÁLISIS ECONÓMICO DE LOS
RESULTADOS EN EL MUNDO DEL TRABAJO.
PLAN DE ACCIÓN DE LA SEGUNDA CUMBRE DE LAS
AMÉRICAS, 1998:
•COMPROMETE A LOS GOBIERNOS A ESTABLECER SISTEMAS
NACIONALES, SUBNACIONALES O SUBREGIONALES PARA
EVALUAR LA CALIDAD DE LA EDUCACIÓN, MIDIENDO EL
DESEMPEÑO DE DISTINTOS ACTORES EDUCATIVOS, Y LOS
EFECTOS DE LA INTRODUCCIÓN DE INNOVACIONES Y OTROS
FACTORES ASOCIADOS A LOS LOGROS EN EL APRENDIZAJE.
COMISIONES DEL Programa de Promoción de la Reforma
Educativa en América Latina y el Caribe (PREAL)
...QUE LOS GOBIERNOS FIJEN ESTÁNDARES PARA EL SISTEMA
EDUCATIVO, QUE MIDAN LOS AVANCES HACIA EL LOGRO DE
LOS MISMOS MEDIANTE PRUEBAS NACIONALES, REGIONALES E
INCLUSO INTERNACIONALES Y QUE UTILICEN LOS
RESULTADOS PARA REVISAR SUS PROGRAMAS Y REASIGNAR
SUS RECURSOS (1998).
…QUE LOS PAÍSES DE CENTRO AMÉRICA ESTABLEZCAN
ESTÁNDARES COMUNES Y AMPLIAMENTE CONSENSUADOS, ASÍ
COMO TAMBIÉN UN SISTEMA UNIFICADO DE MEDICIÓN DE SU
LOGRO Y LA AMPLIA DIVULGACIÓN DE SUS RESULTADOS
(2000).
MARCO DE ACCIÓN REGIONAL POSTEVALUACIÓN JOMTIEN
(DECLARACION MUNDIAL SOBRE EDUCACION PARA TODOS, 1990)
...COMPROMISO DE LOS PAÍSES DE:
• ORGANIZAR SISTEMAS APROPIADOS DE MONITOREO Y
EVALUACIÓN QUE CONSIDEREN DIFERENCIAS INDIVIDUALES Y
CULTURALES, SE BASEN EN ESTÁNDARES DE CALIDAD ACORDADOS
NACIONAL Y REGIONALMENTE Y QUE PERMITAN LA PARTICIPACIÓN
EN ESTUDIOS INTERNACIONALES.
• GARANTIZAR LA PARTICIPACIÓN DE LA SOCIEDAD CIVIL EN LA
ELABORACIÓN, MONITOREO Y EVALUACIÓN DE POLÍTICAS, PLANES Y
PROGRAMAS EDUCATIVOS.
• ESTABLECER PARÁMETROS QUE IDENTIFIQUEN LAS
RESPONSABILIDADES DE LOS RECURSOS HUMANOS QUE ACTÚAN EN
EL SISTEMA EDUCATIVO, ASÍ COMO LOS MECANISMOS Y POLÍTICAS
DE APOYO PARA LA ADMINISTRACIÓN DEL PERSONAL
ACUERDOS
·IMPORTANCIA DE APRENDIZAJES.
·IMPORTANCIA DE DETERMINACIÓN CLARA
DE EXPECTATIVAS.
·IMPORTANCIA DE EVALUACIÓN DE LOGROS.
·NECESIDAD DE RESPONSABILIZACIÓN.
De la escuela a la universidad
NECESIDADES DE LA EVALUACIÓN DE LOS CENTROS DOCENTES
La certificación
Se da la certificación a
profesores, administradores o
instituciones en busca de
acreditación
la mejora
Los alumnos
Los profesores
Los materiales
Profesionalización
El centro debe dar al
profesor los recursos
para la
autoevaluación
toma de deciones
proporciona información relevante
en el momento oportuno
y de manera comunicativa
rendición de cuentas
Tipologías de evaluación
POR SU FINALIDAD O
FUNCIÓN
Formativa
Sumativa
POR SU EXTENSIÓN
Global
Parcial
POR LOS AGENTES
EVALUADORES
Interna
Autoevaluación
Heteroevaluación
Coevaluación
Externa
POR SU MOMENTO
DE APLICACIÓN
Inicial
Procesual
Final
ÉVALUACIÓN INTERNA Y EXTERNA
• EVALUACIÓN EXTERNA
• EVALUACIÓN INTERNA
– La lleva a cabo un profesor
u otros miembros de la
escuela.
– La evaluación interna
conoce mejor el contexto
local y resulta menos
amenazador a las
personas evaluadas.
– Menos objetividad y
credibilidad del evaluador
– Es más apropiada para la
evaluación formativa
– Proporciona información
para la mejora
– La evaluación la puede
llevar a cabo un
Departamento,
ministerio, evaluadores
profesionales,
independientes,
inspectores.
– La evaluación externa
conoce menos el
contexto.
– Mayor objetividad y
credibilidad.
– Más apropiada para la
evaluación sumativa.
– Proporciona información
para delimitar
responsabilidades.
Evaluación interna
• La autoevaluación tiene su base en preguntas que los propios
•
actores/participantes de los centros educativos se hacen.
PROBLEMAS QUE FRENA LA AUTOEVALUACIÓN:
Carácter individualista de la
función docente:
el aula es la célula donde el
profesor es el único adulto
Resistencia de los
profesores a la ruptura de
su intimidad
Ocultación de problemas
que afectan al centro
Escasa
motivación
profesional
Limitación de
tiempo del
profesorado
Falta formación
técnica
Evaluación interna
PRINCIPALES VARIABLES PARA
LA EVALUACIÓN INTERNA
(Centros no universitarios)
contexto o ambiente
como marco
para la
evaluación
El proyecto educativo
La organización
Los medios:
espacios
y
recursos
La Comunidad
educativa
Profesorado
Medio o clima
escolar
1.- CONTEXTO
• Es una fuente de demandas
y una oferta de posibilidades
• Es el marco de inserción del
alumnado.
• Es el ambiente donde se
complemente la acción que
familia y centro.
2.-EL PROYECTO EDUCATIVO
El centro educativo es una
organización al servicio
de un proyecto común,
fruto de la elaboración,
aceptación y compromiso
de su miembros.
Tenemos que analizar la
integralidad, totalidad y adecuación
del proyecto educativo.
También como el modo de
formalizarlo, el grado de apoyo...
Es necesario analizar la
armonía entre todas las
partes y la coherencia de
planteamientos (cursos,
niveles…)
3. LA ORGANIZACIÓN
• ASPECTOS QUE TIENEN
La organización es la forma
de articular la combinación
de todos los elementos
personales, materiales y
funcionales
–
–
–
–
–
–
–
–
–
QUE SER ANALIZADOS:
Sistema de dirección.
Formas de afrontar conflictos
con el personal.
La moral del grupo, confianza
en éxito.
Implicación de la comunidad.
Niveles de coordinación del
personal.
Procesos y formas de
agrupamiento de profesores y
alumnos.
El trabajo cooperativo.
Sistema de asignación de
responsabilidades, medios,
espacios y recursos.
La incorporación de
estructuras de mejora, tales
como el sistema de evaluación
de alumnos, programas y
Centros.
4. EL MEDIO O CLIMA ESCOLAR
Orden y respeto
mutuo?
Sistema disciplinar?
Relaciones humanas
del centro y con los
demás?
* Ejercicio
pedagógico del
tratamiento de
la indisciplina.
* Valores
vividos en el
centro.
* Satisfacción
por el propio
trabajo.
* Confianza en
el éxito
5. LOS MEDIOS: espacios y recursos.
• Los espacios y los
recursos mínimos,
su asignación de
acuerdo a criterios y
adecuada
coordinación.
6. LA COMUNIDAD EDUCATIVA
TENDREMOS QUE ANALIZAR UNA
MONTAÑA DE FACTORES:
* La participación de toda la
comunidad.
* La presencia del centro en la
comunidad.
* La apertura del centro a la comunidad (ofrecer
instalaciones, actividades…).
* Invitación a miembros de la comunidad para que
aporten sus conocimientos y formación.
* Propuestas y proyectos de mejora de la comunidad.
7. PROFESORES
¿También me van a evaluar?
• Al profesorado le incumbe:
– El logro efectivo del clima
escolar.
– El ejercicio de la docencia.
– El estímulo y motivación de
sus alumnos.
– Planificación de la enseñanza,
la actuación como mediador
de los procesos de
aprendizaje.
– El sistema evaluativo
orientado a sus alumnos, etc.
• A la dirección:
– Su liderazgo.
– - El estímulo que trasmite
a sus profesores.
– Apoyo, reconocimiento,
coordinación, etc.
La Evaluación Interna Es
Importante Porque...
•
•
•
•
•
•
•
•
•
•
•
Permite reflexionar sobre lo que se hace.
Ayuda a comprender lo que sucede.
Impulsa el diálogo y la participación.
Permite tomar decisiones racionales.
Ayuda a incidir sobre lo que se considera
sustancial.
Permite corregir errores.
Permite aprender cosas nuevas.
Hace ganar coherencia al equipo docente.
Se convierte en un ejemplo para los alumnos.
Ayuda a perfeccionar al profesorado.
...
Fases en la evaluación educativa
• Fase de planificación:
– Descripción clara del problema o factor
desencadenante de la evaluación.
– Definición del ámbito y finalidad de
estudio.
– Elección del enfoque metodológico
apropiado: cualitativo y cuantitativo.
– Especificación, si procede, de los
indicadores de calidad y preparación de
los instrumentos de recogida de datos.
– Determinación de los procedimientos de
análisis e interpretación de los datos.
– Previsión de mecanismos de discusión y
elaboración de conclusiones.
– Asignación de responsabilidades a los
participantes.
– Temporalización de las distintas fases y
actuaciones.
– Presupuesto económico.
Fases en la evaluación educativa
• Fase de ejecución:
– Recoger la información necesaria
sobre la que sustentar los juicios de
valor.
– De la rigurosidad con que se
desarrollen todos los pasos
dependerá la fiabilidad y veracidad
de la información.
Fases en la evaluación educativa
• Fase de elaboración y
publicación de conclusiones:
• Su extensión dependerá del alcance y
finalidad del estudio, así como de las
audiencias a los que va destinada.
COMPONENTES PARA CUALQUIER TIPO DE
EVALUACIÓN
•
•
•
•
•
•
(1) Comprender el problema de evaluación.
(2) Planificar la evaluación.
(3) Recoger los datos.
(4) Analizar los datos.
(5) Informar sobre los resultados de la
evaluación.
(6) Proporcionar recomendaciones.
(1) comprender el problema de evaluación
DEBEMOS ENTENDER
OBJETO DE LA
EVALUACIÓN
FUNCIONES QUE
SATISFAGA LA
EVALUACIÓN
* Profesores
* Programas
* Alumnos
* Distintas audiencias
distintas necesidades
TIPO DE INFORMACIÓN
A RECOGER
CRITERIOS
DESTINATARIOS
INTERESADOS
EN LA EVALUACIÓN
Están en función de estándares
o normas, o en comparación
con la calidad de objetos
alternativos
No limitar la evaluación
a los intereses del
cliente
Identificar todas las
audiencias para que
la evaluación sea
planificada
Para ello el evaluador se
conectará con las personas
relacionadas con el objeto de
evaluación para conocer sus
necesidades e intereses
Para ello los
evaluadores se
familiarizarán con las
actividades que lleva a
cabo el objeto
evaluador
Para ello el evaluador
intentará aprender más cosas
del objeto evaluado
(2) Planificar la evaluación
• Cinco actividades:
– Traducir las cuestiones de evaluación a términos
operativos.
– Elegir instrumentos de medida y procedimientos de
recogida de datos.
– Hacer un muestreo.
– Elegir el procedimiento de análisis de datos.
– Establecer el calendario para la puesta en práctica.
(3) La recogida de datos
• Instrumentos
apropiados puedan
dar lugar a datos
inapropiados si los
aplican evaluadores
inexpertos
(entrevistas y
observaciones
requieren destrezas).
• La muestra es buena
si también lo es la
tasa de respuestas
que se ha obtenido
realmente.
(4) El análisis de datos
DOS ASPECTOS A CONSIDERAR
ASPECTO TÉCNICO
(objetivo)
ASPECTO INTERPRETATIVO
(subjetivo)
(1) Procesamiento de datos
* Elección de procedimientos de análisis
(2) Análisis estadístico
datos cuantitativos
* Interpretación entre resultados y
procedimientos
(3) Codificación datos
cualitativos
* Percepción del significado de los datos
Relacionar los resultados con el contexto
(5) como informar de los
resultados de la evaluación
• La evaluación debe dar
resultados fiables,
importantes y relevantes.
• Los datos tienen que
presentarse de modo y
estilo comprensibles a la
audiencia a los que van
dirigidos.
• Deben centrarse en
resultados y
recomendaciones.
(6) Proporcionar
recomendaciones
Es necesario dar recomendaciones
a partir de los resultados
obtenidos del análisis de los
datos.
PARADIGMAS PEREZ GOMEZ (1983)
EXPERIMENTAL O CUANTITATIVO
MODELOS REPRESENTATIVOS
OBJETIVIDAD, VALIDEZ
Y CONFIABILIDAD
VERIFICACION
EXPERIMENTAL DE
HIPOTESIS. CERTIFICACION
DE OBSERVACIONES Y
TRATAMIENTO ESTADISTICO
DE DATOS
SEGUIMIENTO RIGUROSO DE
METODOLOGIA ESTADISTICA
PARA OPERACIONALIZAR VARIABLES
ALEATORIZAR MUESTRAS Y APLICAR
MODELOS EXPERIMENTALES
ENFASIS EN PRODUCTOS
O RESULTADOS
PRETEST/POSTEST
•ANALISIS DE SISTEMAS
•CONSECUCION DE METAS
•FACILITACION DE DECISIONES
SOCIOANTROPOLOGICO O CUALITATIVO
•OBJETIVIDAD RELATIVA
MODELOS
REPRESENTATIVOS
•LA EVALUACION DEBE CONSIDERAR
DIVERSAS OPINIONES, POSICIONES O
IDEOLOGIAS EN LA INTERPRETACION
DE LOS HECHOS.
•EVALUACION Y EDUCACION NO SON
PROCESOS TECNOLOGICOS PUROS
TAMBIEN SON AXIOLOGICOS.
•LA EVALUACION DEBE CONTEMPLAR
CONDUCTAS MANIFIESTAS Y
RESULTADOS DE CORTO PLAZO Y
TAMBIEN EFECTOS SECUNDARIOS Y DE
LARGO PLAZO.
•LA EVALUACION DEBE CENTRARSE EN
ASPECTOS DE LA PRACTICA EDUCATIVA,
SUCESOS, PROCESOS, PERSPECTIVAS
DE LOS ESTUDIANTES.
•INCORPORA TECNICAS Y SUPUESTOS
DE LA ETNOGRAFIA E INVESTIGACION
DE CAMPO.
•CRITICA ARTISTICA
•EVALUACION
ILUMINATIVA
•EVALUACION BASADA EN
NEGOCIACIONES
MACROMODELOS EVALUATIVOS
ESTUDIOS
ORIENTADOS
HACIA EL
CONSUMIDOR
ESTUDIOS
CENTRADOS EN
EL CLIENTE
ESTUDIOS
ORIENTADOS A LA
TOMA DE
DECISIONES
ESTUDIOS BASADOS
EN LOS OBJETIVOS
Anterior
Siguiente
MACROMODELOS EVALUATIVOS
REPRESENTANTES
R. TYLER
ORGANIZADOR
(PREVIO)
•OBJETIVOS
METODOS MAS
COMUNES
COMPARACION ENTRE
DATOS DE TRABAJO Y
OBJETIVOS
ESTUDIOS
BASADOS EN
LOS
OBJETIVOS
PROPOSITO
Relacionar los
resultados con los
objetivos
PROCEDENCIA DE LAS
PREGUNTAS
PLANIFICADORES Y
DIRECTIVOS DEL
PROGRAMA
PREGUNTAS
PRINCIPALES
QUE ESTUDIANTES
ALCANZAN LOS
OBJETIVOS
Anterior
Siguiente
MACROMODELOS EVALUATIVOS
REPRESENTANTES
ORGANIZADOR
(PREVIO)
•SITUACIONES
DECISIVAS
CRONBACH Y STUFFLEBEAM
METODOS MAS
COMUNES
PROPOSITO
Inspecciones,
valoración de las
necesidades,
grupos de
recomendación,
observaciones y
planificación
experimental
ESTUDIOS
ORIENTADOS A
LA TOMA DE
DECISIONES
Proporcionar los
conocimientos
suficientes y una
base valorativa
para tomar y
justificar
decisiones
CIPP
PREGUNTAS PRINCIPALES
PROCEDENCIA DE LAS
PREGUNTAS
Los que toman las
decisiones, sus
ayudantes y los
evaluadores
¿Como debe ser
planificada, ejecutada y
reciclada una organización
determinada para que
promueva el crecimiento
humano y el desarrollo a un
coste razonable?
Anterior
Siguiente
CONTEXTO
PLANIFICACION
TIPOS DE DECISIONES
INSUMO
ESTRUCTURALES
IMPLANTACION
RETROCOMUNICACION
MODELO
CIPP
ORIENTADO
A LA TOMA
DE
DECISIONES
TIPOS DE EVALUACIONES
DANIEL STUFFLEBEAM
PROCESO
PRODUCTO
MODELO CIPP PREGUNTAS
ORIENTADORAS
• QUE EVALUAR
• COMO EVALUAR
• PARA QUE EVALUAR
CONTEXTO
ENTRADA
Definir el contexto escolar y
sociocultural, identificar la población
objeto de estudio y valorar sus
necesidades. Analizar si los
objetivos propuestos son
coherentes con las necesidades
valoradas.
Identificar y valorar la
capacidad del sistema, las
estrategias de programa
alternativas, la planificación
de procedimientos para llevar
a cabo las estrategias, los
presupuestos y los programas
que lleva la institución a la
práctica.
¿QUÉ EVALUAR?
Identificar durante el proceso
los efectos de la planificación
del procedimiento o de su
realización, proporcionar
información para las
decisiones preprogramadas y
describir y juzgar las
actividades y aspectos del
procedimiento
PROCESO
Recopilar descripciones y
juicios acerca de los
resultados y relacionarlos
con los objetivos y la
información proporcionada
por el contexto, por la
entrada de datos y por el
proceso, e interpretar su
valor y su mérito.
PRODUCTO
CONTEXTO
ENTRADA
inventariar y analizar los
recursos humanos y
materiales disponibles. El
estudio de las posibilidades
de viabilidad, aplicabilidad
y las económicas.
métodos como la
observación, la
inspección, la revisión de
documentos, las
entrevistas, los
cuestionarios, etc.
¿Cómo EVALUAR?
tratar de establecer una continua
interacción con el personal del
proyecto y la observación de sus
actividades. Los cuestionarios, las
planillas de observación de los
elementos centrales del proceso,
los diarios y el análisis de
documentos son buenos
procedimientos para la evaluación
del proceso.
PROCESO
método de evaluación, la
tarea de definir
operacionalmente y valorar
los resultados, mediante la
recopilación de los juicios
de los clientes y la
realización de análisis
cualitativos y cuantitativos.
PRODUCTO
CONTEXTO
ENTRADA
La evaluación de las entradas
permitirá la selección de los
recursos de apoyo, los
procedimientos y las
capacidades del sistema para
llevar a cabo el proceso.
La evaluación del contexto
permitirá definir el marco,
las metas, los objetivos y la
planificación inicial del
programa.
¿PARA QUE EVALUAR?
La evaluación del proceso
permitirá introducir en todo
momento los cambios
necesarios para llevar a cabo y
perfeccionar la planificación y
los procedimientos del
programa.
PROCESO
La evaluación del producto
permitirá decidir la
continuación, la modificación o
readaptación o la finalización
del programa.
PRODUCTO
DESCRIPCION
DEL PROGRAMA
A EVALUAR
ESTRATEGIA
EVALUATIVA
PROPOSITOS
DE LA
EVALUACION
DELINEAMIENTO
DE LA
INFORMACION
EVALUATIVA
DECISIONES
DE
MODIFICACION
OBTENCION
DE LA
INFORMACION
INTERPRETACION
DE LOS
RESULTADOS
ANALISIS DE
RESULTADOS
ETAPAS EN LA APLICACIÓN DEL MODELO
CIPP
CARACTERISTICAS
DEL
PROGRAMA A EVALUAR
COMO SE
REALIZARA
LA EVALUACION
LAS RAZONES
QUE MOTIVAN
LA EVALUACION
QUE TIPO DE
INFORMACION
QUE VAMOS
A CAMBIAR
FORMATOS
PARA
SU OBTENCION:
INSTRUMENTOS
QUE NOS DICEN
LOS DATOS
COMO SE
ANALIZAN
ETAPAS EN LA APLICACIÓN DEL MODELO
CIPP
TRABAJO INDIVIDUAL
UTILIZANDO COMO REFERENTE EL MODELO CIPP,
EVALUAR UNA ASIGNATURA. EL INFORME DEBE
INCLUIR EN LO POSIBLE, EVIDENCIAS COMO
INSTRUMENTOS DE EVALUACION, GUIAS, ETC.
MACROMODELOS EVALUATIVOS
REPRESENTANTES
M. SCRIVEN
ORGANIZADOR
(PREVIO)
NECESIDADES Y
VALORES
SOCIALES
PROPOSITO
Juzgar los méritos
relativos de bienes y
servicios alternativos
PROCEDENCIA DE LAS
PREGUNTAS
La sociedad en general,
los consumidores y
el evaluador
ESTUDIOS
ORIENTADOS
HACIA EL
CONSUMIDOR
METODOS MAS
COMUNES
Listas de
control,
valoración
de las
necesidades,
evaluación
sin metas,
planificación
experimental y análisis
de coste
PREGUNTAS PRINCIPALES
¿Cuál de los diversos objetos de
Consumo alternativos
representa la mejor compra que
pueda hacerse, dados sus
costos, las necesidades
de los consumidores y los
valores de la sociedad en
general?
Anterior
Siguiente
MACROMODELOS EVALUATIVOS
REPRESENTANTES
STAKE
ORGANIZADOR
(PREVIO)
PREGUNTAS Y
PROBLEMAS
LOCALIZADOS
PROPOSITO
FACILITAR LA
COMPRENSION DE
LAS ACTIVIDADES Y
SU VALORACION EN
UNA TEORIA
DETERMINADA Y
DESDE DISTINTAS
PERSPECTIVAS
ESTUDIOS
CENTRADOS
EN EL CLIENTE
PROCEDENCIA DE LAS
PREGUNTAS
LA COMUNIDAD Y LOS
GRUPOS DE CLIENTES
EN ZONAS LOCALES Y
LOS EXPERTOS
METODOS MAS
COMUNES
ESTUDIOS DE CASOS,
INFORMES
CONTRAPUESTOS,
SOCIODRAMA Y
EVALUACION
RESPONDENTE
PREG UNTAS PRINCIPALES
¿Cuál ES LA HISTORIA DE UN
PROGRAMA Y COMO ES
JUZGADO POR QUIENES
ESTAN IMPLICADOS EN EL Y
POR LOS QUE SON
EXPERTOS EN EL AREA EN
LA QUE SE INCLUYE EL
PROGRAMAl?
Anterior
Siguiente
• Proceso sistematico y sistemico que permite recopilar,
sistematizar, analizar datos para producir informacion
valida y confiable en funcion de la toma de decisiones para
la mejora continua de un sistema educativo orientado hacia
la obtencion de la calidad. Si bien es cierto este proceso
busca establecer una relacion de correlacion entre objetivos
y resultados del sistema evaluado, no deja de lado los
procesos que se vinculan al mismo. Este proceso utiliza
estrategias entendidas como conjunto de actividades
orientadas a la consecución de objetivos e instrumentos
especificos para la recopilacion de la informacion y modelos
y metodologias especificas para el analisis de los datos y la
descripcion e interpretacion de la informacion obtenida. Por
otra parte, este proceso busca generar la autorregulacion
del sistema analizado a traves de planes de mejoramiento
continuo.
Reflexión Colectiva sobre la
problemática educativa.
Identificación y Priorización de los
Problemas.
P
R
O
Y
E
C
T
O
E
V
A
L
Identificación de
Variables
U
A
C
I
O
N
Planteamiento de Objetivos.
ALTERNATIVAS DE
SOLUCIONES
INNOVADORAS
Experiencias previas
Bibliografía
Ejecución del Proyecto
Indicadores de Evaluación
Evaluación del Proyecto
Análisis de los Resultados de la
Innovación Aplicada
INFORME FINAL
PREGUNTAS ORIENTADORAS DEL
PROCESO EVALUATIVO
• ¿Cuál es el concepto de evaluación del que
•
•
•
•
•
partimos?
¿Que finalidad fundamental tiene la evaluación?
¿Que contenidos vamos a evaluar?
¿Cual sera el ambito o unidad fundamental de
evaluación?
¿Quien toma las decisiones?
¿Que papel juega el evaluador?
Primera fase: evaluación del diseño y planificacion
• Objetivo: Identificar y valorar las estrategias que
•
•
•
dirigen la estructura y composicion de los
programas de formación y la planificacion de sus
procedimientos.
¿Estan bien definidos los objetivos de cada uno
de los programas a evaluar?
¿Es adecuada la secuencia prevista para su
desarrollo?
¿La planificacion prevista responde a la situacion
contextual en la que se impartira?
Segunda fase: la evaluación de proceso
• Objetivo: Modificar y /o pronosticar durante el proceso los defectos
de planificacion del plan durante su desarrollo.
• ¿Que dificultades y problemas fundamentales presenta el desarrollo
•
•
•
•
•
•
del programa de formación?
¿Que utilidad tiene el programa de formación diseñado en nuestro
departamento?
¿Es correcta la adecuacion temporal prevista?
¿Como percibe el profesorado, los alumnos y los organos de gestion
el desarrollo del prpograma?
¿Como se esta conduciendo el desarrollo del programa?
¿Que factores estan afectando a su funcionamiento?
¿Es el profesor un elemento clave en los resultados del proceso de
desarrollo?
Tercera fase: evaluación de
resultados
• OBJETIVO: Conocer el impacto de la evaluación, su eficacia en
•
•
•
•
•
•
satisfacer las necesidades para las que fue concebido el estudio, o
su éxito en el logro de los objetivos propuestos.
¿Que grado de consecución tienen los objetivos propuestos en cada
uno de los programas a evaluar?
¿Que resultados ofrecen los programas de formación diseñados?
¿Que repercusión tiene el proceso de formación en la practica
profesional de los implicados?
¿Ha generado el proceso un cambio de actitud en el profesorado?
¿Que impacto tiene el programa de formación en los alumnos?
¿Que impacto tiene el programa de formación según los
empleadores?
CRITERIOS
FINALIDAD
OBJETIVO
GENERAL
UNIDAD O
FOCO
DE EVALUACION
OBJETIVOS
ESPECIFICOS
ASPECTOS A
EVALUAR
PROCEDIMIENTOS
TECNICAS DE
RECOLECCION Y
PROC. DATOS
EVALUACION DE
PROGRAMAS /PROYECTOS,
ALGUNOS ELEMENTOS A
CONSIDERAR
Programa/Proyecto
•“Curso de acción sistemático, intencional que busca alcanzar
objetivos determinados” (González Soto 1995).
•“Cualquier curso sistemático de acción para el logro de un
objetivo o conjunto de objetivos…” (De la Orden 1985)
•“Un documento intencional y tecnicamente elaborado
consistente en un plan de actuación al servicio de metas
pedagógicas valiosas” (Pérez Juste 1995).
•“Actividad dirigida a solucionar un determinado problema
considerando como tal la carencia de algún aspecto, la necesidad
de introducción de alguna modificación para la mejora, o la
realizacion de alguna innovación” (Bordás 1995).
Evaluación de Programas/Proyectos
• “Proceso sistemático, diseñado intencional y
técnicamente, de recogida de información
rigurosa, valiosa, válida y fiable, orientado a
valorar la calidad y los logros de un programa,
como base para la posterior toma de decisiones
de mejora tanto del programa, como del
personal implicado, y, de modo indirecto, del
cuerpo social en el que se encuentra inmerso”
(Pérez Juste 1995).
PROPÓSITOS QUE CARACTERIZAN LA EVALUACIÓN DE
PROGRAMAS
• Contribuir a decisiones sobre la aplicación del programa
• Contribuir a decisiones sobre las modificaciones del programa
• Contribuir a decisiones sobre la continuidad, expansión o
•
•
•
•
•
•
certificación del mismo
Obtener evidencias que favorezcan o perjudiquen al programa
Contribuir a comprender los procesos sociales y sicológicos
básicos, entre otros (Worthen 1990).
Determinar el mérito o valor del mismo en función de unos
objetivos establecidos (Worthen y White 1987).
Rendir cuenta del valor del programa (Guba y Lincoln 1981).
Ayudar en la Toma de decisiones (Worthen y Sander 1987).
Servir como función política.
ALGUNOS ELEMENTOS FUNDAMENTALES DE LA EVALUACIÓN SOCIAL
CRITERIOS BÁSICOS
COHERENCIA: Este criterio se refiere al análisis en función del grado de integración lógica
de los distintos componentes del proyecto (objetivos, resultados, actividades y recursos):
Evaluación de la Coherencia interna de un Proyecto
PERTINENCIA: Análisis de la capacidad para dar respuestas a las necesidades reales de
los grupos y sujetos involucrados. Esta capacidad debe considerar los recursos disponibles
para lograr lo planificado.
RELEVANCIA: Análisis del grado de significatividad de las acciones y resultados para los
sujetos directamente involucrados en el proyecto. Se entiende así que un proyecto es
relevante cuando resulta ser significativo para las personas hacia quienes están dirigidas
las acciones del cambio.
Evaluar de acuerdo a estos criterios básicos es asumir una perspectiva teórica en la cual la
población beneficiaria ya no es un objeto o ente pasivo sino que emerge como un actor o
"grupo de interés" que interactúa con determinados equipos o instituciones que intervienen
en los problemas que les afecta.
Fte. Abdala,E./CINTERFOR,2004
OTROS CRITERIOS MAS CUANTITATIVOS
COSTO- BENEFICIO: Basado en un principio económico que en términos generales,
sostiene que un proyecto es exitoso si el beneficio que genera la inversión en un período
determinado, es mayor que la que se puede obtener con otra alternativa durante el mismo
período. Por otra parte considera que un proyecto es más efectivo cuando logra sus
productos con un menor costo y los beneficios sociales obtenidos son mayores que la
inversión realizada.
EFICIENCIA: La evaluación de la eficiencia de los proyectos tiene como objeto el análisis
de los recursos o insumos utilizados para realizar las actividades y obtener los resultados
o productos esperados. Un proyecto es eficiente si ha tenido un adecuado gasto y no ha
producido déficit en su operación. Es decir, si ha optimizado el uso de los recursos
materiales y humanos de los que dispone.
En los procesos evaluativos actuales se utilizan de manera conjunta
criterios cualitativos y cuantitativos de análisis de información.
Fte. Abdala,E./CINTERFOR,2004
Fases del proceso de Evaluación de
Programas/Proyectos
• Fase I Evaluación del diseño o inicial.
• Fase II Evaluación de la aplicación o
desarrollo del programa/proyecto.
• Fase III Evaluación de Impacto o Final.
EVALUACIÓN DEL DISEÑO DEL
PROGRAMA/PROYECTO
Def.: Aquella fase consistente en verificar la coherencia entre el diseño
y el diagnóstico de las condiciones previas.
Acciones:
- recoger datos relacionados con la necesidad del programa
- Adecuación al entorno
- Existencia de experiencias similares
- Tipo de alumnos a los que el programa está dirigido
- Contenidos
- Estructura
- Tipos de relaciones que se establecen
- Evaluación de aprendizajes
- Características del equipo docente
EVALUACIÓN DE LA APLICACIÓN O
DESARROLLO DEL PROGRAMA/PROYECTO
Def.: Trata de recoger cómo funciona realmente el
programa reflejando aquello que resulta llamativo como
discrepancia o novedad con la previsión del programa.
Actividad:
- Recoger información que posibilite la adaptación
metodológica
- Recoger datos sobre la duración de la aplicación
- Recoger datos sobre la aplicación y la complejidad de
ella.
EVALUACIÓN DE LOS RESULTADOS O
IMPACTO DEL PROGRAMA/PROYECTO
• Def.:Fase centrada en los cambios reales
y visibles en dos aspectos :
1. Cambios en el comportamiento y
habilidades del profesor.
2. Cambios en las estructuras organizativas
y funcionales de la institución que acoge
el programa.
Planificación del proceso de evaluación
de programa/proyecto
¿Para que se realiza la evaluación de programas?
Razones por las cuales se plantea efectuar la evaluación de un
programa.
Finalidades mas relevantes:
- Documentar hechos
- Incrementar la comprensión del proceso
- Determinar los factores que influyen sobre lo que va mal
- Facilitar una acción correctiva
- Detectar los elementos de vitalidad institucional
- Registrar los cambios en los alumnos
- Colaborar en la adopción de decisiones administrativas
Planificación del proceso de
Evaluación de Programa/Proyecto
¿Quién debe realizar la evaluación
del programa?.
Los protagonistas del diseño y ejecución
del programa.
Planificación del proceso de Evaluación de
Programa/Proyecto
¿Qué debe ser evaluado?
- La adecuación de las tareas a los principios educativos que
fundamentan el programa.
- Coherencia y continuidad en el tratamiento metodológico.
- El mérito o valor intrínseco de las propias tareas y de las
relaciones personales que se establecen.
- El nivel de satisfacción de los implicados en las tareas.
- La adecuación del agrupamiento de los alumnos.
- La pertinencia de la organización espacio-temporal.
- La utilización y validez de los materiales curriculares que se
emplean.
- La debida selección y organización de objetivos y contenidos
del programa.
- El mérito y adecuación de los responsables del programa.
Planificación del proceso de Evaluación
de Programa/Proyecto
¿Cuándo evaluar?
FASE INICIAL
FASE DESARROLLO
FASE FINAL
MOMENTOS DE REALIZACION DE LA EVALUACION
EXANTE
INTRA
POST
•ANTES DEL INICIO DE LA EJECUCION.
•EVALUA:
•EL CONTEXTO SOCIOECONOMICO E INSTITUCIONAL
•LOS PROBLEMAS IDENTIFICADOS
•LAS NECESIDADES DETECTADAS
•LA POBLACION OBJETIVO
•LOS INSUMOS
•LAS ESTRATEGIAS DE ACCION
•DURANTE LA EJECUCION:
•ACTIVIDADES DEL PROCESO EN DESARROLLO
•IDENTIFICACION DE ACIERTOS, ERRORES, DIFICULTADES.
•FINALIZACION INMEDIATA DE LA EJECUCION:
•DETECTANDO, REGISTRANDO Y ANALIZANDO LOS
RESULTADOS TEMPRANOS.
EXPOST
•TIEMPO DESPUES (MESES O AÑOS) y evalúa:
•Resultados mediatos y alejados consolidados en el
tiempo.
Fte. Abdala,E./CINTERFOR,2004
EVALUACION DE IMPACTO
• PROCESO ORIENTADO A LA MEDICION DE
•
•
RESULTADOS DE LAS INTERVENCIONES EN
CANTIDAD, CALIDAD Y EXTENSION SEGÚN LAS
REGLAS PREESTABLECIDAS.
PERMITE COMPARAR EL GRADO DE
REALIZACION O LOGRO CON EL GRADO DE
REALIZACION DESEADO; CONGRUENCIA.
COMPARA PLANEACION CON RESULTADO
DE LA EJECUCION
Fte. Abdala,E./CINTERFOR,2004
ALGUNAS UTILIDADES DE LA EVALUACION DE
IMPACTO
• REGISTRO DE TODAS LAS EXPERIENCIAS POSITIVAS Y NEGATIVAS.
• EVALUAR EL CONTEXTO SOCIOECONOMICO EN QUE SE DA LA
•
•
•
•
•
INTERVENCION.
IDENTIFICAR LOS ACTORES INVOLUCRADOS Y SU PESO ESPECIFICO
EN RESULTADOS.
ESTUDIAR LA ARTICULACION INTERINSTITUCIONAL Y PUBLICO –
PRIVADO.
OFRECER ESTUDIOS DE COSTO-BENEFICIO.
PROVEER DE INFORMACION RESPECTO DE LA INTERVENCION.
RETROALIMENTAR.
Fte.Abdala,E./CINTERFOR,2004
EJEMPLO/SINTESIS
•PRIMERA FASE : IDENTIFICACION DE JOVENES DESEMPLEADOS
PROBLEMA.
•MOMENTO: EXANTE (antes del
programa)
PERTENECIENTES A CLASES
CARENCIADAS.
SEGUNDA FASE:
PROPUESTA DE UNA SOLUCION AL
PROBLEMA.
MOMENTO: EXANTE (antes del
programa)
OFERTA DE DISEÑO DE PROGRAMA DE
CAPACITACION COMPENSATORIA QUE
PRESUPONE MAS HORAS DE FORMACION,
MAS INSTITUCIONES CAPACITADORAS, MAS
OFERTAS DE CURSOS, MAS DOCENTES.
TERCERA FASE: EJECUCION DEL
PROGRAMA.
MOMENTO : INTRA (durante).
ETAPA OPERATIVA O DE IMPLEMENTACION O
EJECUTIVA.
CUARTA FASE: EVALUACION DE
IMPACTO.
MOMENTO: EXPOST
OBSERVACION DE RESULTADOS, EVOLUCION
DE VARIABLES ASOCIADAS A SITUACION DE
BENEFICIARIOS EN DIFERENTES MOMENTOS,
O FRENTE A UN GRUPO CONTROL.
HERRAMIENTAS METODOLOGICAS
CUALITATIVAS
ENTREVISTAS EN
PROFUNDIDAD/OBSERVACION/ANALISIS
DOCUMENTAL/
HERRAMIENTAS METODOLOGICAS
CUANTITATIVAS
CUESTIONARIO/ENCUESTA.
Fte. Abdala, E./CINTERFOR,2004
EQUIPO CONSULTOR
• PREGUNTAS ORIENTADORAS DEL PROCESO.
• ANALISTAS DE MODELOS EVALUATIVOS.
• ANALISTAS DE INFORMACION FOCALIZADOS EN
EVALUACION DE PROGRAMAS DE FORMACION.
Calidad y excelencia
• Búsqueda de la excelencia
• calidad
Conceptos o temas …………..
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Evaluacion
Sistema
Proceso
Medicion
Modelos
Paradigma experimental
Paradigma critico
Informe Delors
Accountability
Toma de decisiones
Calidad
Excelencia
Metaevaluacion
Producto /resultados
Metodos cualitativos
Metodos cuantitativos
Contexto