Transcript Investigacixn_Evaluativa - Aula Virtual

Evaluación de Programas
Planificación y diseño de la evaluación.
Dr. Jesús M. Jornet Meliá
Departamento de Métodos de Investigación y Diagnóstico en
Educación
UNIVERSITAT DE VALÈNCIA
1
Estructura del Seminario
Conceptos básicos de Evaluación de Programas
Componentes del diseño: las preguntas de la evaluación
Objeto de la evaluación
Finalidad de la evaluación
Audiencias o colectivos implicados
Fuentes e instrumentos de información
Momentos de recogida de información
Análisis de la información
Difusión de la información
2
Conceptos básicos de Evaluación de Programas
Qué es la Evaluación de Programas (I)
Es una especialización profesional que se identifica
en diversas áreas (CC. Sociales, Humanas y de la
Salud)
Su objetivo es recabar información para la toma de
decisiones acerca de la intervención en esas áreas
En Educación su desarrollo ha sido muy profundo y
afecta a la planificación, diseño y organización,
innovación y control de la intervención educativa
3
Conceptos básicos de Evaluación de Programas
Qué es la Evaluación de Programas (II)
Es propia de países que tienen una gestión
democrática
América, Europa y Australia son las áreas donde más
impacto y uso está teniendo en la actualidad
Es base tanto para la rendición de cuentas, como
para la innovación y mejora de la intervención
4
Conceptos básicos de Evaluación de Programas
Qué es la Evaluación de Programas (III)
Sinónimo de Investigación Evaluativa
Diferente de:
 Investigación
 Medición
Evaluación y Política
5
Concepto de Evaluación de
Programas en Educación
Evaluación (Gem, 2001-2004):
Proceso sistemático de indagación y comprensión de la
realidad educativa que pretende la emisión de un
juicio de valor sobre la misma, orientado a la toma de
decisiones y la mejora.
6
Evaluación de Programas y otros
conceptos
Sinónimo de Investigación Evaluativa
Diferente de:
 Investigación
 Medición
Evaluación y Política
7
Evaluación de Programas y otros
conceptos: Investigación Evaluativa
Investigación Evaluativa
Evaluar es tomar una decisión sobre la orientación y
el desarrollo de una acción, a partir de criterios
explícitos y consensuados, aplicados a una
información completa, sistemática, verificable y
pública.
La investigación evaluativa, sin embargo, pretende
comprender los resultados de la acción. No pretende
tanto constatar un resultado, cuanto comprender la
dinámica interna susceptible de explicar ese
resultado.
Evaluación/Investigación Evaluativa: SINÓNIMOS
8
Evaluación de Programas y otros
conceptos
Sinónimo de Investigación Evaluativa
Diferente de:
 Investigación
 Medición
Evaluación y Política
9
Evaluación de Programas y otros
conceptos: Investigación
Investigación Básica
Finalidad
Punto de partida
del proceso
Papel del
investigador
Criterios de
validez de
resultados
Audiencia
Buscar nuevos conocimientos que
incrementen el cuerpo teórico de
los fenómenos educativos
(Anderson y Ball, 1983; Guttentag
y Snaper, 1983; Weiss, 1983;
Isaac, y Michael, 1984; De la
Orden, 1985c).
Requiere la formulación clara y
precisa de hipótesis como punto
de partida
El investigador es el que establece
y selecciona el problema o las
cuestiones que desea investigar
Investigación Evaluativa
Proporcionar información de
inmediata puesta en práctica
sin necesidad de ofrecer
conocimientos generalizables
No requiere la formulación
clara y precisa de hipótesis
como punto de partida
El investigador está
subordinando a las demandas,
problemas y cuestiones que
otros necesitan
Se apoya en criterios de validez
Además de apoyarse en
interna y externa (Campbell y
criterios de validez debe ser:
Stanley, 1966) así como validez
útil, comprensible, relevante y
estadística y de constructo (Mark y
práctica (Patton, 1984)
Cook, 1984)
Los resultados se dirigen a una
Los resultados se dirigen a una
audiencia universal
audiencia particular
Implicación en el
mundo de valores
Menos implicación
Bastante o mucha implicación
Informe
Utilizan un lenguaje que se ajusta
más a las normas académicas que
rigen la comunidad científica
Utilizan un lenguaje que debe
ser siempre comprensible a
quién se dirigen los resultados
10
Evaluación de Programas y otros
conceptos: Medición
Medición: establecer la cantidad o
extensión de algún fenómeno
Evaluación: sustentar/emitir un
juicio de valor aecrca de algún
fenómeno
11
Qué es la Evaluación de
Programas
Sinónimo de Investigación Evaluativa
Diferente de:
 Investigación
 Medición
Evaluación y Política
12
Evaluación de Programas y otros
conceptos: Política
Evaluación y Política
“La evaluación se inscribe dentro de la tradición
científica. (...) Pero la ciencia es sólo parte de la
historia y, diría, una parte subordinada. Si la
evaluación no es primeramente una actividad
científica, entonces, ¿qué es? Es primero y sobre todo
una actividad política, una función práctica dentro de
un sistema social” (Cronbach, 1977)
13
Evaluación de Programas y otros
conceptos: Política
Sistemas de valores y creencias
Metapostulados de la ciencia
dominantes
Ideología política dominante
Políticos
Investigadores
Evaluadores de
programas
Programadores sociales
Estructura y sistemas de promoción
de la investigación aplicada
Estado de la ciencia
Conceptos básicos
Sistema político
Recursos económicos
Relaciones entre ciencia y política en evaluación de programas
(tomado de Fernández Ballesteros, 1987)
14
Cómo surge la Evaluación de
Programas en Educación
Breve
sinopsis
Etapa del inicio. Siglos XVII y XVIII
Etapa de la Reforma. Siglo XIX
Etapa de los tests. 1900-1929
Etapa tyleriana (1930-1945).
Etapa de la inocencia (1945-1957).
Etapa de la expansión (1957-1972).
Etapa de la profesionalización (1973-1980)
La situación actual.
15
Cómo surge la Evaluación de
Programas en Educación
Popham (1980), De la Orden
(1982),Salmerón (1997),
Casanova (1999), Jiménez
(1999), Mateo (2000a), Gómez i
Serra (2000), Pérez Juste
(2000a, b) Jornet (2001) y el
Tesauro de Evaluación (Scriven,
1991).
Evaluación de
Aprendizajes
Evaluación de
Programas
Evoluciona hacia una
concepción más global del
rendimiento educativo, y su
evaluación
Evoluciona hacia una
concepción más diversificada
de los objetos y los métodos
de evaluación
Evaluación
Educativa
Evolución del concepto de evaluación educativa.
16
Qué áreas atiende (I)
Situación
educativa:
Escenarios
Inform
al
Formal
So
ci
al
Sistema Educativo
No-Formal
Programas Socioeducativos
Enfoque Político
Instituciones
Instituciones
Aula
Acciones Formativas
Individual
17
Qué áreas atiende (II)
La Educación actúa mediante
Programas
(Intervenciones orientadas a un
fin/meta educativa)
Diverso grado de formalización
Componentes de un Programa: Medios y recursos materiales y humanos, concreción del
diseño de actuación y metodología, objetivos, etc…
18
Qué áreas atiende (III)
Unidades de Evaluación:
Actores de la Educación (las personas)
Organizaciones
Elementos Materiales
19
Qué áreas atiende (IV)
Actores de la Educación:
las Personas
Alumnos/as
Profesores/as
Agentes de la Educación
20
Qué áreas atiende (V)
Organizaciones Educativas
Sistemas Educativos
Instituciones Educativas
Agrupaciones organizativas
21
Qué áreas atiende (VI)
Elementos Formales de Materialización
de la Intervención Educativa
Proyectos
Diseños Curriculares
Programas
Materiales
22
Componentes del diseño: las
preguntas de la evaluación (I)
La Planificación de la Evaluación constituirá la
adaptación del Plan de Evaluación a la realidad que
pretende evaluar, anticipando, en la medida de lo posible,
todos los componentes que estarán presentes en la
situación evaluativa.
Objetivo de la Planificación: asegurar la validez y
utilidad de la Evaluación.
23
Componentes del diseño: las
preguntas de la evaluación (II)
Objeto de la
¿Qué se evalúa?
evaluación
Finalidad de la
¿Para qué se evalúa?
evaluación
¿Quién orienta o encarga la
evaluación?
Audiencias o
¿Quién realiza la Evaluación?
colectivos implicados
¿Qué audiencias están
implicadas?
24
Componentes del diseño: las
preguntas de la evaluación (III)
Fuentes e
Instrumentos de
Información
Momentos de recogida
de información
Análisis de la
información
Difusión de la
Información
¿Qué información se requiere?
¿A quién se le demanda
información?
¿Cómo se recoge la
información?
¿Cuando se recoge la
información?
¿Cómo se analiza y sintetiza
la información?
¿Quién tiene derecho de
acceso a la información?
¿Cómo se elaboran los
informes de evaluación?
25
Definición del Objeto de Evaluación
¿Qué se evalúa? (I)
Se trata de identificar las características del Objeto a Evaluar.
Referencias:
1. Concepto de Calidad
2. Elementos para operativizar el concepto:




Los objetivos y consecuencias de la formación.
Las unidades de análisis: el sujeto, el servicio o el programa.
Las tipologías de formación.
La definición de efectos a evaluar: eficacia, eficiencia, funcionalidad
26
Definición del Objeto de Evaluación
¿Qué se evalúa? (II)
Características de
los enfoques de
Calidad de Servicio
y del Programa
(Perales, 2002)
Objetivo
de
análisis
Clave
Indicador
Fuentes
Dificultad
técnica
Calidad del Servicio
Bondad estructural y
funcional de los
Programas de Formación
Análisis del Proceso
educativo
Adecuación de los
diferentes elementos
implicados en las
Acciones Formativas
(infraestructuras, medios
y materiales, …)
Opiniones de los
“clientes” (alumnos y
empleadores)
Operativizar el concepto
de calidad del proceso
educativo
Calidad del Programa
Grado en que se han
conseguido los objetivos
del Programa
Análisis del Impacto
Nivel de inserción para
diferentes cortes
temporales (corto,
medio, largo plazo)
Bases estadísticas de
datos
Seguimiento individual a
medio y largo plazo de
los alumnos.
Diseño
cuasiexperimental
27
La definición de efectos a evaluar
Eficacia: grado de consecución de objetivos. ( C
B)
Eficiencia: grado en que se optimizan los recursos en la
consecución de objetivos. ((E,D)
B)
Funcionalidad: adecuación de todo el proceso a las necesidades,
aspiraciones y expectativas sociales.((E,D,C,B)
A)
Modelo sistémico de
Arturo De la Orden
Efectos a evaluar:
Eficacia
Eficiencia
Funcionalidad
Contexto sociocultural y económico de la
Educación
A
Necesidades, aspiraciones y expectativas sociales
a que debe responder la educación/institución
escolar
B
Metas y objetivos de la Educación
C
Productos educativos
Aprendizajes y equipamiento intelectual de los
estudiantes
D
Procesos
Organizativos
Directivos y de
Curriculares
liderazgo
Instructivos
Administrativos y
Investigadores
gerenciales
Evaluativos
Recursos humanos
Recursos económicos
Recursos materiales
E
Entradas al sistema escolar
Estudiantes: Número y características
Profesores: Número y características
Recursos asignados
28
Finalidad de la Evaluación
¿Para qué se evalúa? (I)
Se trata de determinar el uso de la Evaluación (Scriven, 1967):
¿Identificar aspectos a Mejorar en un Programa o Calificarlo?
Objetivo último
Indicadores
Uso en FPO
Otras
finalidades
vinculadas
Evaluación Formativa
Mejorar el programa de
formación
Descripción de los procesos de
formación, de un modo
concreto, pormenorizado y
comprensivo.
Procesos de autoevaluación
para la mejora
1. Mejora de la eficacia
2. Mejora de la eficiencia
Evaluación Sumativa
Determinar el nivel de calidad de
un programa
Resumen sintético del programa
Evaluaciones de orientación
político-administrativa
(ev. macroestructural)
3. Demostración de
responsabilidad institucional
4. Demostración del valor/utilidad
del programa
5. Planificación de oferta
formativa
29
Identificar las audiencias implicadas
(I)
Concepto de Audiencia
Weiss (1984), incluye:
“tanto los miembros de los grupos que están
palpablemente afectados por el programa y que, por
tanto, estarán supuestamente afectados por las
conclusiones evaluativas, como aquellos miembros de
los grupos que toman decisiones en relación con el
futuro del programa, tales como continuar o no con
la financiación, o que pueden alterar el programa”.
30
Identificar las audiencias implicadas
(II)
Cuestiones implicadas
¿Quién orienta o
encarga la
evaluación?
¿Quién realiza
la Evaluación?
¿Qué audiencias
están
implicadas?
Identificar el grado y tipo de
responsabilidad política y administrativa
de quien encarga la evaluación.
Identificar quién va a ser el responsable de
llevar a cabo el proceso de evaluación.
Identificar los actores del proceso que se
va a evaluar para definir su rol en el Plan
de Evaluación.
31
Identificar las audiencias implicadas
(III)
¿Quién orienta o encarga la Evaluación?
Identificar las expectativas del cliente ayuda a ajustar
mejor el plan de evaluación (finalidad, consecuencias,
usos…)
Negociación y contrato de la evaluación
32
Identificar las audiencias implicadas
(IV)
¿Quién realiza la Evaluación? (II)
Se trata de identificar quién va a ser el responsable de la Evaluación
Afecta a la Credibilidad y al Coste de la Evaluación
Opciones:
Evaluación Externa vs. Evaluación Interna
…¿o bien,Mixta?
Atención:
“Externo o Interno” debe identificarse como un rol respecto del Programa
Evaluado
33
Identificar las audiencias implicadas
(V)
¿Qué audiencias están implicadas? (III)







Alumnos. Como sujetos de la Formación.
Profesores, tanto de actividades teóricas como prácticas, como
agentes directos de la Formación.
Orientadores (Profesionales y Ocupacionales), como facilitadores
de la integración socio-laboral.
Coordinadores de Formación y/o Directores de Organizaciones
dedicadas a la formación, como responsables de la misma.
Empleadores, como receptores del producto formativo o como
proveedores del capital que hace posible la formación.
Instituciones Públicas y/o Privadas, que proveen fondos de
formación.
Sociedad, como receptora última del producto formativo o como
subvencionadora de estos programas.
34
Fuentes e instrumentos de recogida
de información (I)
Cuestiones implicadas
¿Qué
información se
requiere?
¿A quién se le
demanda
información?
¿Cómo se
recoge la
información?
Identificar cuál es la información
verdaderamente relevante para el proceso
evaluativo.
Identificar quién puede aportar la
información relevante.
Decidir acerca de la Técnica Evaluativa o
Instrumento de Medida más adecuado para
llevar a cabo la recogida de información.
35
Fuentes e instrumentos de recogida
de información (II)
¿Qué información se requiere?



Se trata de identificar cuál es la información relevante y de calidad
para la evaluación
La información requerida debe cumplir dos requisitos
fundamentales:
Pertinencia / relevancia
Evaluabilidad
Tipos de información:
Descriptiva
Explicativa
36
Fuentes e instrumentos de recogida
de información (III)
Estrategia de selección de información
¿Qué información es relevante según la finalidad y el objeto de la
evaluación?
¿Es evaluable?
¿Podemos interpretarla?
¿Es fiable y válida?
¿Qué papel juega cada información?
Contexto
Entrada
Proceso
Producto
37
Fuentes e instrumentos de recogida
de información (IV)
Variables e Indicadores

Las informaciones a considerar son llamadas variables, dado
que son aspectos de la realidad que pueden adoptar
distintos valores, que varían

Un Indicador es un dato o resultado susceptible de una
interpretación inequívoca o normalizada, que informa del
estado o evolución de algún fenómeno

Cuatro tipos de variables o indicadores, según su rol en el
Plan de Evaluación
38
Fuentes e instrumentos de recogida
de información (V)
Clasificación de información
Adaptado a partir del Modelo CIPP de
Sttuflebeam y otros (1971)




Variables / Indicadores Contextuales son aquellos que nos pueden
ayudar a modular la interpretación de la Evaluación del Programa
teniendo en cuenta la situación en que se inserta
Variables / Indicadores de Entrada (Input) son los referidos a los
medios con que se cuenta para el desarrollo del Programa, tanto
medios materiales como personales
Variables/ Indicadores de Proceso son los relativos al “Cómo se
produce la Formación”, es decir, todas las implicadas en el
desarrollo del Programa
Variables / Indicadores de Producto -o Resultados de la Formaciónson aquellos que pueden poner de manifiesto el logro de objetivos
del programa
39
Fuentes e instrumentos de recogida
de información (VI)
Tabla de selección de información
Rol / tipo
Contexto
Entrada
Proceso
Producto
Variable /
indicador
Desarrollo
tecnológico…
Oferta de
formación
…
Infraestructura
Puestos para
prácticas
Nº Alumnos
…
…
…
¿Es
evaluable?
¿Podemos
interpretarla?
¿Es fiable y
válida?
Si
Si
Si
Si
Si
Si
40
Fuentes e instrumentos de recogida
de información (VII)
¿A quién se le pide información?
¿Quién puede aportar la información requerida de una
manera más fiable y válida?
Alumnos
Profesores
Responsables de formación
Supervisores
Bancos de datos
¿Existe más de una posibilidad?
SI
¿Cuál es la más operativa?
¿Interesa triangular fuentes?
¿Es factible el acceso a la información?
¿Puede haber perturbaciones en el programa de
formación?
¿El banco está actualizado?
¿Hacen falta permisos especiales para acceder?
41
Fuentes e instrumentos de recogida
de información (VIII)
Tabla de fuentes de información
X
X
Medios disponibles en las aulas
X
X
X
X
Actuación del Profesorado
X
Entrada
Sistema de selección de alumnos
Infraestructura (aulas teóricas, prácticas…)
Nº de sesiones teóricas
X
Metodología didáctica
X
X
X
Otras fuentes
Coordinador
X
X
Características de los profesores
Observador
Externo
Profesores
X
Variables /
Indicadores
Características de alumnos
Proceso
Fuentes de información
Alumnos
Tipo
Síntesis de variables/indicadores y fuentes de
información.
X
X
X
X
X
X
X
X
………
Producto … … …
Contexto … … …
42
Fuentes e instrumentos de recogida
de información (IX)
¿Cómo se recoge la información?
Tipos de instrumentos, según el grado de estandarización:
Instrumentos de Medida: pruebas de rendimiento/capacitación,
y buena parte de los Cuestionarios o Escalas de Opinión.
Técnicas Evaluativas: Entrevista, Auto-informes, Registros
Observacionales.
Criterios de selección de instrumentos:
Adecuación al tipo de información a recoger
Criterios técnico-metodológicos, y
Oportunidad (la logística de la evaluación)
43
Momentos de recogida de información
¿Cuándo se recoge información?
Momentos: Previo, Inicio,
Durante, Final y Después del
programa.
(Pérez Carbonell, 1998)
Considerando:
 El tipo de información (contexto, entrada, proceso, producto)
 La fuente e instrumento más adecuados
 La logística de la evaluación
Es necesario decidir para cada información
Medida única
¿Cuántas medidas debemos recabar?
Medidas repetidas
¿Cuándo se deben establecer?
¿Es conveniente
adoptar esos
momentos para la
evaluación?
Antes del Programa
SI
Durante su realización.
¿Existe una estructura que
determine los momentos?
¿Es conveniente
introducir otros
momentos?
NO
A la finalización del Programa
¿Cuándo se ha de medir el producto o
impacto del Programa?
¿Una o varias medidas?
¿Cuáles son los
momentos más
adecuados?
 Corto plazo
 Medio plazo
 Largo plazo
44
Análisis de la información
¿Cómo se analiza y sintetiza la información?
Del Análisis de Datos depende una correcta interpretación de la
Evaluación
La estructura inicial del Análisis de Datos deviene del Diseño de la
Evaluación
Tipos de Análisis
Análisis cuantitativo:
El Análisis Exploratorio de Datos (AED) es una fase crucial en el Análisis:
de él depende buena parte de la selección de técnicas a aplicar
El Análisis Confirmatorio de Datos (ACD) está orientado a determinar los
efectos del Programa y a explicar los niveles observados en la Evaluación
Análisis cualitativo de datos
Recomendaciones
El Análisis de Datos es una tarea dinámica, que debe ir reajustándose a
la vista de los resultados
Hay que ser muy preciso y claro al explicar los análisis realizados
45
Difusión de la información (I)
¿Quién tiene
derecho de
acceso a la
información?
¿Cómo se
elaboran los
informes de
evaluación?
Identificar los actores del proceso objeto de evaluación
que tienen derecho a información.
Identificar qué informes deben realizarse y ajustar su
formato de acuerdo a las características de la Audiencia a
que se dirigen.
46
Difusión de la información
(II)
¿Quién tiene derecho de acceso a la información?
Dar información es básico para que la Evaluación sea creíble y útil
Como principio general puede asumirse que todo aquél que esté
implicado en el proceso, bien porque es evaluado -directa o
indirectamente al evaluar el Programa de Formación-, bien porque
está implicado como fuente de información tiene derecho a conocer
resultados, los que le afectan directamente o los que le pueden ser
útiles para sus decisiones acerca del Programa.
Es conveniente recoger en el Contrato de Evaluación las
responsabilidades en cuanto a la Custodia y usos posteriores de
los resultados
47
Difusión de la información
(III)
¿Cómo se elaboran los informes de evaluación?
Informes a realizar:
Informe Global en el que se incluyan todos los elementos
implicados en la Evaluación
Informes específicos por audiencias
Recomendaciones:
Contextualización de la Información y claridad son dos principios básicos
para elaborar los Informes de Evaluación
Debe incluirse una Síntesis y Recomendaciones en los Informes
Los informes destinados a cada colectivo específico incluirán sólo la
información que pueda interesarles o afectarles, adaptando el lenguaje y
sistema de exposición a sus características
48
Difusión de la información
(IV)
¿Cómo se elaboran los informes de evaluación?
Aspectos a tener en cuenta en el Informe Global:
¿Se ha incluido una presentación Metodológica?
¿Se reseñan todos los componentes de Planificación de la
Evaluación?
¿Se incluyen todos los resultados?
¿El lenguaje es claro y preciso?¿Se han desarrollado gráficos de
apoyo?
¿La información está bien contextualizada?
¿Se realiza una síntesis adecuada?
¿Se aportan recomendaciones?
49
Difusión de la información
(V)
¿Cómo se elaboran los informes de evaluación?
Aspectos a tener en cuenta en los informes específicos de cada
audiencia:
¿Se incluye la información de interés para la audiencia a que va
dirigido?
¿La información está contextualizada?
¿El lenguaje se ajusta al nivel de la audiencia?
¿En suma, es representativo de los resultados completos?
50
¿Cómo utilizar los resultados de la
Evaluación?
Utilidad, para el cliente y los distintos
implicados
Justicia. Representación justa de la
calidad del programa
Equidad. Garantía de igualdad de
opotunidades y el tratamiento diferencial,
evitando sesgos.
51
Muchas gracias por su atención
52