Transcript Evaluación Cualitativa en Programas Sociales

Evaluación cualitativa (y cuantitativa) en
programas sociales
Algunos elementos sobre la importancia de la Evaluación
en los Programas del DIF
XIV Encuentro Nacional y Desarrollo Comunitario
Desarrollo Integral de la Familia (DIF)
Gabriela Vázquez Cermeño
Con la colaboración de:
Ana Núñez Interiano y
Silvia A. Vázquez Hernández
Noviembre 26, 2014
Huatulco, Oaxaca
CONTENIDO
1. Aspectos generales sobre la evaluación de los programas
sociales.
2. Evaluación de impacto: Metodología Cualitativa – Cuantitativa
o Métodos Mixtos.
3. Presentación de algunos ejemplos de evaluación:
 Progresa- Oportunidades – PROSPERA.
 Programa de Desarrollo Comunitario del DIF: Comunidad
DIFerente.
4. Algunas recomendaciones para la evaluación de los
programas del DIF.
Importancia de la evaluación de programas sociales
¿Por qué es necesario evaluar
los programas sociales?
 Para
conocer
las
características,
resultados y/o efectividad de las
intervenciones públicas y hacer las
Importancia de a
correcciones pertinentes.
 Dependiendo del tipo de evaluación que
se diseñe e implemente, se puede obtener
información específica de interés.
Importancia de la evaluación de programas sociales
La evaluación
de un
programa
social debería
poder
responder las
siguientes
preguntas:
• ¿La intervención está
produciendo los beneficios
previstos?
• ¿Cuál es el impacto general que
tiene el programa en la
población?
de a
•Importancia
¿Se podría
diseñar mejor el
programa o proyecto para
lograr los resultados previstos?
• ¿Se están empleando los
recursos en forma eficiente?
Normatividad de la evaluación de programas sociales en México
Desde el año 2005 se creó el Consejo Nacional
Evaluación de la Política de Desarrollo Social (CONEVAL).
de

Es el órgano encargado de normar y coordinar la
evaluación de la Política Nacional de Desarrollo Social y
las políticas, programas y acciones que ejecuten las
dependencias públicas.

Se encarga de establecer
los criterios y lineamientos
Importancia de a
para las metodologías de evaluación sobre la política y
los programas de desarrollo social.
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
Normatividad de la evaluación de programas sociales en México
Evaluación
 Es el análisis sistemático y objetivo de los programas
federales y que tiene como finalidad determinar la
pertinencia y el logro de sus objetivos y metas, así
como su eficiencia, eficacia, calidad, resultados,
impacto y sostenibilidad.
 Mediante la evaluación,
se busca generar insumos
Importancia de a
relevantes que apoyen la toma de decisiones sobre
ajustes y mejoras al diseño y operación del programa,
mejorando así la efectividad y eficiencia del uso de los
recursos y la rendición de cuentas.
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
Tipos de Evaluación según el CONEVAL
a)
b)
c)
d)
Evaluación de Consistencia y Resultados
Evaluación de Indicadores
Evaluación de Procesos
Evaluación de Impacto. Identifica con metodologías
rigurosas el cambio en los indicadores a nivel de
resultados atribuible a la ejecución del programa
Importancia de a
federal.
e) Evaluación Específica
f) Evaluaciones Estratégicas
Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.
Sistema de Evaluación del Desempeño - CONEVAL
Las evaluaciones normadas por el CONEVAL tienen requisitos
específicos. Estas evaluaciones y sus resultados forman parte del
Sistema de Evaluación del Desempeño y se articularán
sistemáticamente con la planeación y el proceso presupuestario.
Componentes del Sistema de Evaluación del Desempeño
Presupuesto Basado en
Resultados (PbR)
Importancia de a
Evaluación de
Políticas Públicas y
Programas
Presupuestarios
Sistema de Evaluación
del Desempeño
(SED)
Programa Anual de Evaluación
(PAE)
Fuente: SHCP. Sistema de Evaluación del desempeño .
•Indicadores
•Metodología del Marco Lógico
•Nueva organización del proceso
presupuestario
•Asignación de recursos con base en
resultados
Gestión para la
calidad del gasto
Evaluación de impacto: Metodología
Cualitativa – Cuantitativa o Métodos
Mixtos.
Evaluación de Impacto
El impacto (α) de un programa es la diferencia entre los resultados (Y) de la
misma persona cuando ha participado y cuando no ha participado en el
programa.
Importancia de a
Fuente: Gertler et al. (2011) y Martínez (2014).
Evaluación de Impacto
… Esto no es posible, por lo tanto…
Importancia de a
Fuente: Gertler et al. (2011) y Martínez (2014).
Principales pasos en el diseño e implementación de una Evaluación de Impacto
Durante la identificación y preparación del proyecto
1. Determinar si realizar o no una evaluación e identificar las preguntas de política
pública relevantes
2. Aclarar los objetivos de la evaluación
3. Examinar la disponibilidad de datos
4. Diseñar la evaluación
5. Formar el equipo de evaluación
6. Si se recopilan datos:
(a) Diseñar y seleccionar muestras
(b) Elaborar instrumentos de recopilación de datos
(c) Reunir y capacitar personal para trabajo en terreno
(d) Realizar pruebas piloto
Importancia de a
(e) Recopilar datos
(f) Administrar datos y acceder a ellos
Durante la implementación del proyecto
7. Recopilar datos actuales
8. Analizar los datos
9. Redactar los resultados y analizarlos con las autoridades responsables y otras partes
interesadas
10. Incorporar los resultados en el diseño del proyecto
Tomado de Baker, (2000:17)
Diseños de Evaluaciones: Cualitativas vs. Cuantitativas
Tradicionalmente la evaluación de impacto se realiza utilizando
metodologías cuantitativa, aunque también se utiliza métodos
mixtos.
Metodología
Cuantitativa
Metodología
Cualitativa
Diseños deImportancia de a
control
Estudios de caso
experimental o
aleatorio
Diseños no
experimentales o
cuasi
experimentales
Etnografía
Características de los Métodos Cualitativos
• El propósito de los Métodos Cualitativos es explorar las relaciones
sociales y describir la realidad tal como la experimentan sus
protagonistas.
• La investigación cualitativa requiere un profundo entendimiento
del comportamiento humano y las razones que lo gobiernan.
• A diferencia de la investigación cuantitativa, la investigación
cualitativa busca explicar las razones de los diferentes aspectos de
tal comportamiento.
Importancia de a
• En otras palabras, investiga el por qué y el cómo se tomó una
decisión, en contraste con la investigación cuantitativa, que busca
responder preguntas tales como cuál, dónde, cuándo, cuánto.
• La investigación cualitativa se basa en la toma de muestras
pequeñas, esto es la observación de grupos de población
reducidos, como salas de clase, una comunidad, etcétera.
Diseños de Evaluaciones: Métodos Mixtos
 Cuando se utilizan de forma aislada, los métodos
Cuantitativos y Cualitativos de evaluación tienen ventajas y
desventajas.
 Ventajas:
M. Cuantitativo: se pueden medir y analizar los datos; se pueden probar hipótesis
en diseños experimentales o quasi-experimentales utilizando información
estadística.
M. Cualitativo: es flexible; se obtiene información detallada; se puede observar el
contexto y el sentido del sujeto que se estudia.
Importancia de a
 Desventajas:
M. Cuantitativo: no se toma en cuenta el contexto particular de la población de
estudio; requiere una muestra más amplia para obtener resultados
estadísticamente representativa y generalizable.
M. Cualitativo: requiere mucho tiempo y puede presentar sesgos del investigador.
 El objetivo de los Métodos Mixtos es aprovechar las ventajas
de ambos enfoques e integrarlos para superar sus desventajas
y potenciar sus ventajas.
Presentación de algunos ejemplos de evaluación:
 Progresa- Oportunidades – PROSPERA.
 Programa de Desarrollo Comunitario del DIF:
Comunidad Diferente
Un ejemplo de un Programa Multievaluado:
Progresa - Oportunidades - PROSPERA
Modelo integral de la evaluación de impacto
I
N
T
E
G
R
A
L
I
D
A
D
Externa e
independiente
Enfoques
Niveles de
Análisis
Dimensión
Temporal
•Grupos Asesores de la Evaluación
•Reconocidas instituciones académicas y de investigación
•Acompañamiento del BID, se suma CONEVAL
• Cuantitativo
• Cualitativo
•
•
•
•
Hogares e Individuos
Grupos etarios, étnicos
Localidades
Clínicas (proveedores de servicios) y Escuelas modalidad de
escuela)
Importancia
•Transversal de a
•Longitudinal (Corto, Mediano y Largo Plazo)
•Ex ante y ex post
Grupos de
Estudio
•Grupos de tratamiento
•Grupos de comparación: sin Programa, por tiempos de
exposición al Programa
Temáticas
•Socioeconómicos y/o Demográficos
•Biológicos/antropométricos
•Desarrollo cognitivo, habilidades, logro educativo
•Dinámica familiar
•Infraestructura y dinámica comunitaria
•Otras
Resultados de la Evaluación de Impacto del PDHO
• Logros en Educación
1
Hubo una reducción de 23.7% en el abandono escolar de los
jóvenes de 16 a 19 años de zonas urbanas.
2
Se logró un grado adicional en la escolaridad esperada de
jóvenes de 15 a 18 años en zonas rurales.
3
En zonas rurales se incrementó la probabilidad de entrar a la
secundaria de los niños y niñas de 12 a 14 años en 42 y 33 %
respectivamente.
Importancia de a
• Logros en Nutrición
1
La prevalencia de anemia en zonas rurales fue 7.2% menor en niños
beneficiarios de 48 a 59 meses de edad.
2
Los niños beneficiarios en zonas rurales de 24 a 71 meses de edad
crecieron en promedio 0.67 cm. más que los niños no beneficiarios.
Un ejemplo de un Programa Multievaluado:
Progresa - Oportunidades - PROSPERA
Evaluación de Impacto Cualitativa
La evaluación cualitativa de impacto de Oportunidades en zonas rurales 2007- 2008
Coordinadora de la evaluación: Mercedes González de la Rocha – CIESAS Occidente
Investigadores: Alejandro Agudo Sanchíz, Armando Haro, Juan Luis Sariego, Gabriela Sánchez.
•
Objetivo principal
Esclarecimiento de los procesos que llevan a un impacto diferencial en la
población incorporada al programa, según su condición étnica.
•
Muestra Analítica de Hogares
1. Se eligieron doce microrregiones rurales étnicamente diversas en cuatro estados del país.
2. Se eligieron Hogares según las variables: ETNICIDAD E INCORPORACIÓN O NO AL
PROGRAMA. Cuatro casos de cada uno de los siguientes tipos:
Indígenas Beneficiarios (N=4)
No Indígenas Beneficiarios (N=4)
Indígenas No Beneficiarios (N=4)
No Indígenas No Beneficiarios (N=4)
En total 16 hogares por micro-región.
Tipos de hogares . En los 8 casos de estudio de hogares beneficiarios se seleccionaron aquellos
de larga exposición al Programa.
Resultados de la Evaluación de Impacto del PDHO
• Evaluación Cualitativa
1


2
El Programa ha contribuido a cerrar dos importantes brechas
en escolaridad: étnica y de género.
La prolongación de las trayectorias educativas es mayor entre
indígenas que entre no Importancia
indígenas,deyatambién mayor entre
mujeres que entre hombres.
Mejoras al PHDO- PROSPERA a partir de las
recomendaciones de la evaluación de impacto
Recomendaciones
Acciones implementadas
Mejorar las sesiones
educativas de autocuidado
de la salud
Sustitución de las “pláticas” por talleres de capacitación y
mejoramiento del Paquete Básico de Servicios de Salud.
Mejorar la promoción para
asegurar el uso adecuado
del Nutrisano
 Mejora de la comunicación educativa para la preparación y
uso del complemento.
 Mejora en la distribución y entrega del complemento.
Cambiar el formato de
hierro utilizado en los
complementos para
mejorar la efectividad de
los impactos en la nutrición
 Cambio en la fórmula de hierro para mejorar la biodisponibilidad.
 Se aumentó la cantidad de algunas vitaminas y minerales.
 Realización de un estudio de eficacia de tres tipos de
complementos para mejorar el crecimiento y desarrollo en niños, y el
estado de nutrición en mujeres.
Ejemplo de Investigación sobre el Programa de Desarrollo Comunitario del DIF:
Comunidad DIFerente: Tesis de Luz Helena Salgado
• Duración de la evaluación: 1 a 2 años
• Métodos y técnicas empleados: Mixto. Cuantitativo Encuesta y Cualitativo – Entrevistas semiestructuradas
• Tamaño y representatividad muestral:
– Baja California 25 grupos – solo una ronda
– Nuevo León 66 grupos (primera ronda), 46 grupos
(segunda ronda)
Importancia de a
• Principales resultados:
– Hay autonomía en la definición del Programa a nivel
estatal.
– Su viabilidad depende de decisiones a nivel estatal.
• Actualmente se está realizando un Diagnóstico del
Programa por un evaluador externo.
Algunas recomendaciones para la
evaluación de los programas del DIF
Consejos para realizar evaluaciones con recursos escasos
Cuando se cuenta con poco tiempo y recursos limitados para invertir en
evaluaciones de impacto y poca experiencia profesional en evaluaciones,
pueden seguir los siguientes consejos:
• Comience gradualmente y extienda el alcance a medida que obtiene
experiencia.
– Por ejemplo: realizar un estudio diagnóstico rápido para diseñar un
cuestionario.
• Asegúrese de que los hallazgos sean metodológicamente correctos y
creíbles para las partes interesadas.
– No gaste todos sus recursosImportancia
en encuestas
dede
a muestras extensas si las partes
interesadas aceptan estudios de caso y descripciones exhaustivas de cómo
funciona realmente el programa.
– El muestreo puede asegurar que se pueda seleccionar una pequeña cantidad
de estudios de caso para garantizar que sea representativa en líneas generales
del total de la población objetivo, y así, aumentar la validez/credibilidad de los
hallazgos.
Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto
Consejos para realizar evaluaciones con recursos escasos
• Manténgase dentro de su presupuesto y nivel de
experiencia profesional.
– Algunas universidades enseñan sobre métodos mixtos y
quizás sea posible colaborar con un miembro del cuerpo
docente o estudiante de forma gratuita o por un costo
simbólico para una de sus asignaciones de campo. Muchos
estudiantes de posgrado podrían considerar la preparación
de un estudio de caso.
• Obtenga ayuda.
Importancia de a
– Existen muchos seminarios web y otros recursos en
Internet sobre el diseño y el uso de evaluación de
programas sociales.
Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto
¡Gracias por su atención!
Contacto:
[email protected]