Transcript MODELOS NO EXPERIMENTALES - CIDE
CLEAR-CIDE
Seminario Internacional
Cuarto Foro Global CLEAR
México, 18 y 19 de noviembre de 2013 Taller sobre evaluación cualitativa Dra. Myriam Cardozo Brum Universidad Autónoma Metropolitana
MÉTODO
Procedimientos de investigación basados en una postura epistemológica y un marco teórico.
Conjunto de sus objetivos.
principios, normas y operaciones que permiten seleccionar y coordinar ciertas técnicas para alcanzar
MÉTODOS
Polémica cuanti-cualitativa. Posición de la exposición Algunos autores que presentan esta posición: - Tarrés, María Luisa (2001), “Observar, escuchar y comprender.
Sobre la tradición cualitativa de la investigación social”, México: COLMEX – FLACSO – M. A. Porrúa.
- Cortés, Fernando y otros (2008), “Método científico y política social.
A propósito de las evaluaciones cualitativas de programas sociales”, México: El Colegio de México.
- Cardozo, Myriam (2012), “Evaluación y metaevaluación en las políticas y programas públicos. El estado del arte”, México: UAM-X.
- Cardozo, Myriam (2012), “Sistematización de la experiencia de evaluación de Evalúa DF en 2008. Metaevaluación y autoanálisis”, México: UAM-X- Evalúa DF.
- Puerta, Juan Manuel (2013), participación en el panel CLAD-AEVAL “Nuevos enfoques de evaluación de la acción pública Iberoamericana”, XVIII Congreso Internacional del CLAD, Montevideo, Uruguay.
ENFOQUES TEÓRICOS Y MÉTODOS
Énfasis positivista: CONEVAL Énfasis constructivista: EVALUA
Busca descubrir una verdad única y objetiva con un método similar al de las ciencias físico-naturales.
Considera que todos los programas deben ser evaluados en forma similar Aspira a la experimentales realización de estudios como la forma más rigurosa de identificar los impactos de un programa
Valora la
cuantificación (medición y pruebas) muy por encima de la aplicación de métodos cualitativos.
Promueve la realización de trabajos por expertos, en detrimento participación social.
de la Considera que existen múltiples y subjetivas verdades, identificables por métodos diversos en ciencias sociales.
Piensa que cada evaluación debe construirse en función de las características específicas del programa.
Considera que los estudios experimentales son muy difíciles y costosos, no han dado los resultados técnicos esperados
cuantitativos como cualitativos
y tienen importantes connotaciones éticas negativas.
Valora la contribución tanto de los métodos
Realiza trabajos especializados pero promueve la participación social para generar aprendizaje ciudadano y credibilidad de la evaluación.
Prioriza el análisis disciplinario de corte económico.
Enfatiza la necesidad de contar con equipos interdisciplinarios pertinentes al programa.
MÉTODOS Métodos cuantitativos.
Métodos cualitativos.
observación encuestas entrevistas grupos focales método DELPHI benchmarking análisis de textos
CRITERIOS CUALITATIVOS
- Calidad - Satisfacción del usuario - Congruencia - Oportunidad - Pertinencia - etc.
UNIDADES DE ANÁLISIS
Objeto de la evaluación:
Organizaciones
Políticas
Programas
Familias
Ciudadanos
Beneficiarios
Evaluaciones
EVALUACIÓN EN EL PROCESO DE POLÍTICAS Y PROGRAMAS PÚBLICOS
Gestación del Problema Público Ingreso a la Agenda Formulación de la Política Implementación Evaluación
TIPOS DE EVALUACIÓN EX-POST
De diseño o formulación
De procesos, operación o implementación
De resultados: logro de objetivos y metas
De impacto: el conjunto de cambios o efectos sobre el problema original provocados por la acción evaluada
Integral
EVALUACIÓN DEL DISEÑO
Coherencia externa:
Pertinencia frente al problema social a enfrentar Coherencia con la filosofía de la institución y sus otros planes y programas Coherencia interna:
Objetivos y metas bien definidos y jerarquizados Estrategias y acciones congruentes con anteriores Previsión de los recursos necesarios para su implementación Diseño de mecanismos de seguimiento y evaluación los
EVALUACIÓN DE LA IMPLEMENTACIÓN
Dificultades para realizar lo formulado Disponibilidad de recursos (cantidad, calidad, oportunidad) Eficiencia de la transformación de recursos en productos, servicios o transferencias Apego del funcionamiento a la normatividad Organización, y relaciones coordinación interorganizacionales Participación social Sistema de información Niveles de control y seguimiento Grados de ajuste y desviación de lo planeado Medidas de corrección adoptadas
EVALUACIÓN DE RESULTADOS E IMPACTOS
Outputs: productos, transferencias servicios o
Outcomes: impacto o conjunto efectos provocados en el problema de
Directos o indirectos Previstos o imprevistos Positivos o negativos De corto, mediano y largo plazo
PROCESO DE EVALUACIÓN INTEGRAL DE UN PROGRAMA
CONTEXTO INTERNACIONAL CONTEXTO NACIONAL: Condiciones económicas, políticas, sociales, otros programas, etc.
DISEÑO DEL PROGRAMA (pertinencia, objetivos, estrategias) RECURSOS: (cantidad, oportunidad) calidad, PROCESOS: (productividad, calidad) eficiencia, PRODUCTOS: (eficacia, oportunidad) IMPACTO EN EL PROBLEMA PÚBLICO: financieros humanos tecnológicos información tiempo - organización - coordinación - relaciones interorg.
- convocatorias - selección beneficiarios - participación social cobertura créditos subsidios servicios sociales - incremento de empleo - incremento de ingresos mejoramiento de la calidad de vida - satisfacción social
REQUISITOS Y EJEMPLOS METODOS CUALITATIVOS DE EVALUACIÓN
OBSERVACIÓN
Definir que queremos y podemos observar Elaborar una guía de observación Tipos: - tradicional - participante - investigación-acción Llevar actualizado observaciones el diario de
OBSERVACIÓN
Ejemplo: línea basal de un programa socio-ambiental Condiciones ambientales
Limpieza del lugar Rastros de incendios Estado de conservación de especies Información ambiental para turistas Conducta ecológica del turismo Actividades de restauración
OBSERVACIÓN
Ejemplo: línea basal de un programa socio-ambiental Condiciones socio-económicas
Estado de conservación de las calles y viviendas (paredes, pisos, techos) Calidad y limpieza del vestido de los habitantes, Comercios en la zona Servicios: escuelas, hospitales, centros de salud Existencia y estado de la plaza principal Edificios de gobierno: oficina, muebles y equipos Iglesias Disposición de alumbrado, drenaje, telefonía, agua potable, gas
ENCUESTA: UNIVERSO DE ESTUDIO
Conjunto de personas, familias u organizaciones que comparten un atributo. Ejemplo: ser receptores de los servicios, transferencias o bienes de un programa.
ENCUESTA: DISEÑO MUESTRAL
Muestra: subconjunto de la población o universo.
Condiciones: - Permitir la prueba de la hipótesis.
- Representatividad resultados obtenidos generalizables al universo.
DISEÑO MUESTRAL
Selección de la muestra: 1. Definición del marco muestral o universo.
2. Determinación del tamaño muestral.
3. Elección de las unidades que integran la muestra: - probabilística o aleatoria - no probabilística
CONFECCIÓN DE LOS INTRUMENTOS DE RECOLECCIÓN DE LA INFORMACIÓN
Cuestionarios, guías de observación, de entrevista
Confección de instrumentos provisorios de recolección de información Prueba piloto Confección de instrumentos definitivos para la recolección de la información
APLICACIÓN Y PROCESAMIENTO DE LOS INTRUMENTOS DE RECOLECCIÓN DE INFORMACIÓN
Selección y capacitación de encuestadores Organización y logística del trabajo de campo Control de calidad de la información recogida:
Cuestionarios completos
Datos dentro de intervalos aceptables Codificación de respuestas Aplicación de un paquete estadístico: Excel, SPSS.
PLAN DE ANÁLISIS
Síntesis indicadores.
de la información recogida por
Apreciación de la naturaleza de los indicadores y las escalas de medición (nominal, ordinal, intervalar, de razón)
Seleccionar las herramientas estadísticas apropiadas en caso que se deseen aplicar.
Análisis de la distribución y de la relación existente entre variables.
TÉCNICAS ESTADÍSTICAS
Se aplican a los atributos de las unidades de análisis (variables o indicadores).
Dependen del nivel de medición: - nominal - ordinal - intervalar - de razón
TÉCNICAS ESTADÍSTICAS
Nivel de Medición Nominal Ordinal Intervalo Razón Técnica Estadística No paramétricas No paramétricas Paramétrica y no paramétricas Paramétrica y no paramétricas Ejemplos Frecuencia Moda Mediana Corr. Spearman Media Desviación st.
Media Geométr.
Coef. de Variac.
ENCUESTA
EJEMPLO DE PREGUNTAS PARA CONOCER PERCEPCIONES SOBRE FUNCIONAMIENTO Y SATISFACCIÓN
¿Considera que el programa funciona bien o mal y por qué?
¿Cuáles cree que sean los principales problemas del programa?
¿Se considera satisfecho con beneficios del programa?, ¿por qué?
los
¿Considera que el programa beneficia a las personas más pobres?
¿Qué recomendaría para mejorar el programa?
ENTREVISTAS
Identificar a los informantes-clave Preparar un guión adecuado a cada caso Introducción para exponer el objetivo, la difusión planeada y lograr confianza Autorización para grabar Arte de preguntar: - seleccionar preguntas - insistir sobre lo evitado - aclarar lo dudoso - solicitar documentos de apoyo
ENTREVISTAS
EJEMPLO DE TEMAS A TRATAR EN UNA EVALUACIÓN DE OPERACIÓN
Presupuesto anual autorizado y ejercido.
Porcentaje de beneficiarios presentan carencias extremas.
que
Cobertura de beneficiarios alcanzada.
Número de servicios y apoyos brindados en el período evaluado.
Nivel de cumplimiento de los objetivos y metas anuales.
Cumplimiento de la transparencia en la selección de proyectos y beneficiarios.
GRUPOS FOCALES (focus groups)
Discusión y 12 personas) valoración del programa en entrevistas colectivas con pequeños grupos (6-
Con un moderador que plantea las preguntas de acuerdo a un guión preestablecido
Duración aproximada: dos horas
Discusiones grabadas para posterior análisis
Grupos homogéneos o heterogéneos
GRUPOS FOCALES
Ejemplo: Evaluación de la operación de los servicios de salud materno-infantil
Una sesión con cada grupo: médicos, enfermeras y personal auxiliar
Temas:
Disponibilidad de recursos
Cantidad y calidad de las instalaciones y equipos Porcentaje de ocupación Existencia de medicamentos Condiciones de trabajo Tiempo de espera
MÉTODO DELPHI
Selección de un panel de expertos
Preparación de un cuestionario
Consulta por correo manteniendo anonimato o modificada (presencial), pero sin interacción de los participantes
Búsqueda de consensos
Diversas rondas de entregas de resultados estadísticos y comentarios para nuevas consultas
MÉTODO DELPHI
Ejemplo de evaluación del manejo del cambio climático
Acuerdo o desacuerdo sobre la existencia del cambio climático
Opinión sobre determinantes alternativos del cambio climático
Opinión sobre la posibilidad y plazos para controlarlo
Propuestas de buenas prácticas
Selección de estrategias alternativas
Valoración de las capacidades de gestión del gobierno
BENCHMARKING
Identificar a la organización líder en el contexto público
Recoger información de la misma
Identificar resultados causas de las diferencia de
Promover la emulación de las mejores prácticas
Ejemplos cercanos: - Evaluación comparativa de la gestión social de las delegaciones del DF - Desempeño diferencial de programas de salud por entidades federativas.
ANÁLISIS DE TEXTOS
Método hermenéutico de análisis comprensión e interpretación de textos estructural,
Estudia el contenido de los mismos (hermenéutica interna) y el entorno en que se producen (hermenéutica externa)
Busca “leer entre líneas” incluso lo que no está escrito expresamente en programas, informes, etc.
Permite contar la repetición de palabras, relevar patrones o temas recurrentes, agrupar y separar variables, relevar relaciones entre variables, etc.
Utiliza programas de cómputo como Atlas y Nud*ist
ANÁLISIS DE TEXTOS
Ejemplo: Metaevaluación de evaluaciones de programas ambientales
teórica: releva paradigmas
Naturaleza de la evaluación: muestra el evaluar puntos específicos del programa.
MEDICIÓN DE IMPACTO:
MODELO EXPERIMENTAL Y CUASIEXPERIMENTAL Ejemplo Valores iniciales Grupo Exp.
X=10% Grupo Test. Y=10% Valores finales X’=20% Y’=14% Impacto = (20-10)-(14-10) = 10-4 = 6%
MEDICIÓN DE IMPACTO:
MODELOS NO EXPERIMENTALES * Falta alguna o ambas de las mediciones que cuasiexperimentación: - Medición en un grupo testigo para variables contextuales ajenas al programa.
-Medición del “antes” para el cálculo de la diferencia “antes-después”. Se recomienda el valor de partida.
Las dos anteriores.
Ambas
MEDICIÓN CUALITATIVA DE IMPACTO
Ejemplo de TR de servicios de salud materno-infantil del Gobierno del DF 2006-2012
Reconstruir el estado inicial de la población del DF a partir de la información estadística disponible.
Analizar la evolución de los recursos, las acciones, los servicios brindados y la situación de la población en el período, con base también en información estadística.
OBSERVAR seleccionadas instalaciones de servicios Levantar una ENCUESTA representativa de la población del DF de de salud percepciones, Realizar ENTREVISTAS y GRUPOS FOCALES con funcionarios, personal médico y de enfermería Valorar el impacto provocado por los servicios, deslindando hasta donde sea posible los efectos provocados por causas ajenas a los servicios, como la situación económica imperante en el país u otros servicios ofrecidos.
MEDICIÓN CUALITATIVA DE IMPACTO
Ejemplo servicios de salud materno-infantil del Gobierno del DF 2006-2012: LIMITACIONES
No se puso suficiente énfasis en el contraste de la situación de 2006 y 2012, ya que la encuesta recogió información fundamentalmente sobre la situación al final, con lo cual servirá como línea de base para futuras evaluaciones pero no permitió analizar a fondo la evolución en el período en estudio
No se trató de deslindar los efectos provocados por causas ajenas a los servicios del GDF
HACIA UN PROTOCOLO DE ESTÁNDARES DE UTILIZACIÓN DE MÉTODOS CUALITATIVOS EN EVALUACIÓN Formulación Implementación Resultados Impactos Observación Encuestas Entrevistas Grupos foc.
T. Delphi Bechmarking Anál. textos X X X X X X X X X X X X X X X X X X X X X X