Transcript Evaluación, Monitoreo y Supervisión en procesos de
Slide 1
Evaluación, Monitoreo y
Supervisión en procesos
de capacitación
Dr. Anibal Velásquez
[email protected]
Slide 2
Plan de Clase 1
• Duración 4 horas
• Objetivos
– Identificar las etapas de la evaluación de programas de
capacitación.
– Elegir el modelo más apropiado para cada intervención.
– Identificar e interpretar una evaluación de impacto.
– Identificar las diferencias entre monitoreo y
supervisión.
– Interpretar los resultados de la evaluación para la toma
de decisiones y la implementación de programas de
capacitación.
Slide 3
Plan de Clase 2
• Contenidos
– Conceptos básicos de evaluación.
– Modelos de evaluación.
– Evaluación, monitoreo y supervisión de
programas de capacitación.
Slide 4
Actividades de enseñanzaaprendizaje
• Sesión expositiva-participativa
• Taller
– Debate grupal
– Estudio de un caso
• Material:
– Guía del taller
– Resúmen ejecutivo de la Experiencia del PCMI
– Informe final de la evaluación del Proyecto 2000
Slide 5
Conceptos básicos de evaluación
Dr. Anibal Velásquez
[email protected]
Slide 6
Pregunta
• ¿Cuál es el resultado esperado de un
programa de capacitación?
• ¿Cuándo se podría decir que un gerente de
un Programa de Capacitación ha tenido
éxito?
• ¿Cuál debe ser el principal objetivo de un
programa de capacitación?
Slide 7
De esto depende la evaluación
• Si su objetivo comienza con verbos que no
representen un cambio, entonces... Solo está
interesado en monitorizar.
• Si su respuesta comienza con verbos que
indican cambio (reducir, ampliar,
incrementar), Ud. Está interesado en
conocer la efectividad del programa.
Slide 8
Esto quiere decir...
• Que la evaluación depende de los objetivos
del Programa.
• Y muchas veces estos objetivos no son
correctos.
• Y lo que se encuentra con más frecuencia
son actividades.
Slide 9
OBJETIVOS DE ESTA
PRESENTACION
• Comprender, valorar y aplicar los conceptos
fundamentales asociados a la evaluación de
programas de capacitación.
• Crear un marco de referencia (lenguaje
común) en los participantes, para el uso e
interpretación de los enfoques, métodos y
técnicas que serán revisados en el taller.
Slide 10
¿QUÉ ES EVALUACIÓN?
• Un juicio sobre valor o mérito
• El uso de procedimientos científicos para
investigar sistemáticamente la efectividad
de programas de intervención (Rossi et al,
Bertrand)
Slide 11
UN POCO DE HISTORIA
• La evaluación, en su concepción moderna, es un
producto del siglo XX
• El surgimiento de las Ciencias Sociales en las
universidades y el creciente apoyo a la investigación
social le dieron un empuje decisivo a las actividades
de investigación evaluativa
• El mayor auge vino después de la Segunda Guerra
Mundial (incluyendo la creación de programas
internacionales para planificación familiar, salud y
nutrición)
• La Evaluación nace como disciplina a finales del los
60 y principios de los 70 (libro de Weiss)
Slide 12
¿QUÉ EVALUAMOS?
•
•
•
•
Programas (eficiencia, efectividad)
Personas (aprendizajes, desempeño)
Instituciones
Las anteriores constituyen tres grandes
áreas de especialización en el campo de la
evaluación
Slide 13
EVALUACION NO ES...
•
•
•
•
•
(solamente) medición
(solamente) investigación
(solamente) establecer logro de objetivos
auditoría
una actividad que se realiza cuando las
cosas van mal
• una forma de castigo
Slide 14
• Programa:
Esfuerzos organizados para responder a un problema social
• Proyecto:
Un conjunto de actividades específicas, con objetivos específicos,
que contribuyen al objetivo del programa o de una institución
Todos los programas o proyectos tienen (implícita o explícitamente):
• Objetivos y resultados esperados
• Población objetivo
• Mecanismo o sistema para entregar servicios (la intervención)
• Un marco conceptual que brinda justificación al programa
(también llamado la hipótesis de desarrollo)
Slide 15
Componentes de un Programa de Capacitación en
salud
A Nivel de Programa
Insumos
Procesos
Productos
Recursos:
- Personal
-Métodos
- Equipo
-Asistencia
técnica
-Instrumentos
Actividades:
- Talleres
-Pasantías
-Análisis
crítico de la
práctica
-Plan de
mejora
-Supervisión
Competencias
-Cognitivas
-Actitudinales
-Conductuales
Mejor calidad
Mayor eficiencia
A Nivel de
Población
Resultados
Mejor salud
Mayor equidad
Slide 16
Evaluación de Programas:
Conjunto de procedimientos y herramientas
analíticas para examinar el desempeño de
programas, y determinar si obtuvieron el efecto
(impacto) para el que fueron diseñados
Importancia:
• Identificar si algún componente del programa
necesita mejora
• Contribuye a una eficiente asignación y
administración de recursos
• Determinar si los objetivos del programa se han
alcanzado o no
Slide 17
Necesidades de
información
para tomar
decisiones
Al inicio de la
gestión
Evaluación
Situacional
Basal
Durante la
gestión
Evaluación de
Procesos
Al finalizar la
gestión
Evaluación de
Resultados
Slide 18
Al inicio de la
gestión
Evaluación
Situacional
Basal
Análisis situacional
E. Factibilidad
Línea de base
Durante la
gestión
Evaluación de
Procesos
Monitoreo
Al finalizar la
gestión
Evaluación de
Resultados
Evaluación de
Impacto
Slide 19
Tipos de evaluación
I. Monitoreo o seguimiento
II. Evaluación de impacto
Slide 20
I. Monitoreo o Seguimiento
• Objetivos:
- Brindar información acerca del funcionamiento del
programa: a) ¿Está progresando de acuerdo al plan?
b) Identificar problemas para su correción
- Documentar cambios de elementos claves del programa en el
tiempo
• Características:
- Enfasis en los insumos, actividades y productos del programa
- Principalmente estima indicadores, pero puede incluir
métodos cualitativos
- No examina cuál es la causa del cambio en los indicadores (es
decir, no examina el impacto del programa)
Slide 21
II. Evaluación de Impacto
• Objetivos:
- Determinar el impacto neto del programa en el resultado a nivel
de población (o en productos a nivel de programa)
- ¿Cuánto del cambio observado en el resultado es debido, o puede
ser atribuido, al programa y no a otros factores?
• Características:
- Enfasis en productos y resultados
- Examina atribución
Slide 22
Evaluación de impacto
Slide 23
Preguntas que se hace un político,
una agencia donante, o un gerente
sobre Programas Sociales
• Hemos invertido millones de dólares en
capacitación, cuál ha sido el impacto de las
intervenciones?
• Cuáles han sido los cambios en la sociedad?
• En cuánto se ha contribuido a reducir los daños?
• En cuánto se ha mejorado la salud o el bienestar
de las comunidades atendidas?
• Cuáles son las estrategias más efectivas y
eficientes?
Slide 24
Preguntas que se hace un gerente, sobre
los Programas de Capacitación en Salud
• El programa de apacitación que se brinda satisface
la demanda?
• Cuál es la efectividad de los programas de
capacitación?
• Cuál es la eficiencia de los programas de
capacitación?
• Cuál es el impacto de la capacitación en los
servicios de salud?
• Cuál es el impacto de la capacitación en la salud
de la población?
• Cuáles son las estrategias o intervenciones más
efectivas y eficientes?
Slide 25
Toma de decisiones
• Las respuestas están asociadas a la toma de
decisiones.
• Los que toman decisiones requieren juicios
de valor con base en información válida,
confiable y oportuna.
Slide 26
Evaluando el Impacto del Programa
Resultado
La pregunta de
evaluación:
¿Cuánto de
este cambio es
atribuible al
programa?
Inicio del
programa
Tiempo
Punto medio o
final del
programa
Slide 27
Evaluando el Impacto del Programa
Resultado
Con
programa
Sin
programa
Inicio del
programa
Tiempo
Impacto neto
del programa
Punto medio o
final del
programa
Slide 28
Resultado que se
Resultado con
hubiese obtenido si el
Impacto del programa =
programa no se hubiese
el programa
establecido
• El problema de evaluación:
El segundo término, el contrafáctico, no es
conocido pues no podemos observar al mismo
individuo expuesto y no expuesto al programa al
mismo tiempo
Sin embargo, el segundo término puede ser
estimado. Existen diferentes diseños de evaluación
disponibles para evaluar el impacto del programa
Slide 29
Diseños de investigación para
evaluar el impacto
• Diseño Experimental
• Diseño Observacional
Slide 30
Esquema básico para evaluar el impacto de programas
PROGRAMA
Grupo 1
(Tratamiento)
Grupo 1
(Tratamiento)
Grupo 2
(Control)
Grupo 2
(Control)
Población
Si “Asignación
Aleatoria”:
Si Asignación no
aleatoria: (datos
de encuestas)
Grupo 1 = Grupo 2
Grupo 1 Grupo 2
Grupo 1 Grupo 2
Diferencia debida al programa
Group 1 Group 2
Diferencia debida al programa
y a diferencias pre-existentes
(observadas y no observadas)
Slide 31
Diseño Experimental
Individuos son asignados aleatoriamente a un grupo de
“Tratamiento” y a uno de “Control” antes del programa. Si es
bien implementado:
Impacto = Promedio(“Tratamiento”) - Promedio(“Control”)
Pocas condiciones son necesarias:
+ La asignación es aleatoria
+ La “intensidad” del programa es homogénea
+ Los individuos en el grupo de “Tratamiento” no cambian su
comportamiento por participar en un experimento (no hay efecto
Hawthorne)
+ Los factores externos influyen ambos grupos por igual
+ Los individuos permanecen en los grupos durante la duración
del experimento (no hay atrición o ésta no es selectiva)
Slide 32
Diseño Experimental (Cont.1)
• El diseño experimental clásico es el Gold
Standard
• Ventajas: Simple
Si bien implementado y el tamaño de la muestra
es suficientemente grande, la asignación aleatoria
causa que los grupos sean equivalentes en cuanto
a características observadas y no observadas. Es
decir, en ausencia del programa, no habría
diferencias en los resultados de los dos grupos.
Slide 33
Diseño Experimental (Cont.2)
Desventajas:
+ Difícil de implementar (factores prácticos, políticos y
éticos)
+ Contaminación es posible
+ Efecto Hawthorne es posible
+ Deserción o atrición selectiva es posible
+ Programas son intervenciones complejas con muchos
componentes
+ Generalización es dudosa (criterio de validez externa)
Slide 34
Diseño Observacional
• No hay asignación aleatoria de los individuos a
grupos de tratamiento y control. Los propios
individuos deciden si participan en el programa o no.
Por tanto, diversos factores influyen el resultado
obsevrado y no hay garantía que esos otros factores
relevantes sean equivalentes entre el grupo expuesto
y el grupo no expuesto al programa
• Es necesario usar técnicas estadísticas para estimar el
efecto del programa controlando por el efecto de los
otros factores. Una técnica para ello es el Análisis de
Regresión
Slide 35
Diseño Observacional (Cont 1)
• El análisis de regresión examina la relación
entre varias variables explicativas y la variable
dependiente. Permite cuantificar la
contribución de cada factor a la variable
dependiente
• Importante: Se necesita definir cuales son los
factores relevantes que influyen el resultado de
interés y se necesitan datos sobre ellos
Slide 36
Con los estudios observacionales se
estima el contrafáctico (qué hubiese
ocurrido si no se realiza el programa)
mediante modelos y técnicas de análisis
de datos; y se hace mediante el control
estadístico de las “otras” variables
relevantes que pueden afectar el
resultado de interés
Slide 37
Los enfoques más comunes se
basan en modelos de regresión
Slide 38
En condiciones “naturales”, por
ejemplo, por medio de una encuesta,
podemos observar una variable de
respuesta cuyo nivel puede ser el
resultado de la influencia simultánea de
muchos factores
X1
Y, variable
dependiente
X5
X2
X3
El programa
X4
Estas son las
variables
independientes,
factores relevantes
(incluyendo el
programa) que
pueden influenciar
la variable de
interés
Slide 39
EN UN MODELO DE REGRESION
• Y = f(X1,X2,…,Xn)
Y, la variable de respuesta o variable dependiente,
es una función de las variables independientes
• Una vez que el modelo es “ajustado” se puede
juzgar la importancia relativa de cada variable
independiente
• Nuestro foco de interés, se refiere por supuesto a
la(s) variable(s) independiente(s) que identifican
al programa
Slide 40
Si medimos los otros factores
relevantes es posible “aislar” el
efecto del programa entre los
efectos de las otras variables
independientes
Slide 41
VARIABLES CONFUSORAS
• En el contexto de una evaluación de
impacto hablamos de variables confusoras
cuando nos referimos a todos los otros
factores relevantes, además del programa,
que pueden influenciar el resultado de
interés
• Dejan de ser confusoras cuando se miden e
incorporan en el modelo de regresión
Slide 42
ES POR ESTO QUE...
• Un marco conceptual comprensivo (que
incluya el programa y los potenciales
factores confusores) es especialmente
importante para la aplicación de los
métodos de regresión en evaluación de
impacto
Slide 43
Qué es el marco conceptual de un
programa?
Slide 44
EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion”
es un diagrama que identifica e ilustra las
relaciones entre factores sistémicos,
organizacionales, individuales y otros
elementos relevantes que pueden
influenciar la operación de un programa o
proyecto y el logro exitoso de sus metas y
objetivos
Slide 45
El marco conceptual tiene base en...
La Teoría del Programa.
Es el conjunto de supuestos sobre la forma en
que el programa (o proyecto) provoca los
beneficios que se espera que produzca,
incluyendo las estrategias y tácticas que ha
adoptado para lograr sus metas y objetivos.
Slide 46
LA TEORÍA DEL PROGRAMA ...
• A veces no es explícita, no ha sido
formalmente articulada o establecida.
• Evaluación de caja negra: cuando se realiza
la evaluación sin haber articulado
formalmente la teoría del programa
• Nuestra recomendación: no hacer evaluación
de caja negra
Slide 47
EN LA TEORÍA DEL PROGRAMA
DEFINIMOS...
• Hipótesis de acción: son las que ligan o
conectan causalmente la teoría del proceso
(están bajo el control directo del programa)
• Hipótesis conceptuales: son las que ligan o
conectan causalmente la teoría del impacto
(no están bajo el control del programa)
Slide 48
Vinculando el Programa de capacitación
a Resultados de Salud
…………………….
Características
del Individuo y
del Hogar
Características
de comunidad
Práctica de
salud
Uso de
Servicios
oferta de servicios
de salud
Programa
de
capacitación
Gobierno, ONGs,
otros donantes,
privado
Otras capacitaciones
Resultado
de Salud
Slide 49
Vinculando Insumos del Programa a
Resultados de Salud (fuentes de datos)
Características
del Individuo y
del Hogar
Características
de comunidad
oferta de
servicios de salud
Programa
capacitación
Práctica de
salud
Uso de
Servicios
Healthy
Outcome
Encuesta de hogares
(ENDESA,ESR,ENV)
Enc. Establecimientos (desempeño)
Enc. Comunidades
Gobierno, ONGs,
otros donantes,
privado
Slide 50
Niveles de Factores que influyen
Comportamientos y Resultados de Salud
Otras
Características
de la Comunidad
Oferta de
Servicios de
Salud
Basado en
Clínicas
la comunidad
comunidad
hogar
individuo
Slide 51
Fuentes de Datos
Encuesta de Comunidades
Enc. de Establecimientos
Otras
Características
de la Comunidad
Oferta de
Servicios de
Salud
Importante: Las encuestas
deben estar “vinculadas”
Basado en
Clínicas
la comunidad
Encuesta de
Hogares
Slide 52
BIBLIOGRAFIA
Bertrand, J.T. et al. (1996). Evaluación de
Programas de Planificación Familiar. The
Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program
Evaluation. Sage Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W.
(1999). Evaluation: A Systematic Approach.
Sage Publications
Evaluación, Monitoreo y
Supervisión en procesos
de capacitación
Dr. Anibal Velásquez
[email protected]
Slide 2
Plan de Clase 1
• Duración 4 horas
• Objetivos
– Identificar las etapas de la evaluación de programas de
capacitación.
– Elegir el modelo más apropiado para cada intervención.
– Identificar e interpretar una evaluación de impacto.
– Identificar las diferencias entre monitoreo y
supervisión.
– Interpretar los resultados de la evaluación para la toma
de decisiones y la implementación de programas de
capacitación.
Slide 3
Plan de Clase 2
• Contenidos
– Conceptos básicos de evaluación.
– Modelos de evaluación.
– Evaluación, monitoreo y supervisión de
programas de capacitación.
Slide 4
Actividades de enseñanzaaprendizaje
• Sesión expositiva-participativa
• Taller
– Debate grupal
– Estudio de un caso
• Material:
– Guía del taller
– Resúmen ejecutivo de la Experiencia del PCMI
– Informe final de la evaluación del Proyecto 2000
Slide 5
Conceptos básicos de evaluación
Dr. Anibal Velásquez
[email protected]
Slide 6
Pregunta
• ¿Cuál es el resultado esperado de un
programa de capacitación?
• ¿Cuándo se podría decir que un gerente de
un Programa de Capacitación ha tenido
éxito?
• ¿Cuál debe ser el principal objetivo de un
programa de capacitación?
Slide 7
De esto depende la evaluación
• Si su objetivo comienza con verbos que no
representen un cambio, entonces... Solo está
interesado en monitorizar.
• Si su respuesta comienza con verbos que
indican cambio (reducir, ampliar,
incrementar), Ud. Está interesado en
conocer la efectividad del programa.
Slide 8
Esto quiere decir...
• Que la evaluación depende de los objetivos
del Programa.
• Y muchas veces estos objetivos no son
correctos.
• Y lo que se encuentra con más frecuencia
son actividades.
Slide 9
OBJETIVOS DE ESTA
PRESENTACION
• Comprender, valorar y aplicar los conceptos
fundamentales asociados a la evaluación de
programas de capacitación.
• Crear un marco de referencia (lenguaje
común) en los participantes, para el uso e
interpretación de los enfoques, métodos y
técnicas que serán revisados en el taller.
Slide 10
¿QUÉ ES EVALUACIÓN?
• Un juicio sobre valor o mérito
• El uso de procedimientos científicos para
investigar sistemáticamente la efectividad
de programas de intervención (Rossi et al,
Bertrand)
Slide 11
UN POCO DE HISTORIA
• La evaluación, en su concepción moderna, es un
producto del siglo XX
• El surgimiento de las Ciencias Sociales en las
universidades y el creciente apoyo a la investigación
social le dieron un empuje decisivo a las actividades
de investigación evaluativa
• El mayor auge vino después de la Segunda Guerra
Mundial (incluyendo la creación de programas
internacionales para planificación familiar, salud y
nutrición)
• La Evaluación nace como disciplina a finales del los
60 y principios de los 70 (libro de Weiss)
Slide 12
¿QUÉ EVALUAMOS?
•
•
•
•
Programas (eficiencia, efectividad)
Personas (aprendizajes, desempeño)
Instituciones
Las anteriores constituyen tres grandes
áreas de especialización en el campo de la
evaluación
Slide 13
EVALUACION NO ES...
•
•
•
•
•
(solamente) medición
(solamente) investigación
(solamente) establecer logro de objetivos
auditoría
una actividad que se realiza cuando las
cosas van mal
• una forma de castigo
Slide 14
• Programa:
Esfuerzos organizados para responder a un problema social
• Proyecto:
Un conjunto de actividades específicas, con objetivos específicos,
que contribuyen al objetivo del programa o de una institución
Todos los programas o proyectos tienen (implícita o explícitamente):
• Objetivos y resultados esperados
• Población objetivo
• Mecanismo o sistema para entregar servicios (la intervención)
• Un marco conceptual que brinda justificación al programa
(también llamado la hipótesis de desarrollo)
Slide 15
Componentes de un Programa de Capacitación en
salud
A Nivel de Programa
Insumos
Procesos
Productos
Recursos:
- Personal
-Métodos
- Equipo
-Asistencia
técnica
-Instrumentos
Actividades:
- Talleres
-Pasantías
-Análisis
crítico de la
práctica
-Plan de
mejora
-Supervisión
Competencias
-Cognitivas
-Actitudinales
-Conductuales
Mejor calidad
Mayor eficiencia
A Nivel de
Población
Resultados
Mejor salud
Mayor equidad
Slide 16
Evaluación de Programas:
Conjunto de procedimientos y herramientas
analíticas para examinar el desempeño de
programas, y determinar si obtuvieron el efecto
(impacto) para el que fueron diseñados
Importancia:
• Identificar si algún componente del programa
necesita mejora
• Contribuye a una eficiente asignación y
administración de recursos
• Determinar si los objetivos del programa se han
alcanzado o no
Slide 17
Necesidades de
información
para tomar
decisiones
Al inicio de la
gestión
Evaluación
Situacional
Basal
Durante la
gestión
Evaluación de
Procesos
Al finalizar la
gestión
Evaluación de
Resultados
Slide 18
Al inicio de la
gestión
Evaluación
Situacional
Basal
Análisis situacional
E. Factibilidad
Línea de base
Durante la
gestión
Evaluación de
Procesos
Monitoreo
Al finalizar la
gestión
Evaluación de
Resultados
Evaluación de
Impacto
Slide 19
Tipos de evaluación
I. Monitoreo o seguimiento
II. Evaluación de impacto
Slide 20
I. Monitoreo o Seguimiento
• Objetivos:
- Brindar información acerca del funcionamiento del
programa: a) ¿Está progresando de acuerdo al plan?
b) Identificar problemas para su correción
- Documentar cambios de elementos claves del programa en el
tiempo
• Características:
- Enfasis en los insumos, actividades y productos del programa
- Principalmente estima indicadores, pero puede incluir
métodos cualitativos
- No examina cuál es la causa del cambio en los indicadores (es
decir, no examina el impacto del programa)
Slide 21
II. Evaluación de Impacto
• Objetivos:
- Determinar el impacto neto del programa en el resultado a nivel
de población (o en productos a nivel de programa)
- ¿Cuánto del cambio observado en el resultado es debido, o puede
ser atribuido, al programa y no a otros factores?
• Características:
- Enfasis en productos y resultados
- Examina atribución
Slide 22
Evaluación de impacto
Slide 23
Preguntas que se hace un político,
una agencia donante, o un gerente
sobre Programas Sociales
• Hemos invertido millones de dólares en
capacitación, cuál ha sido el impacto de las
intervenciones?
• Cuáles han sido los cambios en la sociedad?
• En cuánto se ha contribuido a reducir los daños?
• En cuánto se ha mejorado la salud o el bienestar
de las comunidades atendidas?
• Cuáles son las estrategias más efectivas y
eficientes?
Slide 24
Preguntas que se hace un gerente, sobre
los Programas de Capacitación en Salud
• El programa de apacitación que se brinda satisface
la demanda?
• Cuál es la efectividad de los programas de
capacitación?
• Cuál es la eficiencia de los programas de
capacitación?
• Cuál es el impacto de la capacitación en los
servicios de salud?
• Cuál es el impacto de la capacitación en la salud
de la población?
• Cuáles son las estrategias o intervenciones más
efectivas y eficientes?
Slide 25
Toma de decisiones
• Las respuestas están asociadas a la toma de
decisiones.
• Los que toman decisiones requieren juicios
de valor con base en información válida,
confiable y oportuna.
Slide 26
Evaluando el Impacto del Programa
Resultado
La pregunta de
evaluación:
¿Cuánto de
este cambio es
atribuible al
programa?
Inicio del
programa
Tiempo
Punto medio o
final del
programa
Slide 27
Evaluando el Impacto del Programa
Resultado
Con
programa
Sin
programa
Inicio del
programa
Tiempo
Impacto neto
del programa
Punto medio o
final del
programa
Slide 28
Resultado que se
Resultado con
hubiese obtenido si el
Impacto del programa =
programa no se hubiese
el programa
establecido
• El problema de evaluación:
El segundo término, el contrafáctico, no es
conocido pues no podemos observar al mismo
individuo expuesto y no expuesto al programa al
mismo tiempo
Sin embargo, el segundo término puede ser
estimado. Existen diferentes diseños de evaluación
disponibles para evaluar el impacto del programa
Slide 29
Diseños de investigación para
evaluar el impacto
• Diseño Experimental
• Diseño Observacional
Slide 30
Esquema básico para evaluar el impacto de programas
PROGRAMA
Grupo 1
(Tratamiento)
Grupo 1
(Tratamiento)
Grupo 2
(Control)
Grupo 2
(Control)
Población
Si “Asignación
Aleatoria”:
Si Asignación no
aleatoria: (datos
de encuestas)
Grupo 1 = Grupo 2
Grupo 1 Grupo 2
Grupo 1 Grupo 2
Diferencia debida al programa
Group 1 Group 2
Diferencia debida al programa
y a diferencias pre-existentes
(observadas y no observadas)
Slide 31
Diseño Experimental
Individuos son asignados aleatoriamente a un grupo de
“Tratamiento” y a uno de “Control” antes del programa. Si es
bien implementado:
Impacto = Promedio(“Tratamiento”) - Promedio(“Control”)
Pocas condiciones son necesarias:
+ La asignación es aleatoria
+ La “intensidad” del programa es homogénea
+ Los individuos en el grupo de “Tratamiento” no cambian su
comportamiento por participar en un experimento (no hay efecto
Hawthorne)
+ Los factores externos influyen ambos grupos por igual
+ Los individuos permanecen en los grupos durante la duración
del experimento (no hay atrición o ésta no es selectiva)
Slide 32
Diseño Experimental (Cont.1)
• El diseño experimental clásico es el Gold
Standard
• Ventajas: Simple
Si bien implementado y el tamaño de la muestra
es suficientemente grande, la asignación aleatoria
causa que los grupos sean equivalentes en cuanto
a características observadas y no observadas. Es
decir, en ausencia del programa, no habría
diferencias en los resultados de los dos grupos.
Slide 33
Diseño Experimental (Cont.2)
Desventajas:
+ Difícil de implementar (factores prácticos, políticos y
éticos)
+ Contaminación es posible
+ Efecto Hawthorne es posible
+ Deserción o atrición selectiva es posible
+ Programas son intervenciones complejas con muchos
componentes
+ Generalización es dudosa (criterio de validez externa)
Slide 34
Diseño Observacional
• No hay asignación aleatoria de los individuos a
grupos de tratamiento y control. Los propios
individuos deciden si participan en el programa o no.
Por tanto, diversos factores influyen el resultado
obsevrado y no hay garantía que esos otros factores
relevantes sean equivalentes entre el grupo expuesto
y el grupo no expuesto al programa
• Es necesario usar técnicas estadísticas para estimar el
efecto del programa controlando por el efecto de los
otros factores. Una técnica para ello es el Análisis de
Regresión
Slide 35
Diseño Observacional (Cont 1)
• El análisis de regresión examina la relación
entre varias variables explicativas y la variable
dependiente. Permite cuantificar la
contribución de cada factor a la variable
dependiente
• Importante: Se necesita definir cuales son los
factores relevantes que influyen el resultado de
interés y se necesitan datos sobre ellos
Slide 36
Con los estudios observacionales se
estima el contrafáctico (qué hubiese
ocurrido si no se realiza el programa)
mediante modelos y técnicas de análisis
de datos; y se hace mediante el control
estadístico de las “otras” variables
relevantes que pueden afectar el
resultado de interés
Slide 37
Los enfoques más comunes se
basan en modelos de regresión
Slide 38
En condiciones “naturales”, por
ejemplo, por medio de una encuesta,
podemos observar una variable de
respuesta cuyo nivel puede ser el
resultado de la influencia simultánea de
muchos factores
X1
Y, variable
dependiente
X5
X2
X3
El programa
X4
Estas son las
variables
independientes,
factores relevantes
(incluyendo el
programa) que
pueden influenciar
la variable de
interés
Slide 39
EN UN MODELO DE REGRESION
• Y = f(X1,X2,…,Xn)
Y, la variable de respuesta o variable dependiente,
es una función de las variables independientes
• Una vez que el modelo es “ajustado” se puede
juzgar la importancia relativa de cada variable
independiente
• Nuestro foco de interés, se refiere por supuesto a
la(s) variable(s) independiente(s) que identifican
al programa
Slide 40
Si medimos los otros factores
relevantes es posible “aislar” el
efecto del programa entre los
efectos de las otras variables
independientes
Slide 41
VARIABLES CONFUSORAS
• En el contexto de una evaluación de
impacto hablamos de variables confusoras
cuando nos referimos a todos los otros
factores relevantes, además del programa,
que pueden influenciar el resultado de
interés
• Dejan de ser confusoras cuando se miden e
incorporan en el modelo de regresión
Slide 42
ES POR ESTO QUE...
• Un marco conceptual comprensivo (que
incluya el programa y los potenciales
factores confusores) es especialmente
importante para la aplicación de los
métodos de regresión en evaluación de
impacto
Slide 43
Qué es el marco conceptual de un
programa?
Slide 44
EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion”
es un diagrama que identifica e ilustra las
relaciones entre factores sistémicos,
organizacionales, individuales y otros
elementos relevantes que pueden
influenciar la operación de un programa o
proyecto y el logro exitoso de sus metas y
objetivos
Slide 45
El marco conceptual tiene base en...
La Teoría del Programa.
Es el conjunto de supuestos sobre la forma en
que el programa (o proyecto) provoca los
beneficios que se espera que produzca,
incluyendo las estrategias y tácticas que ha
adoptado para lograr sus metas y objetivos.
Slide 46
LA TEORÍA DEL PROGRAMA ...
• A veces no es explícita, no ha sido
formalmente articulada o establecida.
• Evaluación de caja negra: cuando se realiza
la evaluación sin haber articulado
formalmente la teoría del programa
• Nuestra recomendación: no hacer evaluación
de caja negra
Slide 47
EN LA TEORÍA DEL PROGRAMA
DEFINIMOS...
• Hipótesis de acción: son las que ligan o
conectan causalmente la teoría del proceso
(están bajo el control directo del programa)
• Hipótesis conceptuales: son las que ligan o
conectan causalmente la teoría del impacto
(no están bajo el control del programa)
Slide 48
Vinculando el Programa de capacitación
a Resultados de Salud
…………………….
Características
del Individuo y
del Hogar
Características
de comunidad
Práctica de
salud
Uso de
Servicios
oferta de servicios
de salud
Programa
de
capacitación
Gobierno, ONGs,
otros donantes,
privado
Otras capacitaciones
Resultado
de Salud
Slide 49
Vinculando Insumos del Programa a
Resultados de Salud (fuentes de datos)
Características
del Individuo y
del Hogar
Características
de comunidad
oferta de
servicios de salud
Programa
capacitación
Práctica de
salud
Uso de
Servicios
Healthy
Outcome
Encuesta de hogares
(ENDESA,ESR,ENV)
Enc. Establecimientos (desempeño)
Enc. Comunidades
Gobierno, ONGs,
otros donantes,
privado
Slide 50
Niveles de Factores que influyen
Comportamientos y Resultados de Salud
Otras
Características
de la Comunidad
Oferta de
Servicios de
Salud
Basado en
Clínicas
la comunidad
comunidad
hogar
individuo
Slide 51
Fuentes de Datos
Encuesta de Comunidades
Enc. de Establecimientos
Otras
Características
de la Comunidad
Oferta de
Servicios de
Salud
Importante: Las encuestas
deben estar “vinculadas”
Basado en
Clínicas
la comunidad
Encuesta de
Hogares
Slide 52
BIBLIOGRAFIA
Bertrand, J.T. et al. (1996). Evaluación de
Programas de Planificación Familiar. The
Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program
Evaluation. Sage Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W.
(1999). Evaluation: A Systematic Approach.
Sage Publications