Transcript EVALUACION DE IMPACTO EN PROGRAMAS DE EMPLEO PARA JÓVENES Ernesto Abdala Consultor OIT Responsabilidad Social Colectiva La evaluación: - facilita la contundencia de la experiencia - la retroalimentación y los replanteos -

EVALUACION DE
IMPACTO EN
PROGRAMAS DE
EMPLEO PARA
JÓVENES
Ernesto Abdala
Consultor OIT
Responsabilidad Social Colectiva
La evaluación:
- facilita la contundencia de la
experiencia
- la retroalimentación y los
replanteos
- es un antecedente válido para
otros emprendimientos
- es parte de de una
responsabilidad social colectiva
que implica instrumentar
rendiciones de cuentas.
¿Cuándo se cumple la evaluación?
EXANTE
INTRA
POST
EXPOST
Evaluación de Impacto
Definición
El proceso
evaluatorio orientado a
medir los resultados de
las intervenciones, en
cantidad, calidad y
extensión según las
reglas preestablecidas.
La evaluación de impacto del Programa
Primer
Paso
Segundo
Paso
- Identificar el - Identificar el
valor de las
variables el
inicio del
programa
- Dimensionar
los otros
actores del
programa de
formación
-Dimensionar
el contexto del
programa
valor de las
variables:
Tercer paso
- Comparar
las variables
iniciales con
las variables
finales
Cuarto
Paso
Interpretar
(presentar y
discutir) los
datos
obtenidos
- Al finalizar el
programa y un
año después
de finalizado
Variables de la evaluación de impacto
BENEFICIARIOS:
GOBIERNO:
EMPRESARIOS:
ECAS:
1) Sustentabilid
d en el tiempo.
Institucionalidad
2) Nivel de
calidad según:
-Nuevos
currículos
-Evaluación
interna
-Formación y
calificación
docente
-Pertinencia del
curso
3) Articulaciones
Horizontales Y
1) Compromiso
y participación
2) Normas
en la creación
de calidad de
de organismos
los cursos
1) Empleo,
bi o tri partitos
3) Políticas
integrado por :
de consulta
de
- inserción
2) Normas de
capacitación y calidad, según
laboral,
de apoyo a
pertinencia(por
préstamos
satisfacción
adecuación a
internacionales la demanda) y
laboral,
evaluación
- experiencia 4) Oficinas
interna
laboral anterior públicas
especializadas
y tipo de
3)
trabajo
Reclutamiento
y retención de Verticales
Ingresos
jóvenes
Bienestar
Según:
1) Legislación
C) IMPACTO EN LOS BENEFICIARIOS:
Evaluar los logros de los beneficiarios en la formación
implica medir valor agregado en el bienestar según la
variación en empleo, ingresos y ciudadanía.
Las medidas se deberían realizar en el corto, mediano
y largo plazo para poder valorar el largo aliento o la
efimeridad de los efectos. Asimismo, la comparación,
base del concepto de impacto se mide los
beneficiarios frente a un grupo control, en iguales
períodos: al inicio, al finalizar y un año después de la
finalización del proyecto.
La variable bienestar es una variable compleja
constituida por las variables: empleo, ingresos y
ciudadanía.
C) MEDIDA DE IMPACTO SOBRE JÓVENES
BENEFICIARIOS Y GRUPO DE CONTROL. VARIABLES:
Variable
compleja
Bienestar
-----------------EMPLEO:
(Variable)
Indicador
“Inserción
laboral”
“Todo tipo de
trabajo
remunerado,
sea por
cuentapropism
o, por contrato
o empresa
familiar”
EMPLEO:
(Variable)
Satisfacción
laboral:
(Indicador)
Como se siente
respecto al
trabajo (tareas
que realiza)
----------------EMPLEO: Tipo
de trabajo
(Indicador)
Valoración de
calidad del
trabajo según
necesidades
y expectativas
(protección
social y
sanitaria,
estabilidad y
horario)
-----------------INGRESOS:
(Variable)
Satisfacción con
la
remuneración
del empleo
-------------------
ROL
CIUDADANO:
(Variable)
Se destaca la
revalorización
de la ciudadanía
como factor de
cohesión
democrática.
Participación en
organizaciones
barriales,
gremiales,
comunitarias,
deportivas,
juveniles,
políticas y
religiosas.
Momento de la medición:
Esta variable y
sus indicadores se
miden antes del
inicio del programa,
cuando este finaliza
y al año de
finalizado.
Se mide tanto en el grupo de beneficiarios
como en el grupo de control.
Proceso de medición del impacto:
El impacto se mide
según
la
diferencia
porcentual que existe en
las medidas del grupo de
beneficiarios y del grupo
de control. Se presenta la
formula del cálculo de
impacto:
valor de la Medida
del impacto =
valor del indicador en el grupo de beneficiarios indicador en el grupo de control
------------------------------------------------------------------------valor del indicador en el grupo de control
HIPÓTESIS PRINCIPAL DEL PROGRAMA:
La capacitación agregada
produce un aumento de la
empleabilidad, con
consecuentes
probabilidades
incrementadas de conseguir
empleo, de mantener el
empleo, de mejorar los
ingresos la ciudadanía y por
lo tanto, el bienestar.
Trabajo Decente y Productividad
La variable empleo se
constituye por los cinco
indicadores siguientes: inserción
laboral; satisfacción laboral;
experiencia laboral y valoración
de la calidad del trabajo según
necesidades y expectativas.
Además se discrímina según
edad, sexo, necesidades básicas,
nivel de instrucción, experiencia
laboral anterior.
La variable empleo se constituye por los cinco indicadores siguientes:
Indicadores
Categorías
* Inserción laboral
No (desocupado)
Sí (con ocupación)
* Satisfacción
laboral
Ninguna
poca
buena
Muy buena
* Experiencia
laboral anterior
* Valoración de la
Si
No
calidad del trabajo
según necesidades
y expectativas (tipo
de trabajo)
Protección social
Protección sanitaria
Estabilidad
Ingresos suficientes
Si No
Horario adecuado
Variable Rol ciudadano de la variable compleja bienestar:
Se destaca la revalorización de la ciudadanía como
factor de cohesión democrático, en la participación
y presencia activa de cada integrante de la sociedad
Indicadores:
Participación en organizaciones:
barriales, gremiales, comunitarias, deportivas,
juveniles, políticas, religiosas.
Categorías:
Sí
No
Todos los indicadores de la variable "rol ciudadano"
se discriminan en subgrupos, según edad, sexo,
satisfacción de necesidades básicas , nivel de
instrucción, experiencia laboral
1) Datos aportados por métodos cualitativos :
En los beneficiarios y en el grupo control, se
completa la medida del impacto, con preguntas
abiertas y observación.
El eje temático gira en torno a cambios actitudínales
respecto al trabajo, al posicionamiento en los
períodos de búsqueda de empleo y a las
necesidades y expectativas, a su valoración de las
competencias necesarias para una buena inserción
laboral
(educación
formal,
programas
de
capacitación, redes, otros).
2) Datos aportados por métodos cualitativos. En cuanto a la inserción
social (inclusión), se miden las Competencias Psicosociales
(características actitudinales y comportamentales):
Indicadores:
-Autoestima
-creatividad
- -elaboración de proyectos
- -inserción social
-ámbitos de los procesos de socialización (la
familia, la calle, los pares, las instituciones, otras)
- -participación activa en grupos sociales, artísticos,
religiosos, deportivos, barriales, culturales
- -incremento de los espacios sociales
- -creación de nuevas redes sociales (con otros
jóvenes, con instituciones, servicios, lugares de
trabajo)
Se
entrevista
a
los
beneficiarios, al finalizar el
proyecto y al año de
finalizado, y se recogen
datos
descriptivos
y
fenomenológicos en una
mirada retrospectiva:
La comparación es
del joven consigo
mismo, en etapas
distintas de su vida
(¿cómo era antes del
programa?, ¿cómo
era
en
cuanto
finalizó
el
programa?, ¿cómo
es un año después
de
finalizado
el
programa?.
C) MEDIDA DE IMPACTO SOBRE EL GOBIERNO:
Variables (al
final, uno, dos
y... “x” años
después)
-----------------1- RESPALDO
LEGAL:
Promulgación
de leyes
normativas
especificas
sobre
formación y
capacitación
juvenil
-----------------
2ASEGURAMIE
NTO DE
CALIDAD:
Procedimiento
s que aseguren
la calidad de la
capacitación
ofertada.
-----------------
3- MARCO
POLÍTICO:
-Facilitación de
mecanismos
de
financiamiento
de los cursos
-Prestamos
internacionales
:
Existencia de
interés político
hacia
préstamos
internacionales
relacionados
con estos
temas
-Creacion de
Instituciones
específicas:
Creación de
instituciones
especializadas
en el tema de
la capacitación
para jóvenes
desfavorecidos
C) MEDIDA DE IMPACTO EN LOS EMPRESARIOS:
Variables (al
final, uno, dos
y... “x” años
después)
-----------------CREACIÓN DE
ORGANISMO BI
O TRIPARTITO
DE CONSULTA
----------------PARTICIPACION
DE LA
EMPRESA EN
ESE
ORGANISMO
-----------------
PERTINENCIA
(Nivel de
Calidad):
Relación de la
capacitación
con los
requerimientos
de los puestos
de trabajo en la
empresa
----------------EVALUACIÓN
INTERNA:
- existencia de
evaluaciones
internas de las
pasantías en
las empresas
----------------SUSTENTABI
LIDAD EN EL
TIEMPO Y
ARTICULACI
ONES
-----------------NORMAS DE
CALIDAD
----------------RECLUTAMIE
NTO Y
RETENCION
DE JÓVENES:
Porcentaje de
los
trabajadores
actuales
de la empresa
egresados del
programa.
Relación entre
la cantidad de
pasantes
recibidos por
la empresa y
cuántos
permanecieron
en ella al año y
dos años de
finalizado el
programa
C) MEDIDA DE IMPACTO EN LAS ECAS:
Variables (al final,
uno, dos y... “x”
años después)
-----------------INSTITUCIONALID
AD:
- Creación de
asociaciones de
entidades
capacitadoras
- Antecedentes en
otras ejecuciones
del programa.
Continuidad como
ejecutores
-----------------
NIVEL DE
CALIDAD:
- Cambios o
elaboración de
nuevos
currículos
-Se realizan
evaluaciones
internas
-Se realizan
cursos de
perfeccionamient
o en la
calificación
técnica, docente
y pedagógica de
los ejecutores
Pertinencia
del curso
orientado
según:
- nichos
ocupacionale
s O
perfil de la
población
objetivo
----------------ARTICULACIÓ
N CON
Empresarios,
Instancias
centrales y
locales:
Existencia de
articulaciones:
horizontales
con otras ECAS,
con las empresas
encargadas de las
pasantías, con la
población local
verticales
con las oficinas
públicas
especializadas en
formación y
capacitación de
jóvenes
con las instancias
centrales del
programa
D) IMPACTO GENERAL O GLOBAL DEL PROYECTO
El impacto general implica una tarea de análisis
de los impactos particulares correspondientes
sobre los jóvenes beneficiarios, el gobierno, las
empresas y las ECAS. Y en ese sentido, se
informa el impacto respectivo a cada área. No es
posible una sumatoria simple, dado que en
jóvenes se mide el impacto en porcentajes
positivos o negativos (diferencias porcentuales)
al relacionar dos poblaciones o a los jóvenes
consigo mismo en dos etapas cronológicas
diferentes. Pero, en los otros tres actores
(gobierno, empresarios y ECAS) se valora
presencia o ausencia de ciertos hechos.
Resultados: ¿Qué se evaluó?
1a. Respecto a los jóvenes beneficiarios, se evaluó:
-focalización, impacto (mediante los cambios actitudinales, la inserción
laboral, la reanudación de la formación educativa, el incremento de la
autoestima, el grado de satisfacción, la participación ciudadana)
- pero con escasos intentos de medir el impacto metódica y sistemáticamente,
configurando un grupo de control.
1b. Respecto a los ejecutores, se midieron especialmente los aspectos globales,
parciales de control administrativo, y de capacitación técnico pedagógica en
las ECAS. Asimismo se valoró el clima de satisfacción en la tarea ejecutada y
se relevaron las insatisfacciones y dificultades explícitas.
1c. Respecto a las empresas donde se cumplen las pasantías: se midió de modo
irregular la calidad de la oferta de la pasantía, el tamaño de las empresas, la
estabilidad y la sincronía con el mercado laboral vigente
.
Resultados: Aspectos generales I
-Contexto socioeconómico: surge la fuerte dependencia que tienen estos
programas con el contexto socioeconómico en el cual se desarrollan.
-Participación de todos los actores: Pendiente el desafío generar
sistemas de monitoreo y evaluación se conviertan en mecanismos de
participación que dan origen a una comunicación y una
retroalimentación.
-Evaluar en mediano y largo plazo: No siempre se desarrollan
evaluaciones intermedias, tampoco evaluaciones largo plazo.
-Utilidad de la evaluación: ¿se utilizan los resultados?
- Retorno al sistema educativo: El retorno al sistema educativo de los
jóvenes beneficiarios debe ser interpretado como uno de los éxitos de
estas intervenciones.
Resultados: Aspectos generales II
-Evaluar logros de objetivos no incluidos en el diseño: Muchas veces no
se presta atención a los objetivos logrados que no fueron incluidos en el
diseño del programa pero que forman parte de su impacto.
-Estrategia metodológica: La mayoría de las evaluaciones realizadas en
América Latina de programas de capacitación y empleo de jóvenes
desarrollan metodologías cuasiexperimentales. Este tipo de metodologías
no logran replicar una asignación experimental totalmente aleatoria entre
el grupo de control y beneficiarios.
-Pasantías: Al parecer no se cumplió una verdadera evaluación tratando
de descubrir si existen contrataciones posteriores en las mismas empresas
que brindan las pasantías, para saber si el programa sirve como fuente de
mano de obra barata.
Resultados: Aspectos generales III
-Calidad de la formación: a partir de la diversidad implementada, es que
los programas “Joven” tienen buena focalización pero calidad
insuficiente.
-La necesidad de políticas y no solo de programas: o de programas de
mediano y largo aliento.
-Focalización:, debiendo eliminarse todos los tipos de discriminación.
-Fortalecimiento institucional: buscando nuevos arreglos entre todas las
alternativas posibles y profundizando el perfil de las instituciones más
adecuadas para planificar y ejecutar.
-Crear sistemas de educación y trabajo articulados: las evaluaciones de
estos programas dejan en claro la necesidad de construir sistemas
integrados de educación formal y capacitación laboral
Resultados: Aspectos generales IV
-Viejos y nuevos actores que se complementan en la búsqueda de nuevos
sistemas nacionales de formación para el trabajo: Es necesaria la
interacción de los dos modelos: el tradicional de las IFP y la nueva
generación de programas.
-El papel de las Instituciones de Formación Profesional, los Ministerios
de Trabajo, Educación y los programas de jóvenes: queda claro que
cuando los programas aquí analizados se ejecutan desde la orbita de los
Ministerios de Trabajo, educación y de las IFP existe una frecuencia y
estrategia de evaluación.
-La relación entre eficiencia económica, equidad y ciudadanía: es hoy
una realidad, todo programa dirigido a jóvenes pobres debiera tener muy
en cuenta, en la medida de sus posibilidades, esta trilogía. Al revisar las
evaluaciones tendiendo presente este punto, se plantean dudas sobre el
éxito de estos programas.
Resultados: Los programas I
Programas
Actor/es sociales en
la ejecución
Resultados Obtenidos
Proyecto Joven (Argentina)
Secretaría de Empleo
y Capacitación
Laboral - Ministerio
de Trabajo y
Seguridad Social
Los resultados globales del proyecto demuestran que
para los varones, el nivel de ocupación aumentó 53 puntos
porcentuales, es decir, casi se triplicó. Para las mujeres el
incremento fue de 41 puntos porcentuales, prácticamente
cuatro veces más.
Los ingresos de las mujeres beneficiarias tuvieron un
aumento del 20% superior al de sus pares en el grupo de
control. En los varones no se registran diferenciales
significativos entre los ingresos de los Beneficiarios y los
del Grupo de comparaciones
El programa Chile Joven
(Chile)
* Ministerio de
Trabajo y Previsión
Social
*SENCE
*FOSIS
BID.
* La meta inicial del programa fue la de capacitar a
100.000 jóvenes en 4 años. Se logró la atención de
102.436
* En una segunda fase se estableció como meta atender a
70.000 jóvenes en 3 años. Logrando el 100% de esta meta.
* De acuerdo a las evaluaciones de impacto realizadas, el
programa permitió la inserción laboral de más de un 50%
de los beneficiarios egresados del programa en
comparación con grupos de control.
Resultados: Los programas II
Jóvenes en Acción (JeA)
El Fondo de
Inversión para la Paz
(DAPR-FIP);
- El Departamento
Nacional de
Planeación (DNP);
- El Servicio
Nacional de
Aprendizaje (SENA);
La diferencia más importante que se observa entre la
situación antes de JeA y después de haber asistido al
Programa es el número relativamente grande de egresados
que ahora tienen un empleo como asalariado formal
(37.74%) comparado con la situación previa al programa
(18,47%).
La proporción de empleados entre los egresados de JeA es
39.83%, la cual mayor a la de los jóvenes que no pasaron
por el programa pertenecientes al Sisben 1 y 2 que es del
24%.
El tiempo promedio de búsqueda de empleo se reduce a la
tercera parte después del programa: después de JeA es de
3.88 meses (donde los hombres demoran en promedio
2.89 meses y las mujeres 4.4 meses).El tiempo promedio
de búsqueda de empleo antes del JeA era de 11.3 meses.
El salario promedio de los que consiguieron empleo
después de JeA fue muy cercano a un salario mínimo legal
(1.0), con un diferencial significativo entre hombres
(1.15) y mujeres (0.92). No existiendo variaciones
significativas: los empleos antes de JeA.
Se han encontrado tres aspectos en los cuales la
empleabilidad ha mejorado, particularmente en el caso de
los hombres. Ellos son, la probabilidad misma de
emplearse, la mayor inserción en el sector formal y
mejores salarios.
Resultados: Los programas III
CAPLAB (Perú)
* COSUDE * Ministerio de
Educación
* Ministerio de
Trabajo y Promoción
del Empleo
* Centros Educativos
Ocupacionales
(CEOs)
* Otras
organizaciones
implicadas
* Órganos
Intermedios del
Ministerio de
Educación
* CAPLAB trabaja con el 42% de los CEOs públicos del
país.
* Aproximadamente el 75% de los egresados de cursos
CAPLAB se colocan en el mercado laboral.
* Más de 300,000 personas inscritas en la Red CILProEmpleo durante la Fase de Ampliación.
* Más de 100,000 solicitudes de puestos de trabajo
recibidas por la Red.
* Más de 82,000 solicitudes de empleo atendidas por la
Red CIL-ProEmpleo.
* Más de 12,700 Asistencias para la Búsqueda de Empleo
(ABE) brindadas.
* Posicionamiento del Modelo CAPLAB genera una
demanda creciente por información y productos del
Programa.
Resultados: Los programas IV
ProJoven (Perú)
Ministerio de Trabajo
y Promoción Social.
En lo que concierne a la evaluación de impacto del
Programa, las estimaciones permiten confirmar
importantes cambios desde antes de Projoven hasta 18
meses después de culminado el Programa, cuando la
comparación se realiza entre el grupo de jóvenes
beneficiarios y el grupo de control (jóvenes de potencial
participación en Projoven, pero no lo hicieron) durante la
Primera Convocatoria en Lima Metropolitana. En efecto,
la inserción laboral de jóvenes beneficiarios que se
emplean como trabajadores remunerados tuvo una
variación de 75%, en tanto que en los jóvenes del grupo
de control fue de sólo 17%.