Transcript Medicion_del_desempeno

Evaluación ?
o
Medición del desempeño ¿
de los Programas Priorizados
A nivel Provincial
EVALUACION
“Un estudio en profundidad, que se realiza en un
tiempo definido y en el cual se utilizan instrumentos de
investigación en forma sistemática y analítica, para
generar un juicio sobre el valor de una intervención..”
Evaluación del Gasto de Programas en la Unión
Europea. Comisión Europea
“Proceso de medición sistemática y continua de los
resultados obtenidos de un programa, proyecto, política
y la comparación de esos resultados con estándares u
objetivos previamente definidos “ Organización para la
Cooperación y Desarrollo Económico- OCDE
OBJETIVOS DE LA EVALUACION
APOYAR EL PROCESO DE TOMA DE
DECISIONES

INFORMACION SOBRE IMPACTO DE LAS
POLITICAS

AYUDA A VALORAR LA CONTRIBUCION PUBLICA
DE LAS ACCIONES GUBERNAMENTALES
MEJORAR EL RESULTADO DE LAS INTERVENCIONES
PUBLICAS
Evaluación. Requisitos básicos
1.1 Independencia y confiabilidad
El requisito de independencia y confiabilidad se refiere a la definición de un razonable
grado de separación entre el proceso de evaluación y el área evaluada. Este grado de
separación debe considerar modalidades de ejecución de las evaluaciones externas al
sector público, realizadas por expertos provenientes de universidades, centros de
estudios o consultoras, preferiblemente seleccionadas a través de procesos que
aseguren competencia técnica.
Las Auto evaluaciones: Bien desarrolladas se consideran una buena práctica de
gestión interna, que:
i) permite ordenar y relacionar información entregando una mirada del estado del
programa,
ii) ayuda a incorporar mejoras, si la mayor cercanía y participación en el proceso de
evaluación hace que los resultados sean mejor comprendidos, internalizados y
compartidos por los responsables del programa,
iii) ordena la información existente y detecta o precisa sus insuficiencias o limitaciones.
No obstante estas ventajas, es difícil que las autoevaluaciones sean creíbles para todos los actores
políticos y sociales (dudas de la información suministrada por quién es juez y parte a la vez)
Evaluación. Requisitos básicos, cont.
1.2 Relevancia o pertinencia
La relevancia o pertinencia de las evaluaciones debe ser abordada en la definición
de los ámbitos o alcances de la evaluación. En la práctica, identifcar con
anterioridad al inicio de la evaluación preocupaciones e interrogantes respecto del
desempeño de cada programa, lo que corresponde a la identificación de las
demandas de información, y la exigencia de que, considerando los resultados de
dichas evaluaciones, se formulen recomendaciones para mejorar el desempeño
1.3 Oportunidad
El requisito de oportunidad se relaciona con la necesidad de que la información sobre
los resultados de las evaluaciones este disponible en los procesos de toma de
decisiones relevantes. En particular en las etapas del ciclo de toma de decisiones de
asignación de recursos, sean internas a las instituciones o entidades ejecutoras de
gasto, o parte del proceso de preparación, discusión, aprobación o evaluación del
presupuesto público de la nación.
Alternativas metodológicas de las Evaluaciones
Evaluaciones de escritorio
o evaluaciones rápidas
(Medir Indicadores
según Marco Lógico
Fin, Propósito,
Componentes
y Actividades)
Según Enfoques y Metodologías para Evaluar la calidad
Enfoque estructural
Según Objeto de Evaluación
(Intervenciones Públicas)
- Evaluación de políticas públicas
- Evaluación de Programas públicos
- Evaluación de gestión y resultados
de Proyectos y entidades públicas
- Evaluación del Desempeño personal
Según etapa de aplicación
- Ex Antes (Diseño Programas y Proyectos)
- Operativa (Ejecución Programas y Proyectos)
- Ex Post (Medición del Desempeño o Impacto)
Según quien las realiza
- Evaluación Externa
- Evaluación Interna
- Evaluación Compartida
Administrativo
Enfoque de Proceso
Técnico
- Habilitación
- Categorización
- Acreditación
- Condiciones
de Eficiencia
- Matriculación
- Certificación
Evaluación Externa
Estudios de Caso
Estudios Estadístico
Utilización Recursos
Auditoria
Enfoque de Resultados
- Perfil de Salud
- Cambios de
Conductas
- Satisfacción
de usuarios
- Satisfacción
de prestadores
Desempeño.
Según la Real Academia Española, desempeño se refiere
a: “actuar, trabajar, dedicarse a una actividad”, lo cual nos
da una idea básica, pero que requiere una elaboración
conceptual más amplia para el ámbito de la gestión pública.
Tal desarrollo a menudo se ha asimilado al concepto
anglosajón de government performance, el cual se
refiere a “la productividad, calidad, oportunidad,
responsabilidad y eficacia” de los servicios y
programas públicos
Que es la Medición del
Desempeño?
• La selección y uso de medidas cuantitativas de
capacidades, procesos y resultados con el objetivo
de obtener información acerca de los aspectos
fundamentales de las actividades, incluido su efecto
en el público .
• La colección y notificación regular de los datos para
rastrear el trabajo producido y los resultados
logrados.²
Fuente: Lichiello P and Turnock BJ. (1999) Guidebook for Performance Measurement. Turning Point National
Program Guidebook for Performance Measurement.
¹Health Performance Measurement in the Public Sector: Principles and Policies for Implementing an Information
Network. 1999. E.B. Perrin, J.S. Durch, y S.M. Skillman eds. National Research Council. National Academy Press.
²Virginia’s Handbook on Planning and Performance. 1998. http://dit1.state.va.us/dpb/pm/handbook/handbook.htm
¿Por qué medir el desempeño en la salud
pública?
• Establecer metas, objetivos
para el desarrollo
• Evaluar la capacidad de la
organización
• Colaborar
• Asignar responsabilidad
• Monitorear el progreso
• Informar a los actores sobre el
progreso
Los gerentes de Proyectos públicos tienen una enorme cantidad de
razones para medir el desempeño. Una forma de organizar esta gran
colección de razones es convertirla en ocho propósitos específicos:
identificar, controlar, presupuestar, motivar, promover,
celebrar, aprender y mejorar.
Las primeras siete razones o propósitos para medir el desempeño están,
todas ellas, subordinadas a la octava razón: mejorar
Desempeño. Ámbitos de Control y Dimensiones.
Ámbitos de Control: Existen diferentes etapas en la
cadena de una acción pública respecto de la cual se
espera un logro o resultado, éstas difieren en el tipo de
resultados esperados y en el momento en que deben
ocurrir. Clásicamente estas etapas se ordenan según los
conceptos de procesos, productos y, resultados
(iniciales, intermedios y finales o impacto).
Dimensiones: (EEE) Los conceptos más utilizados para
identificar las dimensiones del desempeño son: eficacia,
eficiencia y economía. La Calidad del servicio puede
ser considerada una dimensión específica del concepto de
eficacia o ser tratada como una dimensión adicional (EEE-C).
Interrelación entre Ámbitos de Control y Dimensiones de desempeño del Sistema
Resultados
Efectividad - Calidad
Productos
Costo-Efectividad
Procesos
Eficiencia
Insumos
Economía
Costos
Ámbitos de Control
Dimensiones
Indicadores de Desempeño
“son medidas que describen cuan bien se están desarrollando los
objetivos de un programa, un proyecto y
/o la gestión de una
institución.”
“establecen lo que será medido a lo largo de varias escalas o
dimensiones, sin especificar un nivel determinado de desarrollo”
“tienen una función descriptiva que consiste en aportar información sobre el
estado real de una actuación pública o programa y una función valorativa que
consiste en añadir a la información anterior un “juicio de valor” basado en
antecedentes objetivos sobre si el desempeño en dicho programa o actuación
pública es o no el adecuado. (“desempeño esperado”)
Requisitos básicos para la construcción de Indicadores de Desempeño
-El requisito fundamental para el diseño del indicador es el
establecimiento previo de los objetivos y metas “lo que será medido”.
La calidad y utilidad del indicador (en tanto instrumento de medición
de las variables asociadas al cumplimiento de objetivos) estarán
determinadas por la claridad y relevancia de la meta que tiene
asociada.
-El resultado de la medición del indicador entrega un “valor” de
comparación el cual está referido a alguna meta asociada (estándar).
- El indicador deberá estar focalizado y orientado a “medir aquellos
aspectos claves”, lo cual implica la necesidad de tener claridad cuáles
son los “objetivos o propósitos” de la institución, y no todos, sino
aquellos más relevantes que se relacionan con los productos
estratégicos, dirigidos a los usuarios externos.
Nomenclatura de los Indicadores de Desempeño
- Información según Ámbitos de Control de la gestión pública:
•Insumos (Inputs)
•Procesos o actividades
•Productos (outputs)
•Resultados (outcomes)
- Información según las actuaciones en las dimensiones de:
- Economía
- Eficiencia
- Eficacia (incluye Calidad)
Ejemplo de Indicadores de desempeño de una campaña anti tabaquica, según ámbitos de control
Ámbitos de Control
Inputs (Insumos)
Actividades
(Proceso)
$$ de la campaña
-diseño y pruebas de los avisos
-producción de los avisos
-compra del tiempo de aviso comercial
- avisos transmitiéndose en la televisión
Productos
Resultados
Indicadores
Inmediatos
Intermedios
Finales
- las personas ven los avisos
- las percepciones de la gente se ven
afectadas
- menor incidencia de enfermedades
relacionadas
Ejemplo de Programa Dengue y la interrelación de los Ámbitos de Control y de las Dimensiones de Desempeño
Ámbitos de control
PROCESO
PRODUCTOS
RESULTADO
Eficacia
Nº de viviendas
inspeccionadas para
identificar criaderos /
Número total de
inspectores
Supervisiones
realizadas a los casas
inspeccionadas/ Número
total de supervisores
Nº de Criaderos de
mosquitos intradomicilairio
eliminados del total de los
identificados
Nº de charlas educativas
realizadas en la
comunidad del total de
programadas
Aumento de
productividad de
los inspectores
de viviendas
Disminución de
Viviendas con focos de
Aedes en la población que
recibió los Talleres
Dimensiones de desempeño
Eficiencia
Economía
Costo de viviendas
inspeccionadas
para identificar
criaderos / Número
total de
inspectores
Costo de las
viviendas
supervisadas/
Número total de
supervisores
Empleados hora
por tonelada de
insecticida
aplicado
Costo por casas
fumigadas o
inspeccionadas
Costo de cada
Taller por Número
de participantes
Reducción del
Gasto en
Insecticida por
vivienda fumigada
Calidad
Gastos de
administración
asociados al Programa
/
Gastos Totales
Gasto ejecutado por el
Programa /
Gasto Programado
Residencia de un caso
importado de Dengue
con tratamiento focal y
perifocal en el área y en
los plazos
establecidos
Gastos en
capacitación
ejecutados a
Junio del año /
Gastos de
capacitación
programados en el año
Gasto en Insecticida
ejecutado en el 1er
Trimestre / Gasto en
Insecticida programado
anual.
Porcentaje de los
Capacitados por
Talleres del
Programa que evalúan
con nota
superior o igual a 5,5 la
capacitación recibida
Reducción de del
presupuesto
manteniendo la
población objetivo con
bajo índice de
infestación.
Cantidad de población
con conocimientos
sobre las medidas de
prevención del Dengue
Porcentaje de
casas sin criaderos
(medidas por
encuestas
periódicas de
inspección visual
Herramientas para medir el desempeño
en salud publica (1)
• Instrumento de Medición de las Funciones
Esenciales de Salud Pública - FESP (OPS)
• Instrumentos del Programa Nacional de Normas
de Desempeño en Salud Pública (CDC)
• Instrumento de evaluación de las capacidades
en vigilancia y respuesta (OPS y los países
miembros - RSI - en desarrollo)
Herramientas para medir el desempeño
en salud publica (2)
• Herramienta de autoevaluación de gestión del desempeño (Public
Health Foundation y Turning Point Performance Management
National Excellence Collaborative, EEUU)
– http://www.phf.org/infrastructure/resources/FandRPM/PM_Self_Assess
_Tool.pdf
• Herramienta de medición de desarrollo saludable (San Francisco
Departamento de Salud Publica, EEUU)
– http://www.thehdmt.org/
• Proyecto de desempeño de salud pública Australiana (Australia)
– New South Wales Public Health Bulletin, Volume 16 Number 1 & 2 2005
http://www.publish.csiro.au/nid/227/issue/4215.htm y www.nphp.gov.au
Instrumentos del Programa Nacional de
Normas de Desempeño en Salud Pública
(NPHPSP) 2007*
– Evaluación del desempeño del sistema de
salud pública del estado
– Evaluación del desempeño del sistema de
salud pública local
– Instrumento local de evaluación de
gobernanza en salud pública
* Nuevas versiones de las herramientas disponibles en el sitio del CDC http://www.cdc.gov/od/ocphp/nphpsp/NewInstrument.htm
OMS Reglamento Sanitario
Internacional (RSI) 2005
• El primer Reglamento Sanitario Internacional, fue
adoptado en 1969 por la OMS y todos los países
miembros
• Los reglamentos se actualizaron en 2005 y fueron
adoptados en la 58 Asamblea Mundial de la Salud
• Durante 2007-2009 todos los países miembros
empezarán a evaluar su sistema existente de salud
pública
• Los requisitos de capacidades básicas para las
tareas de vigilancia y respuesta están en el
documento:
– http://www.who.int/gb/ebwha/pdf_files/WHA58/WHA58_3-sp.pdf
Instrumento de evaluación de las
capacidades en vigilancia y respuesta
(OPS)
• Herramienta nueva para todos los países en las
Américas y el Caribe de modo de evaluar sus servicios
de salud pública incluyendo su desempeño
• Focalizar en vigilancia y los servicios de laboratorio del
Ministerio de Salud, también en los diferentes
programas responsables para el control de
enfermedades y vectores
• Se espera que el proceso de evaluación y la
herramienta se difunda dentro de los próximos meses.
Evaluación o Medición de Indicadores de Desempeño ??
Las Evaluaciones de desempeño, distinguiéndolas del concepto más general o
genérico, corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso
de un conjunto de información ordenada y relacionada según un marco metodológico,
tienen por finalidad construir valoraciones de aspectos concretos de un ámbito del
quehacer de las intervenciones públicas, como un programa, y encontrar factores
explicativos a estas valoraciones o juicios evaluativos. De esta forma las
Evaluaciones se diferencian de los procesos de monitoreo, los que suelen ser parte de
procesos internos de gestión programática, más regulares, y que utilizan mediciones a
través de indicadores, principalmente de procesos y productos.
Las Mediciones de Indicadores de Desempeño, corresponden a algoritmos
matemáticos o formulas de medición, que entregan una valoración
cuantitativa del desempeño, pero que por si solos no explican ese resultado.
Esta es la propuesta de trabajo que se pretende desarrollar. Un
Sistema de Medición de Indicadores de Desempeño de los
Programas de Salud Pública a nivel Provincial integrando las
dimensiones y los ámbitos de control del desempeño, y el
cumplimiento de los diferentes Componentes de las FESP
Principales dificultades técnicas para la construcción de indicadores
- Cómo formular objetivos estratégicos y desagregar las metas
- Cómo establecer la ponderación de los indicadores
- Qué unidades o áreas deben generar indicadores
- Cómo construir la fórmula
- Cómo medir la producción “intangible”
- Cómo medir los resultados finales de la gestión institucional que están influenciados
por factores externos
- Cómo medir los resultados de la gestión institucional que dependen de la gestión de
varias instituciones
- Cómo medir los productos cuyos resultados se obtienen a largo plazo
- Construcción de bases de datos para realizar la medición.
- Dificultad para contar con datos históricos disponibles para realizar la medición
- Dificultad para medir los insumos (inputs) y productos (outputs) por falta de sistemas
contables financieros para desarrollar indicadores de eficiencia, etc.
- Antecedentes para desarrollar indicadores de productos (outputs) y poder evaluar
los resultados finales
- Sobre qué datos comparo el indicador
Principales dificultades operativas de implementación
-No se cuenta con una Unidad a cargo del Sistema de Control de Gestión o
si existe tiene poca incidencia en el resto de las Unidades de la organización
-Las capacidades técnicas y compromiso interno por la evaluación y la
construcción de indicadores radican en unos pocos funcionarios.
-No se cuenta con recursos para desarrollar un sistema de información que
permita la alimentación automática de las variables para la construcción de
los indicadores y el cálculo de las fórmulas
-No se vislumbra el valor agregado de construir indicadores: a la institución
no le trae ninguna consecuencia presupuestaria, incentivo económico, etc.
-El ejercicio de realizar indicadores se transforma en una carga burocrática
que no estimula el interés por la evaluación.
- Aparte de la autoridad central que demanda los indicadores no existe
interés por conocer los resultados.