Transcript La Evaluación al Desempeño y los Indicadores en la Fiscalización
COMISIÒN DE VIGILANCIA DE LA CÀMARA DE DIPUTADOS Unidad de EvaluaciÓn
LA EVALUACIÒN AL DESEMPEÑO Y LOS INDICADORES EN LA FISCALIZACIÒN SUPERIOR
Dr. Fernando Vera Smith Enero de 2012 1
COMISIÓN DE VIGILANCIA DE LA CÁMARA DE DIPUTADOS Unidad de Evaluación
INDICADORES
I.
Proceso administrativo y sistema de control II.
Sistema de medición III.
Concepto IV.
Construcciòn y utilidad V.
Clasificaciòn
2
Proceso Administrativo
PLANEACIÓN Y ORGANIZACIÓN DIRECCIÓN CONTROL RETROALIMENTACIÓN SISTEMA DE MEDICIÓN MEDICIÓN DE RESULTADOS
•
COMPARACIÓN DE RESULTADOS
• •
VS OBJETIVOS ANÁLISIS DE CAUSAS DE VARIACIONES IDENTIFICACIÓN Y EVALUACIÓN DE
•
OPCIONES TOMA DE DECISIONES Y ACCIONES CORRECTIVAS EVALUACIÓN DE ACCIONES IMPLANTADAS Y RETROALIMENTACIÓN
3
SISTEMA DE CONTROL
Establecimiento de metas Sistema de medición Registro de resultados Comparación de resultados vs. metas e indicadores Análisis de causas de variaciones Evaluación de opciones Toma de decisiones Evaluación y retroalimentación Rendición de cuentas 4
Sistema de Medición
¿Qué medir?
¿Contra qué comparar?
¿Cómo medirlo?
¿A quién, cuándo y con qué periodicidad reportarlo?
5
Sistema de Medición
Criterios de Evaluación Factores críticos de éxito en la entidad Atributos de productos y servicios Estándares Calidad Capacidad Cantidad Estructura Costo Economía Oportunidad Eficiencia Utilidad
6
Sistema de Medición
“Lo que no se puede medir no se puede entender, lo que no se puede entender no se puede controlar y lo que no se puede controlar no se puede mejorar”.
En las mismas circunstancias, los resultados de las organizaciones son diferentes dependiendo de la actuación de sus integrantes.
7
Sistema de Medición
Asignación de números a los objetos o fenómenos, atendiendo a las reglas establecidas de antemano.
Determinación de la longitud, volumen, peso o distancia de objetos físicos, o cualidades, defectos, situaciones o resultados de las acciones realizadas.
8
Sistema de Medición Resistencia a la Medición
• Miedo (no sé qué pase con esto) • Negación (yo no soy el responsable) • Transferencia (el responsable es otro) • Maquillaje (a mí no me agarran) • • • • • Síndromes:
Prima Donna (soy especial) Linus (frazada de seguridad) Panacea (varita mágica) Garrote (golper a los “malos”)
9
Sistema de Medición Resistencia a la Medición
• Manía por las mediciones (exceso) • Hiperactividad (sin relación) • Reacción en exceso (en investigación y cambios) • ¿Y yo qué gano? 10
Sistema de Medición
Resistencia a la Medición
Cambios
Improcedentes
• Por cambiar (sin sentido) • Destruyendo lo positivo (todo estaba mal) • Sin trascendencia (títulos, presentación) • Mayor costo que beneficio • Por poder personal • Sin participación de los afectados por el cambio 11
Sistema de Medición Criterios de Evaluación
Normas o estándares contra las cuales se compara el desempeño de la administración de una entidad en el cumplimiento de sus objetivos, en la relación con su entorno y en el grado de economía, eficiencia y eficacia logrado en sus operaciones.
12
Sistema de Medición Factores Críticos de Éxito
• Son los elementos y las actividades esenciales para que una organización pueda lograr su VISIÓN y cumplir con su MISIÓN.
• Los FACTORES CRÍTICOS DE ÉXITO se identifican analizando los procesos de cada negocio o institución.
13 IV-10
Sistema de Medición Concepto y Tipo de Variables
Atributos , cualidades, propiedades o características que hacen similares o diferentes a las organizaciones, lo que permite ordenarlos según el matiz o la modalidad con que poseen , que pueden :
• •
Presentarse o no en los productos, servicios, bienes y operaciones.
Presentarse en matices o modalidades diferentes, o
•
En grados, magnitudes o medidas distintas a lo largo de un continuo.
14
Concepto
Valor numérico que provee una medida para ponderar el desempeño cuantitativo y/o cualitativo de un sistema.
Parámetros que integran al sistema de medición para evaluar el nivel de cumplimiento de los objetivos, que dan respuesta a la misión de una institución a través de resultados alcanzados.
15
Concepto
Instrumento cuya aplicación nos muestra la tendencia y la desviación de una actividad sujeta a influencias internas y externas con respecto a una unidad de medida convencional.
Son relaciones cuantitativas entre dos cantidades que corresponden a un mismo fenómeno o fenómenos diferentes.
16
Construcciòn y Utilidad
ENTENDIMIENTO PROCESO ADMINISTRATIVO
PLANEACIÓN Misión, visión y estrategias - objetivos Programas, proyectos, funciones y procesos - objetivos Asignación de recursos - objetivos ¿Qué hacer?
¿Cómo hacerlo?
¿Con qué hacerlo?
17
Construcciòn y Utilidad
PROCESO ADMINISTRATIVO ENTENDIMIENTO
EJECUCIÓN Producción de bienes y servicios – metas-
Resultados de la operación ¿Qué, cuánto, cuándo, dónde y para quién producirlo?
¿Qué avances y desviaciones? ¿Qué impacto? ¿Qué correcciones o cambios?
18
Construcciòn y Utilidad Proceso de Elaboración
Identificación de factores críticos de éxito de la entidad y de programas, procesos y funciones Identificación de atributos de diseño, de procesos y definición de normas y políticas Identificación de atributos de los productos y servicios Establecimiento de estándares de operación.
Establecimiento de metas ACTIVIDADES Identificación y evaluación de riesgos críticos Establecimiento de medidas para su eliminación o minimización.
ATRIBUTOS DE DISEÑO
•
Accesibilidad
•
Sencillez
•
Seguridad
•
Mantenimiento
•
Almacenamiento
ATRIBUTOS DE BIENES Y SERVICIOS •Calidad •Cantidad •Costo •Oportunidad •Utilidad
Cuantificación de impactos
19
Construcciòn y Utilidad Proceso de Implantación
VALIDACIÓN PRUEBA PILOTO REQUERIMIENTO DE INFORMACIÓN OBTENCIÓN DE INFORMACIÓN NO DISPONIBLE IMPLANTACIÓN DIFUSIÓN
20
Construcciòn y Utilidad Análisis de los Indicadores
RECOLECCION DE DATOS IDENTIFICACIÓN Y ANÁLISIS DE ALTERNATIVAS ANÁLISIS DE VARIACIONES TOMA DE ACCIONES CORRECTIVAS CAUSAS DE VARIACIONES SEGUIMIENTO
21
Construcciòn y Utilidad Causas de Variaciones
CONTROL DE CALIDAD SISTEMAS PROCEDIMIENTOS Y TECNOLOGÍA PERSONAL EQUIPO Y MATERIALES SOCIAL POLÍTICO LABORAL ECONÓMICO AMBIENTAL TECNOLÓGICO RECHAZOS REPROCESOS RETRASOS SIN SURTIDO SURTIDO EXTEMPORÁNEO FUERA DE ESPECIFIACIONES COSTO EXCESIVO INEXISTENTES NO ADECUADOS SIN CUMPLIMIENTO O UTILIZACIÓN INEXISTENTE NO CAPACITADO NO MOTIVADO INEXISTENTE NO ADECUADO EN MAL ESTADO CAUSAS DE VARIACIONES DEVOLUCIONES INCOMFORMIDADES QUEJAS DEMANDA ENTORNO PROVEEDORES CLIENTES
22
Utilidad
Para la Administración
En la planeación
Historia
Competencia
Posibilidades actuales Características del entorno En la dirección
Comunicación
Motivación Retribución
En el control
Monitoreo Análisis de desviaciones
Que se incluyen diversas dimensiones Que existan incentivos y sanciones Toma de acciones Logro de objetivos
23
Utilidad
Para la auditoría:
En la familiarización o investigación preliminar
En la planeación
En la evaluación del sistema de control y del sistema de información
En la ejecución de la auditoría (evaluación)
En la presentación de sus hallazgos (cuantificación)
24
Indicadores Correlación entre misión, visión y objetivos estratégicos
COHERENCIA DE LA PLANEACIÓN MISIÓN Proporcionar productos electrónicos y sistemas para ayudar a los clientes de todo el mundo a mejorar su eficacia personal y empresarial VISIÓN Lograr “X%” de participación en el mercado local en los próximos 5 años.
OBJETIVO ESTRATÉGICO PROGRAMAS Participar en el mercado local en “Y%” para el próximo año
Incorporación de nuevos productos (3)
Proyecto 1
Proyecto 2
Proyecto 3
Proyecto de incorporación de nuevos distribuidores (10)
Proyecto de reducción de costos, línea A (20%), línea B (15%).
25
Indicadores Selección de Forma y Puntos de Medición
Criterios: Forma de medición:
• • •
Que se incorporen a la operación, para minimizar su costo y acelerar su obtención Que se determinen de las operaciones sin que requieran procesos posteriores Que se evalúe la relación costo/beneficio de su obtención
26
Indicadores Selección de Forma y Puntos de Medición
Criterios: Selección de puntos de medición que:
•
Midan sólo aspectos críticos, para evitar generación de datos, controles y costos excesivos
• • •
Sean congruentes con los objetivos Evalúen su grado de cumplimiento y sus desviaciones críticas Impacten positivamente en la conducta
• • • •
Influyan significativamente Sean aceptados por quienes los menejen Sean revisados periòdicamente Sean flexibles (relaciòn insumo-producto)
27
Indicadores de la Entidad
Factores críticos de éxito Indicadores Del objetivo estratégico
Participación en el mercado de “X%”
Participación de mercado
Preferencia de los clientes hacia los productos de la entidad
Grado de satisfacción de los clientes en cuanto a : Garantía Manejo Disponibilidad Oportunidad Servicio Mantenimiento Precio
28
Indicadores de la Entidad
Factores críticos de éxito Indicadores De los programas y proyectos
Desarrollo y operación de nuevos productos (3)
Desarrollo y operación de nuevos distribuidores (10)
Abatimiento de costos (20% línea A y 15% línea B)
Desarrollo y operación de nuevos productos
Desarrollo y operación de nuevos distribuidores
Costos unitarios de productos A y B De los procesos y funciones existentes
Retención de clientes
1.
Mínimo de Quejas 2.
Oportunidad de entrega (3 días) 3.
Competitividad en precios (más bajo) 1.
2.
3.
Retención de Clientes Porcentaje de quejas Días de retraso en entrega Competitividad en precios
29
COHERENCIA
Indicadores Cualidades
Relación lógica ascendente, descendente y lateral.
Procesos y productos esenciales de la entidad RELEVANCIA INTEGRIDAD CONFIABILIDAD COMPARABILIDAD Conjunto homogéneo e interrelacionado a distintos niveles de desagregación En los procesos de: definición, elaboración, validación, análisis de variaciones, toma de acciones correctivas y seguimiento.
Consideración en la determinación de indicadores de objetivos de : historia, otras unidades, competencia, cambios…
30
Indicadores Cualidades
UNICIDAD OPORTUNIDAD ACCESIBILIDAD ECONOMÍA SENCILLEZ PARTICIPACIÓN Mismos valores y significado para todos Periodicidad y fecha de emisión Por quienes se vean afectados, incluso clientes Regla costo beneficio Entendibles por quienes los utilicen y tengan conocimientos básicos de administración y de la operación Involucramiento de todos los actores relevantes en: diseño, mecánica de captura, sumarización, validación, distribución, análisis de variaciones, toma de decisiones y seguimiento.
31
INTERNOS
Indicadores Clasificación
EXTERNOS
• • •
De cumplimiento de objetivos de la entidad (eficacia) Participación en el mercado o cobertura de la población
•
Ventas, utilidades, costos, etc.
Auditorías De diseño del proceso De cumplimiento de su normatividad
• • •
De la producción de bienes y servicios Economía Eficiencia Eficacia
• • • • •
De impacto (encuestas y sondeos) Percepción de la “utilidad” de la entidad por: Cliente Proveedores Personal Comunidad Accionistas Percepción de los clientes de la utilidad de los productos y servicios proporcionados : Precio Servicios Calidad Garantía Mantenimiento Disponibilidad Condiciones de Pago
32
Indicadores Clasificación
Por su contenido Por su relación con los objetivos Por su objetividad Por su estructura Otras clasificaciones
33
Indicadores Clasificación – por su contenido
Insumos Proceso Productos/servicios Calidad Oportunidad Costo Utilidad/costo
34
Indicadores Clasificación – por su contenido
Calidad
–
Elaboración del producto o proporción de servicios de acuerdo con determinadas especificaciones
Precisión (dentro de nivel tolerable de error)
Ruido (ausencia de)
Continuidad (en la entrega del servicio o el bien)
Fallas en su uso (ausencia o cantidad dentro de rango)
Oportunidad
35
Indicadores Clasificación – por su contenido
Calidad
–
Otros atributos evaluados vía análisis de procesos o de encuestas: Seguridad Factibilidad de Manejo Cortesía en la atención Variedad de usos Disponibilidad (en tiempo y lugar) Conservación (más tiempo o más simple, mejor calidad) Portabilidad (manejo) Compatibilidad con equipos complementarios Comodidad Caducidad Costo y facilidad de mantenimiento Garantías
36
Indicadores Clasificación – por su contenido
Calidad
–
Indicadores más comunes (1):
Errores
Rechazos
Reprocesos
Desperdicios
Quejas (1) Relacionados con los de economía, eficiencia, eficacia e impacto.
37
Indicadores Clasificación – por su contenido
Oportunidad
–
Comprende los tiempos de obtención de insumos, proceso y entrega. Ejemplos: Promedio de atención Veces que se atendió (o dejó de atender)
–
Entrega del producto o servicio en el tiempo pactado.
Dentro del tiempo estándar Días de atraso Entrega a tiempo Análisis de desviaciones
–
Tiempos de espera (de respuesta, de aportación de documentos, de decisiones, etc.)
–
Tiempos de inactividad (cuellos de botella, reunión de lotes)
38
Indicadores Clasificación – por su contenido
Costo
–
Valor de los insumos adquiridos o utilizados en la producción de bienes y servicios
–
Forma parte de los indicadores de economía y eficiencia (no conviene manejarlo por separado)
–
En el caso de gastos generales, como porcentaje del total
39
Indicadores Clasificación por sus Objetivos
INSUMO PROCESO SALIDA DE MEDIOS DE FINES De economía De eficiencia De eficacia De capacidad De impacto
40
Indicadores Clasificación por sus Objetivos
De Economía Tipo de Insumo Materiales, suministros y equipos.
Contenido del Indicador Calidad Costo Oportunidad Atributo Rechazos y/o devoluciones Reprocesos Quejas y/o reclamaciones Variaciones en costos por precio y/o cantidad Paros en producción por falta de material
41
Indicadores Clasificación por sus Objetivos
De Economía Tipo de Insumo Humanos Contenido del Indicador Calidad Costo Oportunidad Atributo Rotación de personal Aspirantes a empleos vs contrataciones Aspirantes a inscripción vs inscritos Evaluaciones del personal Costo de contratación Renuncias Evaluaciones del personal Retrasos por falta de personal Financieros Costo Tasa de Interés vs utilidad de operación
42
Indicadores Clasificación por sus Objetivos
De Eficiencia Relación entre insumos y productos en cuanto a cantidad, costo y tiempo. No deben existir actividades “eficientes” no vinculadas con las metas. Ejemplos:
–
Unidades producidas por hora-máquina y por persona-hora
– –
Peticiones recibidas vs atendidas Alumnos ingresados vs egresados
43
Indicadores Clasificación por sus Objetivos
De Capacidad Relación entre el nivel de utilización de los recursos y los disponibles o potenciales de uso.
Pueden evaluarse en función de diversas unidades. Conviene convertirlas en pesos. Capacidad utilizada Fórmula = Capacidad instalada Conclusiones más probables Suficiente No aprovechada (ociosa) Insuficiente Subutilizada Excesiva
44
Indicadores Clasificación por sus Objetivos
De Eficacia Grado en que se logran las metas. Pueden corresponder a unidades de servicio internas o de contacto con clientes.
Realización del objetivo Fórmula = del programa Logro o beneficio planeado
Porcentaje de recuperación de créditos Cobranza/Facturación Porcentaje de deserción (o asistencia) en capacitación o educación Denuncias recibidas vs resueltas Quejas recibidas vs resueltas (de clientes, empleados o proveedores).
45
Indicadores Clasificación por sus Objetivos
De Impacto Efecto o resultado final del programa (grado de éxito o fracaso). Percepción que tienen los clientes (internos y externos) de los productos o servicios generados.
Pueden ser cualitativos (percepción de beneficios) o cuantitativos (coberturas)
46
Indicadores Clasificación por sus Objetivos
De Impacto Ejemplos
La emisión de licencias para restaurantes (eficacia) mejoró la sanidad (impacto).
Los alumnos egresados (eficacia) alcanzaron el nivel deseado de educación (impacto)
El sistema de control de medio ambiente de una entidad (eficacia) redujo la contaminación de un río (impacto).
47
Indicadores Clasificación por sus Objetivos
De Impacto Ejemplo de niveles de Impacto
NO. DE EGRESADOS O CAPACITADOS GRADO DE APROVECHAMIENTO (EN LA EFICIENCIA O CALIDAD CON QUE SE DESARROLLAN SUS LABORES) MEJORA ECONÓMICA DEL PARTICIPANTE MEJORA DE LA POBLACIÓN ETCÉTERA
48
Indicadores Clasificación por sus Objetivos Ejemplos de impacto:
En clientes o usuarios:
Satisfacción
• • • •
Calidad (especificar) del producto o servicio Disponibilidad Atención Oportunidad (tiempo de espera) Participación en el mercado
• • •
Clientes perdidos o ganados Territorios cubiertos o no Tipos de clientes cubiertos o no
49
Indicadores Clasificación por sus Objetivos
Ejemplos de impacto: En la sociedad (deseables o indeseables)
Económicos (crecimiento o decrecimiento )
• • • • • •
Niveles de empleo o desempleo Marginación Distribución del ingreso Producto nacional bruto Ingreso per capita Nivel de vida de la población
50
Indicadores Clasificación por sus Objetivos
Ejemplos de impacto: En la sociedad (deseables o indeseables)
Sociales (calidad de vida)
• • •
Servicios proporcionados vs solicitados Solicitudes atendidas vs recibidas Atención a la demanda (porcentaje)
Cobertura (o rezago) en servicios
•
Población con o sin “X” característica
• • • • •
Seguro social Educación Habitación Empleo Hacinamiento
• • • •
Agua Derenaje Carreteras Comunicaciones
51
CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF • Es necesario fortalecer la evaluación del desempeño y establecer un sistema de indicadores del desempeño tanto en la UEC como en la ASF, mediante: • • • • Profesionalización del personal Mejoramiento del marco normativo Utilización de tecnologías y mejores prácticas.
Autoevaluaciones.
52
CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF • Participar en Comisiones que evalúen los indicadores establecidos en los programas e instituciones .
• Desarrollar investigaciones de las mejores prácticas en el ámbito internacional sobre los temas de Auditoría al Desempeño, Autoevaluaciones, Indicadores y Mejores Prácticas Gubernamentales, entre otras.
• Estructurar y establecer la capacitación por niveles y temas para profesionalizar la actividad 53
CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF • Romper paradigmas que vienen desde tiempo inmemorial y que no están acordes con las necesidades actuales, tales como: • • • El “principio” de anualidad.
El “principio “ de posterioridad.
La estructura, formato y concisión de los informes.
54