Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais

Sistemas de M&A

Pode ser entendido, em um sentido

lato,

como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública. Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

Sistemas de M&A

Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam, a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos. mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

Sistema de M&A no Ciclo de Políticas e Programas

Sistema de M&A

Sistema de M&A no Ciclo de Políticas e Programas

Avaliação ex-ante de demandas Avaliação de desenhos de implementação Avaliação custo efetividade

Indicadores para Monitoramento de Programas

Avaliação de processos Avaliação de resultados e impactos

Sistemas de M&A

Os sistemas de M&A podem ser diferenciados segundo vários critérios, como discutem MacDavid&Hawthorne (2006), Mackay (2007), Owen (2007) e Cunill e Ospina (2008). Podem ser orientados mais ao – aprimoramento interno de programas, – gestão e decisão orçamentária ou – prestação de contas da ação governamental ao parlamento ou à sociedade.

Sistemas de M&A

A abrangência conceitual e programática dos sistemas de M&A pode ser

– mais macro- quando se referem a Políticas ou Estratégias de Governo – meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações – micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos.

Sistemas de M&A

Podem abarcar a – integralidade das ações de governo, – algumas áreas setoriais ou – um conjunto seletivo de projetos prioritários. Assumem características diferentes, dependendo de onde estão sediados – – – – – – Ministério da Fazenda, Ministério do Planejamento, Ministérios setoriais, Assessoria da Presidência, Órgão de Controle Externo Parlamento ou Sociedade

Sistemas de M&A

Dependendo do estágio da cultura existente em M&A no governo, estes sistemas podem dispor de um conjunto mais amplo ou restrito de ferramentas e produtos:

• Mapas Estratégicos, • Balanços de Gestão, • Sistemas Informatizados, • Indicadores de Desempenho, • Indicadores de Políticas e Programas, • Painéis Situacionais ou • Pesquisas de Avaliação, entre outros

Monitoramento e Avaliação da Ação Governamental está presente em várias instâncias

Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil

Desafios da Gestão de Programas Estrutura Federativa e as dificuldades de articulação vertical Múltiplos agentes envolvidos e dificuldades de articulação horizontal Institucionalidade adquirida há tempo das Políticas de Educação, Saúde, Trabalho e de seus corpos técnicos Realidade social bastante diferenciada pelo território Problemas sociais multi determinados Forte ampliação do escopo e escala dos programas Ênfase na coordenação de esforços Investimentos nos instrumentos de planejamento de projetos (ZOOP, Marco Logico etc) e programação orçamentária Programas mais “customizados” para as distintas realidades Necessidade de maior integração de programas Programas estão em estágios diferentes de maturidade Conhecimento em Gestão de Programas e Cultura por resultados incipiente na esfera municipal

Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil

Complexidade da Realidade social, Não seria recomendável um esquema padronizado ou Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil multiplicidade de atores, problemáticas de gestão de programas Ao contrário: Há esforço de fortalecimento da capacidade de planejamento e coordenação em diferentes instâncias Esforços de desenvolvimento de Sistemas de M&A em diferentes instâncias do governo Indicadores de desempenho Estudos avaliativos Multiplicação de instrumentos de controle interno e externo (univeridades, sociedade, imprensa etc)

Sistemas de M&A e relacionados

Planejamento de Longo Prazo Avaliação Pol.Públicas (IPEA) Coord Estratégica de Governo Sistema de Acompanhamento de Projetos Estratégicos PAC

Gestão do Plano Plurianual Coord M&A – SIGPLAN IBGE

Orgão de Controle Auditoria Ministério da Fazenda Controle financeiro

Ministérios da Pasta Social Maior prática de M&A ou sistematização de dados e pesquisas

Em que pese o esforço em constituir Sistemas de M&A

• • Até algum tempo atrás, constatação frequente nas avaliações de programas do TCU é que não existem sistemáticas de acompanhamento de resultados dos repasses orçamentários e produtos a outros entes federativos ou junto ao público-alvo. Exemplo: Relatório de Avaliação do Programa Nacional Biblioteca na Escola (PNBE): O trabalho constatou que o FNDE tem mostrado grande eficácia operacional na distribuição dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previsão de atendimento de 139 mil escolas em 2002.

Todavia, também se verificou que o PNBE não tem atividades de monitoramento e avaliação bem estruturadas. O MEC não dispõe de informações que permitam conhecer o nível de utilização dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento escolar dos alunos nas escolas beneficiadas. Tal fato é mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCU, 2002, p.10).

Desafio: Adequar expectativas do que é possível obter de Sistemas de Monitoramento e Pesquisas de Avaliação de programas no contexto atual

Garcia, 2001, .21)

Desafio: Envolver cada vez mais as equipes dos programas na especificação de Sistemas de Monitoramento e Pesquisas de Avaliação

Garcia, 2001, 17-18)

Desafio: Integração de Sistemas de Monitoramento e Pesquisas de Avaliação

Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação.

Problemas complexos -> Programas específicos, mas articulados Sistemas de Monitoramento e Pesquisas de Avaliação com maior especificidade, mas sinergia na troca de dados

Monitoramento de Programas

Monitoramento Coutinho (2001, p.11) define o monitoramento como

um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”.

Rua (2004,p.6) define o monitoramento como:

Um conjunto de estratégias de “acompanhamento” de uma política programa ou projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessárias à maximização dos seus resultados e impactos

.

Monitoramento e Avaliação de Programas

M&A de programas compõe-se de atividades de

Monitoramento de programas Avaliação de Programas por meio de dados por meio de pesquisas por meio de indicadores por meio de Painéis gerenciais por meio de Painéis analíticos Recurso: base de dados e aplicativos ex-ante (diagnóstico) desenho dos programas processo resultados e impactos custo-efetividade Recurso: técnicas de pesquisa social Aprimoramento da Gestão do Programa

Monitoramento e Avaliação de Programas

Acompanhando a saúde de uma criança

Monitoramento Avaliação 1º. Observação do comportamento sintoma:sinal de mal-estar decisão:tomar a temperatura 2º. Termômetro sintoma: febre decisão: antitérmico 3º . Termômetro sintoma: febre persistente 1º. Busca da avaliação de um médico 2º. Exame clínico decisão: remédio 1 3º. Exames diversos decisão: remédio 2 e 3 4º. Retorno- Nova Avaliação

A demanda por informação estruturada no Ciclo de Programas

Diagnóstico de Condições de Vida Indicadores sociais Censos Demográficos Cadastros Públicos CadUnico

A demanda por informação estruturada no Ciclo de Programas

Diagnóstico propositivo Indicadores de diagnóstico Públicos-alvo (Censos, Cadastros e registros de programas) Agentes implementadores (Registros, MUNIC) Participação social (Munic, registros de reuniões)

A demanda por informação estruturada no Ciclo de Programas

Indicadores de monitoramento (produzidos pelo próprio programa e outros programas no Ministério e fora dele) Insumos ($$, RH, Adesões etc) Processos (Ações, ativ. meio) Resultados (Entregas, uso e consumo de serviço) Impacto (Mudança social) Gestão e implementação dos programas

A demanda por informação estruturada no Ciclo de Programas

Informação para avaliação (pesquisas específicas) Indicadores de Resultados e Impactos Informação de natureza qualitativa Avaliação somativa dos programas

Desafio: Especificar Painel de Indicadores para Monitoramento Analítico de Programas

Avaliação ex-ante de demandas Avaliação de desenhos de implementação

Painel de Indicadores para Monitoramento Analítico de Programas

Avaliação de processos Avaliação custo efetividade Avaliação de resultados e impactos

A demanda por informação estruturada no Ciclo de Programas

Avaliação ex-ante de demandas Avaliação de desenhos de implementação

Tipologia de pesquisas de avaliação segundo maturidade do programa ( Peter Rossi)

Avaliação de processos Avaliação custo efetividade Avaliação de resultados e impactos

A demanda por informação estruturada no Ciclo de Programas

Avaliação ex-ante de demandas Avaliação de desenhos de implementação

Pesquisas de avaliação Análise Institucional da Política Análise da Lógica de

Avaliação de

Programa

Avaliação custo efetividade Avaliação de resultados e impactos

A demanda por informação estruturada no Ciclo de Programas Unidades de análise Serviços prestados Públicos-alvo Gestores Técnicos atendentes Instituições prestadoras de serviços Municípios Estados Outros Ministérios Pesquisas de avaliação Abordagens qualitativas (Observação, Entrevistas, Grupos de Discussão) Abordagens quantitativas (Amostras intencionais, probabilísticas, desenhos quase experimentais)

Avaliação de desenhos de implementação Avaliação de processos

Avaliações do TCU Auditorias da CGU Pesquisas do IBGE e oras instituições

Avaliação de resultados e impactos

Indicadores de Diagnóstico como retratos da realidade

•Taxa de mortalidade infantil •Taxa de evasão escolar •Moradias sem saneamento básico •Ocupados com baixo rendimento •Taxa de pobreza

Indicadores de Monitoramento como sequências de fotos - filme

Medidas que operacionalizam o acompanhamento da pública Alocação e execução do gasto Realização de processos e ações intermediárias Entrega de serviços, produtos e obras Medição de efeitos das ações resultados mais imediatos impactos mais de médio/longo prazo e mais abrangentes ação

Indicadores de Monitoramento como sequências de fotos - filme

Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

Indicadores de Monitoramento como sequências de fotos - filme

Permitem antecipar, em tempo, ainda que com imperfeições, tendências e rupturas indesejáveis

Indicadores de Monitoramento da Ação Governamental

Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento

1a. questão) O que deve ser monitorado execução orçamentária processos e atividades resultados 2a. questão) Unidade de monitoramento unidades organizacionais - quem faz programas - o que se faz projetos - o que é mais prioritário

Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento

3a. questão) Escopo de monitoramento analítico prioridades 4a. questão) Periodicidade das informações integração de dados de diferentes programas fontes e pesquisas externas

Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento

5a. questão) Divisão de Responsabilidades unidades organizacionais temáticas área de informática 6a. questão) Nível de centralização e acesso restrito orientado aberto ao público 7a. questão) Nível de articulação do sistema ao conjunto de gestores para a tomada de decisão

Princípios relativos à construção do Painel de Indicadores

O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades Os indicadores devem permitir evolução dos esforços, processos e efeitos Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

Principios relativos à construção do Painel de Indicadores

Os indicadores devem ter interpretação normativa clara Os indicadores devem ser mutuamente consistentes e com importância equivalente Os indicadores devem ser inteligíveis e acessíveis ao gestor Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente.

Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)

Monitoramento Gerencial e Monitoramento Analítico

Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa     Sistemas informatizados, planilhas de controle Muito intensivo em dados, estruturados ou não Subentende a lógica de encadeamento de ações Prazos e metas são os parâmetros de avaliação

Monitoramento Analítico

Exercício sistemático de análise de séries históricas de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo, tipificados segundo diferentes contextos socioeconômicos de vivência como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.

Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador

Indicador de Capacidade Gestão Indicador de bem estar

Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador

Indicador de Capacidade Gestão Por que minhas “entregas” estão se processando se forma diferente nesses dois contextos?

Indicador de bem estar

Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico

a) Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ? b) Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ?

c) Como evoluem os indicadores de efeitos nos municípios ? d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ? e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ?

f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ?

g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ?

Etapas para Construção de um Painel de Indicadores