Transcript Sesiunea 8. Monitorizare şi evaluare

Dezvoltarea capacităților pentru
bugetare bazată pe performanță în Moldova
Bugetarea bazată pe
performanţă
-monitorizare şi evaluare
Instruire extinsă pentu APC
Mai 2013
Obiectivele trainingului
• De a înțelege rolul procesului de evaluare a
performanțelor şi monitorizării performanței
programei bugetare
• De a obține cunoștințele corespunzătoare în
vederea aplicării în practică a acestora
2
Conținutul sesiunii de training
• Scurtă introducere în procesul de
monitorizare, evaluare și deosebirile dintre
aceste două procese
• Metodologia și tehnicile de monitorizare a
performanței
• Raportul de performanţă
3
Scurtă introducere în procesul de
monitorizare și evaluare
Monitorizare si evaluare
Faza finală a ciclului BBP
Relaţia dintre
planificare și
monitorizare
 Planificarea fără monitorizare
este inutilă și monitorizarea
fără planificare – lipsită de
sens
 Planificarea stabilește cursul,
iar monitorizarea asigură ca
lucrurile să evalueze în
direcția corectă
Evaluare
Implementare
și
monitorizare
Finanțare
Politici/
Strategie
Planificare
Formulare
5
Ce reprezintă monitorizarea?
Cuvânt latin „monere“ = „a avertiza“
• Evaluare de rutină a activităților în
desfășurare
• Colectarea sistematică de date pentru
indicatori specifici
• Instrument de corectare a devierilor în
implementarea programului
• Instrument de gestiune a programului care
furnizează informații pentru evaluare
6
De ce să monitorizăm?
• Pentru a analiza progresul în raport
obiectivele stabilite
• Pentru a identifica eventuale abateri de la
planurile stabilite
• Pentru a corecta rapid devierile în cadrul
implementării programului
• Pentru a furniza informatii (input) pentru
evaluare
7
Caracteristicile principale ale procesului
de monitorizare
• Proces continuu
• Proces dinamic
• Orientat spre viitor
• Proces corectiv
• Este o funcție atotcuprinzătoare
• Consolidează gândirea și vigilența permanentă
8
Poziția în cadrul matricei logice a
Programului
Scop
Impact
Indicator de rezultate
Rezultat
Produs (output)
Activități de implementare ale
programului
Intrări (resurse)
- umane
- materiale
Obiective
Indicator de eficiență
Indicator de produse
(output)
Monitorizarea performanțelor
Trebuie stabilit cel puțin un indicator
pentru fiecare obiectiv
9
Ce reprezintă evaluarea?
Instrument de măsurare a succesului
impactului programului
De ce să evaluăm?
• Pentru a furniza informații în vederea stabilirii
priorităților politicilor
• Pentru a imbunătăţi alocarea resurselor
• Pentru a spori calitatea intervențiilor
• Pentru a raporta cu privire la realizări (altfel
spus, responsabilitate)
10
Când să punem în aplicare evaluarea?
•
•
•
•
Înainte de lansarea proiectului (evaluarea ex-ante)
La mijlocul proiectului
La sfârșitul proiectului
Peste un anumit timp după finalizarea proiectului
(evaluarea ex-post pentru identificarea impactului)
• În orice moment în care apare un rezultat neașteptat
care necesită o investigație ulterioară
• Dacă într-o perioadă îndelungată de timp nu există
îmbunătățiri, iar motivul este incert
11
• Proces realizat pe parcursul
implementării programului
• Proces realizat pe parcursul sau
după realizarea programului
• Colectare și analiză continuă a
datelor
• Analiza întregii intervenții; accent
principal pe necesități, rezultate și
impact pe termen lung
• Masoară realizarea obiectivelor
operaționale
• Oferă primele manifestări ale
progresului și realizare de
obiective.
• Răspunde la întrebarea “La ce
etapă suntem?”
• Realizată mai frecvent decât
evaluarea
• Identifică modul și motivul din care
activitățile au fost cu succes, au
eșuat sau au fost modificate
• Răspunde la întrebarea despre cum
poate fi îmbunătățită performanța?
• Abordează relevanța obiectivelor
12
Ce controlăm
Intrări
(input)
Ce influențăm în mod direct
Produse
(output)
Rezultate
Ce influențăm în mod indirect
Impact
intermediar
Impact
global
Efecte
Monitorizare
Estimarea progresului implementării în
scopuri manageriale
Evaluare
Analiza rezultatelor și impactului la nivel de destinatar
13
Monitorizarea – tehnici şi metodologie
14
Evoluția tehnicilor de monitorizare
Impact
1. Sistemul Monitorizare și Evaluare
(M&E) bazat pe ieșiri (output)
• Sistem M&E “classic” sau “de implementare”
• Se concentrează pe PRODUSEȘE proiectului
Rezultat
(OUTPUTS)
• Răspunde la întrebări de genul “aceasta a
fost realizat”
Produse (output)
• Au fost mobilizate intrările (input)?
• Au fost obținute produsele (output)
scontate?
Activități de implementare a Programului
• Au fost întreprinse și finalizate activitățile
stabilite?
Intrări (resurse)
- umane
- materiale
15
Evoluția tehnicilor de monitorizare
2. Sistem M&E bazat pe rezultate
Impact
Rezultat
Produse (output)
Activități de implementare ale
programului
Intrări (resurse)
- umane
- materiale
• Se concentrează pe REZULTATELE
proiectului
• Furnizează factorilor de decizie informații
referitoare la reușita sau eșecul proiectului
„Produsele au fost obținute. Ce reprezintă
acest fapt?“
• Ajută la identificarea răspunsurilor
următoarelor întrebări
• Care este scopul programului?
• A fost realizat acest scop?
• Cum poate fi ilustrată realizarea
scopului?
16
Procesul de monitorizare
Pregătirea
Realizarea monitorizării
Planificarea
Colectarea informațiilor
Sistematizarea și analiza
Proiect de raport
Consultări şi revizuire
Finalizare(elaborarea raportului)
Utilizarea
rezultatelor
Diseminarea
rezultatelor
Utilizarea
rezultatelor
Pregătirea raportului de performanţă
17
Cine va monitoriza?
APC=Autoritate Publică Centrală
Lider
(APC/ Program
interministerial)
Coordonator
monitorizare
Monitor principal
(în cadrul APC având în subordonare instituții bugetare
care participă la implementarea programului/ subprogramului)
Monitor
(Manager
program)
Monitor
(Manager
program)
Monitor
(Manager
program)
Monitor
(Manager
program)
18
Ce va fi monitorizat?
• Indicatori de performanţă selectați cu precizie
– cheia succesului pentru monitorizarea
performanțelor
• Urmează a fi realizată în strânsă dependență
cu definirea adecvată a scopului și
obiectivelor
• Indicatorii se stabilesc pentru toate nivelele:
produse (output), rezultate și de asemenea
eficienţă
19
Ce va fi monitorizat?
• Indicatori de produse (output) – o sarcină relativ
ușoară (măsurarea tradițională a serviciilor
realizate)
• Indicatorii de rezultate trebuie să răspundă la
întrebările:
– Cum vor fi percepute succesele sau realizările?
– Suntem în direcția realizării rezultatelor scontate?
20
Domeniul de aplicare a monitorizării
Estimarea eficacității generale
– Modul în care acțiunile întreprinse (spre exemplu: activitățile)
au fost eficiente în raport cu realizarea obiectivelor
– Compararea valorilor reale cu valorile planificate a
indicatorilor de performanță
– Compararea rezultatelor obținute cu cele planificate
Formularea propunerilor şi luarea deciziilor în vederea
soluționării problemelor identificate
21
Regula nr.1
Considerați indicatorii de monitorizare de la bun început
Regula nr. 2
Începeți cu analiza situației
• Ilustrați toate datele oficiale disponibile aferente subiectului
programului (învățământ public, învățământ liceal și gimnazial)
– Date statistice cantitative
– Analize calitative
•
•
•
•
•
Afișați seriile cronologice ( dinamica)
Identificați tendințele, modificări de tendințe
Încercați să explicați contextul, relaţia și interdependențele
Identificați problemele de bază şi cauzele
Formulați recomandări şi soluţii
22
Regula nr. 3
Colaborați cu diverse părți implicate, considerați
necesitățile acestora de informații
Acțiunile persoanelor interesate – beneficiarilor sau celor ce participă
în procesul activităților
– Studenții, profesorii, părinții, managerii învățământului gimnazial și liceal
Sentimentul proprietății este la fel important
Întrebări în identificarea corespunzătoare a beneficiarilor
– Cine sunt participanţii de bază implicaţi în program?
– Cum pot fi ele clasificate? (spre ex.: ONG-uri, grupuri de interes)
Convocarea beneficiarilor, prezentarea rezultatelor analizei situației
Elaborarea unei liste a problemelor și necesităților informaționale ale
beneficiarilor
– Metode: brainstorming, interviuri structurate, chestionare
– Metode avansate: Vizualizare, Arborele problemei
23
Regula nr. 4
Operați cu informația furnizată de părțile implicate
•
•
•
•
Responsabilitatea finală de proiect îi revine managerului de program.
Programul nu trebuie văzut prin prisma „listei de dorințe“ a persoanelor
interesate, ci trebuie să contribuie la creșterea calității servicilor
Sortarea şi ştergerea informațiilor, evitarea duplicităţii datelor
Reformularea preocupărilor identificate de către persoanele interesate
în afirmații potențiale de îmbunătățire a rezultatelor
– Permite identificarea a priori a direcției și destinației
– Afirmațiile pozitive ajută la obținerea consensului politic, a unei mai mari
legitimități
– Fiecare afirmație trebuie să se refere la un singur rezultat, acest fapt fiind
crucial în stabilirea indicatorilor
– Folosește doar problemele existente, nu eventuale, imaginare sau viitoare
24
Regula nr. 5. Utilizați matricea logică pentru
monitorizarea indicatorilor
Ipotezele logice sunt foarte importante
Etapa I:
Etapa III:
Etapa II:
IMPACT
REZULTATE
IPOTEZE*
produse (OUTPUT)
IPOTEZE*
APOI
ACTIVITĂȚI
IPOTEZE*
DACĂ
ȘI
Rețineți!
Scopul monitorizării rezidă de asemenea în efectuarea corectărilor în activități și posibile obiective,
indicatori, atunci când sunt depistate ca fiind greșit setate. Cu toate acestea, scopul trebuie să
rămână valabil și neschimbat pe tot parcursul implementării programului/ sub-programului
25
Deplasarea necesităților informaționale în ierarhia
obiectivelor
Activități
• Aveți activități planificate a fi realizate la termen și
în cadrul bugetului? Ce activități neplanificate au
fost realizate?
Produse (output)
• Care produse sau servicii directe și tangibile au fost
furnizate în cadrul proiectului ca rezultat al
activităților realizate?
Rezultate
Impact
(utilizat în evaluare)
• Ce modificări au rezultat în urma produselor
(output) și în ce măsură pot acestea contribui la
realizarea scopului și obiectivelor proiectului?
Cum poate fi ilustrată calitatea implementării
proiectului?
• În ce măsură proiectul a contribuit la realizarea
scopului pe termen lung? Argumentați. Ce
consecințe neplanificate pozitive și negative le-a
avut proiectul? De ce au apărut acestea?
26
În decizia cu privire la informația ce urmează a
și monitorizată și evaluată, țineți cont de:
Includeți informație operațională suficientă pentru a
stabili dacă resursele sunt utilizate optimal și calitatea
operațiunilor este bună
–
–
–
–
–
Planificarea și urmărirea activităților
Management financiar
Gestiunea echipamentului
Managementul resurselor umane
Managementul contractelor
Identificați informația care să explice progresul
Identificați impacturile involuntare pozitive și negative
în vederea întreprinderii acțiunilor de ajustare necesare
27
Planificarea aspectelor esențiale ale
procesului de colectare a datelor
Elementele esențiale ale planului de regulă
includ:
• Definiții detaliate pentru fiecare indicator,
• Sursa și metoda de colectare a datelor,
• Frecvența și graficul colectării de date,
• Identificarea celor responsabili pentru
colectarea, analiza și raportarea datelor.
28
Metode de colectare a datelor
•
•
•
•
•
•
Recensăminte și sondaje,
Statistici naționale
Studii elaborate de partenerii de dezvoltare
Chestionare
Interviuri
Examinare documentară
Pot fi surse interne si externe
29
Cum gestionăm problema deficitului de
informații?
• Căutați indicatori de alternativă (atunci când datele nu
sunt disponibile sau au un cost mult prea mare)
– Spre ex.: măsurarea reducerii bunăstării prin prisma numărului
bunurilor de lux (automobile, iphone)
• Indicatorii furnizaţi de organizaţii internaţionale reprezintă
o soluție în acest sens
–
–
–
–
–
–
–
Obiective PNUD de dezvoltare umană durabilă (WDI);
Indicele de stabilitate financiară al FMI
Indicele de democrație al Freedomhouse
Indicele Corupției al Transparency International
Indicele democrației al Economic Intelligence Unit
Indicele competitivității globale al Forumului Economic Global,
Indicatori de dezvoltare rurală Handbook, etc.
30
Raportul de monitorizare (de performanţă)
31
Măsurarea Performanței Programelor
Guvernului
A defini
A raporta
A măsura
32
Raportarea
Rapoartele de performanţă trebuie să le ofere managerilor de program o
privire de ansamblu coerentă privind statutul actual de implementare a
programului și să-i ghideze în activitățile de evaluare a programului
Sistemul de raportare trebuie să ilustreze așteptările, rezultatele de facto
și să explice diferența dintre acestea
Managerii de program au nevoie de informații detaliate privind situația
inițială, situația finală, rezultate și eficacitate
33
Caracteristicile unui raport de
performanţă
• Descrie structura, scopul și obiectivele programului.
• Prezintă tendințele perioadelor anterioare.
• Prezintă o varietate de indicatori-cheie de performanță
pentru fiecare obiectiv major.
• Face o comparație între obiectivele stabilite și rezultatele de
facto.
• Scoate în evidență divergențele.
• Explică într-o formă narativă cauzele acestor divergențe.
• Prezintă măsurile de ameliorare sau rectificare ce urmează
a fi întreprinse.
2008
2009
2010
2011
2012
2013
2014
34
Informația narativ-explicativă furnizată
împreună cu rapoartele de performanţă
•face o comparație dintre perfomanța atinsă, pe de o parte și
obiectivele stabilite, cheltuielile suportate, pe de altă parte
•explică
• cauzele divergențelor,
• factorii care afectează divergențele (inclusiv modificările
limitelor de alocare) și lacunele privind calitatea datelor.
•propune măsuri de ameliorare
•prezintă eventualele obstacole în calea spre ameliorare
35
Unele aspecte care necesită atenție în cadrul raportului
de performanță
Ce informații contextuale contribuie la înțelegerea datelor?
Datele sunt clare?
Informația prezentată în raport este clară?
Informația conținută în raport este prezentată conform principiului comparativ?
Informația conținută în raport este suficientă pentru ca cititorul să poată înțelege
următoarele aspecte:
• contextul mai larg, în care se încadrează activitățile programului, inclusiv
acei factori care influențează situația inițială, situația finală, rezultatele;
• nivelul performanței atinse și factorii care au influențat performanța dată;
• acțiunile întreprinse în urma informației raportate, îndeosebi în cazul în care
s-a înregistrat în mod neașteptat o performanță înaltă sau scăzută?
36
PERIOADELE DE RAPORTARE
Rapoartele de performanță sunt întocmite:
•Semianual – focusat pe indicatorii de produs si de
eficienţă
•Anual – accent pe indicatorii de rezultat
37
Exemplu: Raportul de monitorizare a performanţei pe termen
mediu pentru administrația regională, Bratislava, 30 iunie 2011
Program 6
Drumuri
Subprogram 6.2 Reconstrucția drumurilor
Scop: Asigurarea practicabilității drumurilor și stabilizarea condiției tehnice a
acestora
38
Responsabili de raportare
• Coordonarea rapoartelor de performanţă legate de
program sau subprogram - managerul de program
• Colectarea și analiza datelor primare – observatori în
cadrul instituțiilor bugetare
• Rapoarte semi-anuale și anuale de performanță coordonator de monitorizare la ministerele de resort
• Examinarea rapoartelor pentru a se asigura că resursele
alocate au fost utilizate eficient - Ministerul Finanțelor
39