Transcript monitoring dan evaluasi pendidikan kesehatan
MONITORING DAN EVALUASI PENDIDIKAN KESEHATAN MASYARAKAT
OLEH SITI MASFIAH, SKM, M.KES, M.A
STAF PENGAJAR UNIVERSITAS JENDERAL SOEDIRMAN 2012
OUTLINE
O O O O PENGERTIAN MONITORING DAN EVALUASI KOMPONEN MONITORING DAN EVALUASI INDIKATOR DALAM MONITORING EVALUASI PROSES MONITORING DAN EVALUASI
PENGERTIAN MONITORING DAN EVALUASI
O O Monitoring is the routine tracking of key elements of a program or project and its intended outcomes. It usually includes information from record keeping and surveys – both population and client based.
Evaluation is a rigorous, scientifically-based collection of information about program activities, characteristics, and outcomes that determine the merit or worth of a specific program. Evaluation studies are used to improve programs and inform decisions about future resources allocations.
Mengapa Perlu Monev
O O O O O O Review perkembangan/progress Identifikasi masalah dalam perencanaan dan/atau implementasi Membantu mengidentifikasi masalah dan penyebabnya Memberikan berbagai kemungkinan solusi dalam menyelesaikan masalah Mencerminkan tujuan yang akan dicapai dan bagaimana mencapainya Meningkatkan kemungkinan dalam membuat perubahan yang positif
1.
2.
3.
FOKUS MONITOR DAN EVALUASI
Efisiensi Pemanfaatan input sesuai dengan output yang dihasilkan Efektifitas apakah suatu kegiatan telah mencapai tujuan yang ditetapkan Impact apakah yang telah dilakukan memberikan perbedaan terhadap masalah yang ingin diselesaikan.
PERBEDAAN MONITORING DAN EVALUASI
Aspek Tujuan Fokus Cakupan Waktu Pelaksanaan Monitoring Evaluasi Menilai kemajuan dalam pelaksanaan program yang sedang berjalan Akuntabilitas penyampain input program Dasar untuk aksi perbaikan Penilaian keberlanjutan program 1. Apakah pelaksanaan sesuai dengan rencana?
2. Apakah terdapat penyimpangan?
3. Apakah penyimpangan dapat dibenarkan?
Dilaksanakan terus menerus atau secara berkala selama pelaksanaan program Memberikan gambaran pada suatu waktu tertentu megenai suatu program Akuntabilitas penggunaan sumber daya Pembelajaran tentang hal-hal yang dapat dilakukan lebih baik dimasa yang akan datang 1. Relevansi 2. Keberhasilan 3. Efektifitas biaya 4. Pembelajaran Umumnya dilaksanakan pada pertengahan atau akhir program
KOMPONEN EVALUASI
1.
2.
3.
4.
Process Evaluation Outcome Evaluation Impact Evaluation
PROCESS EVALUATION
O O Mengevaluasi proses pelaksanaan program. Beberapa hal yang diukur : O O Apakah program sampai pada sasaran yg telah ditentukan?
Apa persepsi partisipan terhadap program O O Apakah program berjalan sesuai dengan yang direncanakan Bagaimana kualitas pelaksanaan program?
Outcome evaluation
O O O Mengukur hasil dari program yang telah dilakukan. Ini dapat berupa hasil langsung, jangka pendek (Direct effect, intermediate effect). Contoh : O Langsung : mengukur jumlah sasaran yang mendapat edukasi dan informasi.
O Jangka pendek : pelaksanaan service yang sesuai prosedur, perubahan perilaku.
Impact Evaluation
O O O O Mengukur perbedaan ketika dilaksanakan program dan ketika tidak dilaksanakan program. Mengukur efek jangka panjang (long term effect) Menjawab seberapa besar perubahan yang pada populasi terjadi karena pelaksanaan program.
Desain penelitian yang teliti dan lebih kompleks diperlukan dalam evaluasi ini.
1.
2.
3.
Tipe Evaluator
Evaluator Internal O Menyatu dengan obyek yang dievaluasi Evaluator Eksternal O Punya kredibilitas yang lebih tinggi dan keahlian yang lebih spesifik O O Evaluator Partisipatif Wakil dari pemerintah dan stakeholder (termasuk penerima manfaat) bekerjasama dalam merancang dan melaksanakan evaluasi. O Tidak terikat dengan keputusan2 administratif dan keuangan Metode partisipatif memungkinkan digunakan dalam evaluasi internal dan eksternal.
Evaluator
Evaluasi Internal dan Eksternal
Kelebihan Kekurangan Evaluator internal Evaluator Eksternal - Evaluator cukup mengenal dengan lingkungan yang dievaluasi - Beberapa responden lebih mudah digali informasinya oleh orang dalam daripada orang luar - Biaya lebih rendah dibanding eksternal - Evaluasi dapat lebih objektif - Evaluator memiliki kemampuan dan ketrampilan lebih dalam bidang evaluasi - Beberapa responden lebih mudah digali informasinya oleh orang luar - Menggunakan evaluasi eksternal dapat memberikan kredibilitas lebih terhadap hasil temuan - Objektifitas tim evaluasi thd hasil evaluasi mungkin dapat dipengaruhi berbagai kepentingan - Tim evaluasi mungkin kurang terlatih atau memiliki kemampuan dalam bidang evaluasi - Evaluasi ekstenal dapat memakan biaya yang besar.
- Evaluator eksternal mungkin salah mengerti keinginan kita terhadap apa yang ingin dievaluasi
INDIKATOR DALAM MONITORING EVALUASI
O O O Indikator : variabel yang mengindikasi/memberi petunjuk tentang suatu keadaan tertentu, sehingga dapat digunkan untuk mengukur perubahan (Green, 1992).
Core Indicator : Indikator yang disarankan untuk dipakai secara national. Indikator dapat berupa kualitatif indikator maupun kuantitatif indikator.
Illustrative program monitoring indicators
O O O O O O O O O O Number of outreach events carried out (e.g. workshops conducted, support group meetings held, drama or street theatre shows ) Number of products distributed (e.g. condoms, lubricant) Number of stakeholders participating in activities Number of staff trained (e.g. in outreach, in counselling for serodiscordant couples, STI treatment) Number of information contacts (e.g. calls to a hotline, hits on a website, pamphlets distributed) Number of services provided (e.g. HIV tests conducted, methadone doses provided) Number of project sites (e.g. STI clinics, drug treatment centres, drop-in centres) Number of clients contacted (e.g. through outreach, at drop-in centres, etc.) Number of clients receiving services (e.g. IDUs in drug treatment, FSWs screened for STIs) Number of clients referred to services (e.g. HIV counselling and testing, HIV treatment services, psycho-social support services)
Basic Program Reporting Considerations
O O O O O O O O O Key characteristics of individual clients reached by program activities (sex, age, target population group, location, etc) Types of services delivered Frequency of services delivered (each visit) Materials distributed (i.e., brochures, condoms, drugs, or bandages) Who delivered services Training log for staff (topics/curricula, dates, etc.) Supervision / quality assurance visits for oversight monitoring (checklists) Needs assessment (diagnostic) of client; reassess client needs over time Financial tracking & expenditures
What
PROSES MONITORING DAN EVALUASI
• Yakni apa yang akan dimonitor dan dievaluasi How • Yakni metode dan instrumen yang akan digunakan dalam mengumpulkan insformasi dan membangun indikator Who • Yakni pihak yang akan melakukan kegiatan monitoring dan evaluasi, baik itu internal maupun eksternal, institusi yang akan dilibatkan, dan sebagainya
PROSES MONITORING DAN EVALUASI
1.
2.
O O Menetapkan apa yang akan dievaluasi/monitor Identifikasi program/kegiatan/objek yang akan dievaluasi Jelaskan uraian program/kegiatan/objek evaluasi O Tentukan fokus yang menjadi perhatian s.d
informasinya O Menyusun rencana evaluasi Menyusun pertanyaan evaluasi O Menetapkan informasi yang diperlukan O O O Menentukan kreiteria evaluasi Menentukan bagaimana, dimana, kapan, dari siapa informasi didapat Mengidentifikasi hambatan pelaksanaan evaluasi
PROSES MONITORING DAN
3.
4.
5.
EVALUASI
Pengumpulan data O Identifikasi infrmasi O Instrumen O Pilot test untuk menguji informasi Analisis dan presentasi data O O Kesimpulan Pengambilan keputusan O Metode analisis dan presentasi data Pilihan rekomendasi O Pertanyaan-pertanyaan tersebut adalah (Ojha, 1998):
SUMBER DATA
O O O O O Laporan program Survey masyarakat/populasi, Survey fasilitas sero-survey Penelitian terkait
Contoh Pelaksanaan Monitoring dan evaluasi
1.
2.
3.
COMBI (COMMUNICATION FOR BEHAVIORAL IMPACT) – FLU BURUNG JAWA TENGAH Paticipatory monitoring and evaluation Monitoring in EHCP