Transcript Workshop Item Development and Review

ITEM DEVELOPMENT
Forum Komunikasi Institusi Kebidanan Jawa Tengah
Sri Handayani,S.Si.T,M.Kes.
LATAR BELAKANG
• Era perdagangan bebas barang & jasa
• Dampak ganda: kesempatan kerja yang luas dan persaingan yang
semakin ketat
TANTANGAN
MENINGKATKAN DAYA SAING & KEUNGGULAN
KOMPETETITIF YANG MEMENUHI STANDARD
KEBUTUHAN GLOBAL
Kenapa MCQ A type ?
 Paling umum digunakan ujian lisensi oleh profesi-profesi





(standardized test)
Sejarah panjang riset tentang psychometric
Cost effective untuk skala besar
Paling objektif & reliable (tanpa halo effect)
Memungkinkan berbagai variasi dan topik
Sulit & memakan waktu untuk dibuat
Masalah Ujian
 Isi yang diujikan tidak konsisten
 Proporsi tidak konsisten
 Soal ada yg terlalu mudah/sulit
 Soal yang tidak layak masih sering keluar
Tahap Penjaminan Mutu
Input
Process
Output
1. Review Process
1. Blueprinting
2. Item Writer
Standard
3. Item Reviewer
Standard
4. ICT support
2. Try-out
3. Examination
guideline
4. Report on
Examination
5. Feedback
process.
6. Item Bank
•
Criterionreference.
•
Standard
setting
exercise
Kompetensi Esensial Terujikan
Ujian diharapkan memenuhi tingkat safety
Bagi Nakes pemula:
 Penciri nakes (Kompetensi Inti)  Blue print
 Sangat penting dan prinsip untuk dikuasai oleh lulusan baru
 Sangat sering dilakukan oleh Nakes baru
Blue Print UKBI (1)
Tinjauan 1: Kompetensi Bidan
Etik legal dan keselamatan pasien
2-6
Komunikasi efektif
2-4
Pengembangan diri dan profesionalisme
3-7
Landasan ilmiah praktek kebidanan
30-35
Keterampilan klinis dalam praktik kebidanan
40-45
Promosi kesehatan dan konseling
4-7
Manajemen dan kepemimpinan
4-6
Tinjauan 2: Domain/Aspek Penilaian
8
Prosentas
e
Prosentas
e
Kognitif
25-30
Prosedural Knowledge
55-60
Konatif/Afektif knowledge
10-15
Blue Print UKBI (2)
Tinjauan 3: Siklus Kesehatan Reproduksi
Perempuan dalam konteks keluarga
Remaja
2-5
Pra konsepsi
2-5
Hamil
20-25
Bersalin
15-20
Nifas
15-20
Masa antara
5-10
Perimenopause
Bayi baru lahir
Bayi dan balita
9
Prosentase
5-10
5-10
5-10
Blue Print UKBI (3)
Tinjauan 4: Lingkup Praktik Bidan
Fisiologis/normal
45-50
Deteksi dini komplikasi
15-20
Rujukan
10-15
Kegawatdaruratan
10-15
Tinjauan 5: Managemen Asuhan
10
Prosentase
Prosentase
Pengkajian
15-20
Diagnosis
15-20
Perencanaan
15-20
Implementasi
15-20
Evaluasi
15-20
Ujian Tulis
Multiple Choice Question
One Best Answer
Why… One Best Answer
 Jenis soal 1-2-3-4 lebih mudah ditebak
 Soal sebab akibat sering membingungkan, aspek bahasanya
terlalu rumit
 Satu pilihan terbaik, mencerminkan peran profesional yang
harus mencari alternatif terbaik bagi klien
Membuat Soal MCQ
UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)
 Tidak semudah yang dibayangkan
 Kedalam, aplikasi, berpikir kritis sesuai kompetensi
 Perlu sounding multidiscipline team
 Perlu ketetapan istilah bersama
 Perlu Standarisasi bahasa
 Perlu Standarisasi struktur
Ciri Soal Kelas Tinggi
Bukan soal ingatan sederhana (recall)
Menggabungkan berbagai data
Menggambarkan situasi nyata praktek
(pekerjaan)
Bisa menjadi prediktor terhadap kemampuan
kinerja
Taxonomy Cognitive Bloom:
C1
Mengetahui (menyebutkan)
Pengethuan umum, konsep umum,
nilai/fakta
Memahami (menjelaskan)
Interprestasi chart, grafik, nilai, justifikasi
prosedur
C1. C2 C.Urutan
3
C2
C3
Menerapkan (menghubungkan)
Aplikasi konsep dlm situasi baru, aplikasi prosedur,
memecahkan hitungan matematika
Bloom …
C4
Menganalisa (membandingkan)
Menggunakan logika untuk pemecahan
masalah, mengevaluasi relevansi data
C5
Mensintesa (menyimpulkan, menyusun)
mengungkap sebuah konsepsi dengan
baik, merumuskan konsepsi baru,
C6
Mengevaluasi (mengkritik, SOAP)
Menyesuaikan, menjustifikasi suatu
pekerjaan
Item Development
Local Item Bank
Administrator
Regional Item
Bank
Administrator
National Item
Review
Item Bank 2
Panel expert
National Item
Bank
Administrator
Item Bank 1
Non scored
items
Item Bank 3
Item Selection
process
Question book
Item writer
Item Bank 4
JENIS SOAL
 Berupa soal pilihan berganda dengan lima pilihan jawaban
soal.
 Soal terdiri dari ”stem” berbentuk skenario (”vignette”),
pertanyaan, dan lima pilihan jawaban dengan satu jawaban
benar.
 Jumlah soal-soal ujian seluruhnya adalah 200 soal.
Struktur
 Vignette
 Lead in
 Option
STRUKTUR ITEM MCQ – A Type
Stem (vignette)
Pertanyaan (Lead in)
Distraktor
Distraktor
Jawaban benar
Distraktor
20
Distraktor
Syarat
• Fokus pada konsep-2 yang penting
• Memerlukan aplikasi pengetahuan (tidak sekedar
recall)
• Memuat informasi penting yang komprehensif
(bukan sekedar opsi)
• Hindari informasi yang berlebihan
• Tidak menjebak (“tricky”)
21
Komponen Vignette
 Jenis kelamin, usia (e.g. laki-laki 45 tahun)
-
a. Kasus spesifik perempuan kehamilan
b. Kasus anak-anak, dewasa, geriatri?
Tempat pelayanan/setting (IGD)
Keluhan Utama
Durasi
Gejala penyerta dan keterangan pasien lainnya
Pemeriksaan fisik
Pemeriksaan penunjang
Lesson learnt pada vignette
- Bahasa yang digunakan pada vignette
- Vignette terlalu pendek (tidak lengkap), atau terlalu panjang
(tidak terkait logika option).
- Urutan vignette tidak sistematik (Anamnesa, Px Umum,
Fisik, Penunjang).
- “Close the option rule”
Confirm The Vignette
 Lebih berfokus pada konsep daripada fakta penyakit
 Masalah dapat dijawab tanpa melihat pilihan jawaban
 Informasi relevan dan lengkap
 Tidak ada data yang ditampilkan pada vignette
 Tidak menjebak
Seorang (laki-laki/perempuan/anak laki-laki/anak perempuan) berusia
…..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah
sakit/Puskesmas/dokter praktik umum) dengan keluhan…….. Keluhan
disertai……. Pasien diketahui…… Bekerja sebagai…… Pada
pemeriksaan fisik (diperoleh/ditemukan/didapatkan) keadaan
umum…… Pada pemeriksaan tanda vital diperoleh tekanan darah
…mmHg, denyut nadi ….x/menit, frekuensi napas …x/menit dan
suhu …. 0C. Pada pemeriksaan (obstetrik, dermatologik, visus,
neurologik) (diperoleh/ditemukan/didapatkan) ……… Pada
pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal)
diperoleh ……. Pada pemeriksaan foto rontgen diperoleh
gambaran………
26
2. Lead in (pertanyaan)
Pertanyaan langsung
Frasa positif, hindari frasa negatif, ..... Kecuali,.......
Bukan......
Dapat dijawab dengan opsi yang tersedia
27
KAIDAH PENULISAN LEAD IN
•Seorang (deskripsi pasien) mengalami (jenis trauma
dan tempat). Manakah struktur anatomi yang
paling mungkin mengalami kerusakan akibat
trauma tersebut?
• Seorang (deskripsi pasien) mengalami (temuan
perjalanan penyakit) dan meminum suatu jenis
obat.Yang manakah obat paling tepat sebagaimana
kasus di atas?
KAIDAH PENULISAN LEAD IN
• Seorang (deskripsi pasien) mempunyai (kondisi/temuan abnormal).
Gejala atau keluhan tambahan apa yang dapat mengarahkan
kecenderungan diagnosis pasien tersebut lebih pada (penyakit A)
dibandingkan pada (penyakit B)?
 Seorang (deskripsi pasien) mengalami (keluhan dan gejala). Hal –
hal tersebut menunjukkan bahwa kelainan tersebut diakibatkan
(adanya/kurangnya/tidak adanya) dari (enzim/mekanisme) berikut
ini:
 Seorang (deskripsi pasien) mengikuti suatu (regimen diet tertentu).
Kondisi manakah yang akan terjadi pada pasien tersebut?
KAIDAH PENULISAN LEAD IN
 Seorang (deskripsi pasien) mengalami (keadaan abnormal).
Berdasarkan kondisi tersebut, (Hasil pemeriksaan lab) manakah
dibawah ini yang diperkirakan positif?
 (periode waktu) setelah (suatu kejadian seperti perjalanan atau
mengkonsumsi suatu makanan), seorang (deskripsi pasien)
mengalami (keluhan dan gejala). Manakah organisme di bawah
ini yang mungkin ditemukan pada analisis
• Setelah menjalani (suatu prosedur) seorang (deskripsi pasien)
mengalami (keluhan dan gejala). Hasil pemeriksaan lab
menunjukkan (hasil lab). Manakah dibawah ini yang paling
tepat menyebabkan keadaan tersebut?
BERBAGAI CONTOH LEAD IN
 Memperkirakan obat yang dikonsumsi
 Memperkirakan jenis diet
 Memprediksi hasil pemeriksaan fisik
 Memprediksi hasil lab,
 Mengidentifikasi penyebab/diagnosis,
 Mengidentifikasi obat yang harus diberikan
32
Pilihan bersifat paralel dan saling kompatibel
Pilihan homogen
Kalimat lugas, hindari kata.... Biasanya, seringkali......
dsb
Istilah absolut dihindari (selalu, tidak pernah, semuanya)
Kata kunci tidak terdapat secara bersamaan di stem dan
pilihan jawaban
Pilihan jawaban, sama panjangnya
33
Singkat dan straightforward
Jangan gunakan pilihan jawaban
Bukan salah satu di atas
Semua di atas benar
Jawaban diurutkan berdasar urutan alfabet atau logical order
Mutually exclusive, tidak ambigu
Hanya ada satu jawaban paling benar
34
KAIDAH PENULISAN OPTION
 Option yang salah disebut distractor.
 Berbeda dari jawaban yang benar
 Masuk akal dan membuat mahasiswa yang tidak tahu
akan memilihnya.
 Bentuk /panjang menyerupai jawaban yang benar
 Tidak mengandung kesalahan susunan kalimat dan
sesuai dengan bentuk kalimat pada stem.
 Contoh SoalVignette Hamil.docx
TERIMA KASIH