Transcript Workshop Item Development and Review

ITEM REVIEW
Forum Komunikasi Institusi Kebidanan Jawa Tengah
Sri Handayani,S.Si.T,M.Kes.
KAIDAH UMUM
 Yakinkan setiap soal dapat diduga jawabannya tanpa harus
melihat pilihan jawaban atau yakinkan pilihan jawaban 100 %
benar atau salah.
 Usahakan data/informasi penting seoptimal mungkin
dicantumkan pada soal (stem), pilihan jawaban usahakan
sesingkat mungkin.
 Hindari informasi berlebihan pada soal.
KAIDAH UMUM
 Hindari soal bersifat menjebak dan terlalu kompleks serta
tidak relevan.
 Gunakan pilihan jawaban yang secara gramatikal konsisten
dan secara logis kompatibel dengan soal.
 Hindari kata absolut (selalu, tidak pernah), semua pada
pilihan jawaban, dan istilah yang tidak jelas/meragukan
(biasanya atau sering).
KAIDAH UMUM
 Hindari kalimat atau frase negatif seperti KECUALI, TIDAK,
atau BUKAN.
 Hindari hanya menguji kemampuan mengingat fakta.
 Fokuskan soal pada konsep penting dan kasus-kasus yang
sering serta memiliki potensi masalah serius.
KAIDAH UMUM
 Usahakan menilai aplikasi pengetahuan, tidak hanya
menguji daya ingat terhadap fakta terisolasi.
 Soal lebih baik menekankan pada pertanyaan mengenai
pengambilan keputusan klinik.
Bagan Alir Proses Review
Soal baru
Esensial
Scanning isi soal
terkait topik soal
Review
struktur
Tidak esensial
Dikembalikan
Struktur?
Struktur
 Vignette
 Lead in
 Option
STRUKTUR ITEM MCQ – A Type
Stem (vignette)
Pertanyaan (Lead in)
Distraktor
Distraktor
Jawaban benar
Distraktor
9
Distraktor
KESALAHAN STRUKTUR SOAL
 Testwiseness” adalah peserta ujian dapat menjawab
soal bukan karena penguasaannya terhadap isi
materi , tetapi karena kepintarannya dalam
menebak jawaban yang benar.
 “irrelevant difficulty” adl kesulitan peserta ujian
menjawab soal, bukan karena sulitnya materi yang
diujikan, namun lebih ke arah sulitnya mahasiswa
menjawab, yang ditimbulkan oleh struktur soal
tersebut.
Kesalahan yang berkaitan dengan
testwiseness:
 Grammatical Cues
 Logical Cues
 Istilah yang absolut
 Jawaban benar yang panjang
 Pengulangan kata dari badan soal ke jawaban
 Konvergensi soal
Kesalahan yang berkaitan dengan kesulitan
yang tidak perlu/relevan
 Pilihan jawaban yang panjang, kompleks, atau duplikasi
 Angka tidak diurut sesuai dengan besarnya
 Mengandung unsur frekuensi suatu kejadian bersifat
multi interpretasi
 Tidak parallel dan urutan tidak logis
 Penggunaan BSSD (bukan salah satu diatas) pada pilihan
jawaban
 Badan soal terlalu panjang, sulit, dan kompleks
Bagan Alir Proses Review
Soal baru
Esensial
Scanning isi soal
terkait topik soal
Tidak esensial
Review
struktur
Vignette
Dikembalikan
Next step?
Checkpoint
 Bagaimanakah step mereview soal?
Apa saja yang perlu ditelaah ?
 Materi :
 Relevansi: Kongruensi
 Bahasa
 Tingkat kesulitan (tingkat kompetensi)
 Klasifikasi : e.g. Dasar atau klinik?
Apa saja yang perlu ditelaah ?
 Struktur :
 Stem
 Lead in
 Option
 Tinjauan (Blue Print)
 Kesimpulan
 Komentar umum dan saran
 Diterima/revisi/dikembalikan
Testwiseness
1.
2.
3.
4.
5.
6.
Grammatical Cues
Logical Cues
Istilah yang absolut
Jawaban benar yang panjang
Pengulangan kata dari badan soal ke jawaban
Konvergensi soal
Grammatical Cues
Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat
oleh seorang polisi, yang menemukannya dalam keadaan
tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan
bahwa saluran pernafasan dalam keadaan tidak tersumbat,
langkah pertama dalam manajemen adalah administrasi
intravena:
A. pemeriksaan cairan serebrospinal
B. glukosa dengan vitamin B1 (thiamine)
C. CT scan kepala
D. fenitoin
E. diazepam
Logical Cues
Kejahatan adalah:
A. A. terjadi secara merata pada berbagai kelas social
B. B. lebih sering muncul pada golongan orang miskin
C. C. lebih sering muncul pada kelompok masyarakat
menengah sampai kaya.
D. D. pada dasarnya merupakan suatu indikasi psychosexual
maladjustment
E. E. mencapai keadaan toleransi yang plateau terhadap negara
Istilah yang absolut
Pada pasien dengan demensia lanjut, tipe
Alzheimer, defek memori yang terjadi:
A. dapat diberikan terapi secara adekuat
dengan fosfatidilkolin (lesitin)
B. dapat merupakan sekuel dari parkinsonism
dini
C. tidak pernah terjadi pada pasien dengan
neurofibrillary tangles pada otopsi
D. tidak pernah menjadi berat
E. mungkin melibatkan sistem kolinergik
Jawaban benar yang panjang
Secondary gain adalah
A. synonym dengan malingering
B. Problem yang biasa timbul pada orang dengan gangguan
obsessive-compulsive
C. Komplikasi dari berbagai penyakit dan cenderung untuk
memperlama waktu penyakit
D. Tidak pernah timbul pada gangguan otak organic
Pengulangan kata dari badan soal ke
jawaban
Seorang pria berusia 58 tahun dengan riwayat penggunaan
alkohol yang berat dan sebelumnya pernah dirawat karena
gangguan psychiatric mengalami kebingungan dan agitasi. Dia
mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini
disebut:
A. depersonalisasi
B. derailment
C. Derealisasi *
D. focal memory deficit
E. tanda anxietas
Konvergensi soal
Anestesi lokal akan bekerja paling efektif pada kondisi:
A. dalam bentuk anionic, bekerja dari dalam membrane syaraf
B. dalam bentuk cationic, bekerja dari dalam membrane syaraf
C. dalam bentuk cationic, bekerja dari luar membrane syaraf
D. dalam bentuk tidak bermuatan, bekerja dari dalam
membrane syaraf
E. dalam bentuk tidak bermuatan, bekerja dari luar
membrane syaraf
Irrelevant difficulty
1.
2.
3.
4.
5.
6.
Pilihan jawaban yang panjang, kompleks, atau duplikasi
Pilihan yang berupa angka tidak diurut sesuai dengan
besarnya
Pilihan yang mengandung unsur frekuensi suatu kejadian
bersifat multi interpretasi
Pilihan jawaban tidak parallel dan urutan tidak logis
Penggunaan BSSD (bukan salah satu diatas) pada pilihan
jawaban
Badan soal terlalu panjang, sulit, dan kompleks
PILIHAN JAWABAN YG PANJANG, KOMPLEKS
ATAU DUPLIKASI
Komite Peer review di HMO bisa menolak keputusan dokter
dalam penanganan kesehatan anggotanya. Berkaitan
dengan hal ini dokter sebelumnya harus telah menerima
proses klarifikasi. Proses kalrifikasi tersebut termasuk apa
saja?
 A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk
didengar dan ditunjukkan bukti yang memberatkan.
 B. Peringatan yang tepat, pengadilan pengambilan keputusan, kesempatan
untuk bertemu di pengadilan dengan saksi yang memberatkan dan
kesempatan untuk menunjukkan bukti yang meringankannya.
 C. Peringatan yang tepat waktu dan dipercaya, pengadilan tertutup untuk
pengambilan keputusan, kesempatan untuk mendengarkan bukti yang
memberatkan dan bertatap muka dengan saksi yang memberatkan dan
kesempatan untuk menunjukkan bukti yang meringankan.
Angka tidak urut sesuai dengan
besarnya
Apabila terjadi infeksi pada rongga pelvis yang berulang
( kedua kalinya), berapa kemungkinan seorang wanita
mengalami keadaan infertile?
 A. kurang dari 20%
 B. 20 - 30%
 C. Lebih dari 50%
 D. 90%
 E. 75%
Mengandung unsur frekuensi kejadian
bersifat multi interpretasi
Penderita obesitas berat dewasa muda:
 A. biasanya berrespon secara dramatis terhadap regimen diet
 B. sering berkaitan dengan kelainan hormon
 C. memiliki kemungkinan 75 % untuk kembali normal secara
spontan
 D. mempunyai prognosis yang buruks
 E. biasanya berrespon terhadap terapi obat dan psikoterapi intensif
Struktur Soal : Item Flaws
 Grammatical Cues
 Logical Cues
 Istilah yang absolut
 Jawaban benar yang panjang
( ) Ya
( ) Ya
( ) Ya
( ) Ya
( ) Tidak
( ) Tidak
( ) Tidak
( ) Tidak
 Pengulangan kata dari badan
soal ke jawaban
 Konvergensi soal
 Pilihan jawaban yang panjang,
kompleks, atau duplikasi
( ) Ya
( ) Ya
( ) Ya
( ) Tidak
( ) Tidak
( ) Tidak
 Pilihan yang berupa angka tidak diurut
sesuai dengan besarnya
( ) Ya
 Pilihan yang mengandung unsur frekuensi
suatu kejadian bersifat multi interpretasi ( ) Ya
( ) Tidak
( ) Tidak
 Pilihan jawaban tidak paralel dan
urutan tidak logis
 Penggunaan BSSD (bukan salah satu
di atas pada pilihan jawaban)
 Badan soal terlalu panjang, sulit,
dan kompleks
( ) Ya
( ) Ya
( ) Tidak
( ) Ya
( ) Tidak
( ) Tidak
Komentar Umum Reviewer
ID Soal :
Kesimpulan Hasil Review
( ) Diterima tanpa perbaikan
( ) Diterima dengan perbaikan
( ) Perlu konfirmasi pembuat soal
( ) Tidak perlu konfirmasi dengan pembuat soal
( ) Dikembalikan kepada pembuat soal
( ) memerlukan perbaikan keseluruhan
( ) Berpotensi diterima dengan perbaikan
Saran Perbaikan
Tanggal:
(DD) / (MM) / (YY)
Tanda Tangan Reviewer
Nama Jelas :
 Ketidak sesuaian antara pertanyaan dengan kompetensi
 Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif
 Kemaknaan klinis yang tidak relevan dengan kompetensi
 Bahasa dan kalimat tidak logis atau multi interprestasi
 Menanyakan sesuau yang bersifat hafalan (recall) sederhana
 Kasus (vignyet) tidak menggambarkan suasana klinis yang
sebenarnya
 Subtansi tidak logis (misalnya data pemeriksaan kliniks dan atau
laboratorium)
 Pilihan jawaban tidak homogen
Evaluasi butir soal secara umum
 Apakah butir soal relevan untuk menilai learning objectives
dalam blok?
 Apakah tata bahasa, penulisan dan ejaan sudah benar?
 Apakah kosa kata yang tidak perlu dan sulit dipahami sudah
dihindari?
 Apakah menggunakan kalimat-kalimat yang ringkas, berisi
dan mudah dipahami?
Evaluasi butir soal secara spesifik
 menggunakan stem/vignette
 Apakah stem butir soal tidak mengandung materi yang tidak





relevan?
Apakah vignette berisi informasi/data yang memungkinkan
mahasiswa yang kompeten mampu menjawab dengan benar?
Apakah vignette merepresentasikan keadaan yang mungkin terjadi
di konteks nyata?
Apakah vignette memfoskuskan prinsip atau konsep
penting/esensial yang perlu dimengerti oleh mahasiswa, bukan
hanya soal hafalan?
Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa
melihat jawaban yang tersedia?
Apakah stem tidak menjebak dan juga tidak terlalu rumit?
Evaluasi Lead in Question:
 Apakah dibuat dengan kalimat tanya?
 Apakah telah dihindari menanyakan tentang opini?
 Apakah pertanyaan berhubungan dengan stem?
 Apakah telah dihindari penggunaan kata “kecuali”?
Evaluasi Pilihan Jawaban
 Apakah alternatif jawaban sudah dibuat jelas dan singkat?
 Apakah alternatif jawaban sudah homogen?
 Apakah alternatif jawaban mempunyai panjang yang hampir
sama dengan jawaban kunci?
 Apakah alternatif jawaban sudah menghindari alternatif yang
tidak rasional?
 Apakah alternatif jawaban merupakan jawaban yang tidak
benar atau kurang benar dibandingkan dengan jawaban
kunci?
Lanjut …..
 Apakah alternatif jawaban cukup menarik mahasiswa yang




tidak kompeten untuk memilihnya?
Apakah alternatif jawaban secara tata bahasa konsisten dan
cocok dengan stem dan lead in question?
Apakah alternatif jawaban sudah menghindari penggunaan
“salah satu di atas” dan “bukan salah satu di atas”?
Apakah alternatif jawaban sudah menghindari kata “selalu”,
“jarang”, “kadang-kadang”?
Apakah poin jawaban yang benar sudah diletakkan posisinya
secara acak terhadap distractornya?
Bagan Alir Proses Review
Soal baru
Esensial
Scanning isi soal
terkait topik soal
Tidak esensial
Review
struktur
Vignette
Lead-in
Option
Dikembalikan
The next steps?
Selamat bekerja