Transcript Workshop Item Development and Review

Item Development and Review
Workshop
Health Professional Education Quality Project
(HPEQ-Nurse)
Heru Supriyatno, MN

Pendidikan:
 Akper Karya Husada Semarang, 1987
MN: Univ. of Melbourne Australia, 2003
Pekerjaan (saat ini):
 Dosen Jurusan Keperawatan
Poltekkes Kemenkes Semarang

Organisasi (saat ini):
Sekretaris Forkom Jurusan Keperawatan
Poltekkes Kemenkes RI
 Anggota Bidang Diklat AIPDiKI
 Anggota HIPMEBI Jawa Tengah
Objektif
Memahami prinsip:
1. Dasar-dasar ujian regional/nasional
2. Dasar prinsip assesment
3. Standar kualitas soal MCQ (type A)
4. Prinsip-prinsip proses review
Mampu melakukan
1. Self review
2. Review soal orang lain
LATAR BELAKANG
• Era perdagangan bebas barang & jasa
• Dampak ganda: kesempatan kerja yang luas
dan persaingan yang semakin ketat
TANTANGAN
MENINGKATKAN DAYA SAING & KEUNGGULAN
KOMPETETITIF YANG MEMENUHI STANDARD
KEBUTUHAN GLOBAL
Urgensi ujian nasional
• Uji nasional adalah proses standarisasi
penilaian kemampuan
• Menegakan akuntabilitas profesional
• Menegakan standard dan ethik profesi
• Melindungi kepercayaan publik
• Melindungi pemberi jasa
Tahapan uji nasional
1. Pembentukan dan validasi standar kompetensi
oleh stakeholders
2. Menentukan kompetensi dasar yang diujikan
3. Pembuatan blue print sesuai objektif dari
pendidikan (kriteria lulusan  Perawat)
4. Menentukan model test yang efektif dan efisien
5. Membuat instrument test yang valid/reliable
(psychometric principles)
6. Membuat standard setting dan proses
pengambilan putusan
MEKANISME PEMBUATAN SOAL UJI PROFESI
Perwakilan
di bidang
keilmuan
Narasumber
Pengembang
Soal
Set Booklet
Soal Ujian
Merakit
Soal
Pelatihan
Pembuatan
soal
Revisi soal
Sub.Bid. PS
Bank soal
Uji coba soal
Pembuatan soal
Sesuai keilmuan
Kumpulan
soal
Edit
Bank soal
Sementara
Item Review
Oleh Dewan
Profesi
Mekanisme Soal Institusi?
•
•
•
•
Kisi-kisi untuk mecapai ‘graduate attribute’
Standarisasi pengetahuan ‘pembuatan soal’
Pembuatan soal  peer review
Telaah soal setelah diujikan  perbaikan
ASSESMENT UNIT
Langkah Pengembangan Soal Tes
1.
2.
3.
4.
5.
6.
7.
8.
9.
menyusun spesifikasi tes,
menulis soal,
menelaah soal tes,
melakukan uji coba tes,
menganalisis butir soal,
memperbaiki tes,
marakit tes,
melaksanakan tes,
menafsirkan hasil tes
Pilihan assessment
• Menentukan level kompetensi lulusan baru
• Menentukan kompetensi mana yang paling
penting dalam perspektif public safety
• Menetukan apa yang bisa di tes dengan alat
ukur yang telah ditetapkan
Blue Print Assessment Program Study
(contoh)
Kompetensi
Tahun I
Tahun II
Tahun III
Komunikasi
MCQ/OSCE
OSCE
OSCE
Ketrampilan
Klinis
OSCE
OSCE
Mini CEX, Direct
observation
Manajemen
kasus
MCQ
MCQ, MINI CEX, log MCQ,, MINI CEX,
book
log book, portfolio,
Clinical rating form
Pengemban
gan prof.
PBL/tutor/peer
rating
PBL/tutor/peer
rating
Masfuri
PBL/tutor/peer
rating
12
Blue print: Manajemen Kasus (contoh MCQ)
Level Kognitif
Kompetensi
Pengetahuan
Kompre.
Aplikasi
Berpikir
Kritis
AnFisPatkon
4
4
0
Farmakologi
5
5
3
Pengkajian
8
10
3
Rencana
5
8
3
Implemen
10
14
5
Evaluasi
5
5
3
Apa yang akan diujikan ?
Kompetensi Perawat
Berpengalaman
Kompetensi Lulusan
Kompetensi Transisi (menengah)
Kompetensi awal (masuk)
Kedalaman (kompleksitas) Soal
No.
Level Kompetensi
Contoh Kedalam Kajian
1
Kompetensi perawat
profesional berpengalaman
Mampu melakukan setting ventilator
berdasarkan hasil analisa gasa darah dan
tanda-tanda vital pasien
2
Kompetensi lulusan perawat
(diujikan)
Mampu melakukan monitoring tandatanda vital non invasive pada pasien syok
dan melakukan tindakan awal yang
Diperlukan
3
Kompetensi transisi (mahasiswa
perawat)
Mampu melakukan berbagai cara
pengukuran tanda-tanda vital
4
Kompetensi awal (saat masuk
kuliah)
Mampu menjelaskan anatomi dasar tubuh
manusia.
Kenapa MCQ A type ?
• Paling umum digunakan ujian lisensi oleh
profesi-profesi (standardized test)
• Sejarah panjang riset tentang psychometric
• Cost effective untuk skala besar
• Paling objektif & reliable (tanpa halo effect)
• Memungkinkan berbagai variasi dan topik
• Sulit & memakan waktu untuk dibuat
Evidence…
• Health Education Institution Exit exam (HESI E2)
 predictor of NCLEX RN  employment success
(Reiter, 2005; Joho, 2007)
• HESI Exit Exam (E2) was 96.30% to 98.30%
accurate in predicting NCLEX-RN success (Britt,
2007)
• E2 scores are potentially useful determinants of
the new graduate nurses’ ability to assume entrylevel positions within the practice setting (Pine,
2007)
Masalah Ujian
•
•
•
•
•
•
Isi yang diujikan kurang relevan
Dominasi soal recalling
Proporsi tidak konsisten
Soal ada yg terlalu mudah/sulit
Soal yang tidak layak masih sering keluar
Tidak ada review thd soal yang digunakan
Tahap Penjaminan Mutu
Input
Process
Output
1. Review Process
1. Blueprinting
2. Item Writer
Standard
3. Item Reviewer
Standard
4. ICT support
2. Try-out
3. Examination
guideline
4. Report on
Examination
5. Feedback
process.
6. Item Bank
•
Criterionreference.
•
Standard
setting
exercise
Kompetensi Esensial Terujikan
Ujian diharapkan memenuhi tingkat safety
Bagi Perawat baru lulus:
• Penciri Perawat (Kompetensi Inti)
• Sangat penting dan prinsip untuk dikuasai
• Sangat sering dilakukan
SEBUTKAN KOMPETENSINYA?
Materi uji dan Kompetensi
MATERI
Ter U J I A N kan
KOMPETENSI LULUSAN BARU
KOMPETENSI PERAWAT
Ujian Tulis
Multiple Choice Question
One Best Answer
Why… One Best Answer



Jenis soal 1-2-3-4 lebih mudah ditebak
Soal sebab akibat sering membingungkan, aspek
bahasanya terlalu rumit
Satu pilihan terbaik, mencerminkan peran
profesional yang harus mencari alternatif terbaik
bagi klien
Membuat Soal MCQ
UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)
Tidak semudah yang dibayangkan
 Kedalam, aplikasi, berpikir kritis sesuai
kompetensi
 Perlu sounding multidiscipline team
 Perlu ketetapan istilah bersama
 Perlu Standarisasi bahasa
 Perlu Standarisasi struktur

Ciri Soal Uji Nasional
Taxonomy Cognitive Bloom:
C1
X
Mengetahui (menyebutkan)
Pengethuan umum, konsep umum,
nilai/fakta
Memahami (menjelaskan)
Interprestasi chart, grafik, nilai, justifikasi
C1. C2 Urutan
C. 3prosedur
C2
X
C3
Menerapkan (menghubungkan)
Aplikasi konsep dlm situasi baru, aplikasi
prosedur, memecahkan hitungan
matematika
Bloom …
C4
Menganalisa (membandingkan)
Menggunakan logika untuk pemecahan
masalah, mengevaluasi relevansi data
C5
Mensintesa (menyimpulkan, menyusun)
mengungkap sebuah konsepsi dengan
baik, merumuskan konsepsi baru,
C6
Mengevaluasi (mengkritik, SOAP)
Menyesuaikan, menjustifikasi suatu
pekerjaan
RANAH KOGNITIF dlm UJIAN
Penggabungan:
• Pengetahuan komprehensif (C1-C2)
(nilai normal, definisi, konsep, dasar patofisiologi, dll)
• Aplikasi klinis (C3)
(ketrampilan prosedural, diagram masalah, tetesan,
dosis)
• Berpikir kritis (C4-C6)
(menegakan masalah, prioritas, analisa hubungan,
prediksi, evaluasi perkembangan, dll)
• Afektif (A1-A5)
(sikap dalam bekerja bersama klien/keluarga, tim
kes)
Langkah pengembangan soal
Lihat blue print (kisi-kisi)
2. Gunakan tinjauan2 dlm blue print dalam
mengkonstruksikan soal
3. Buat soal sesuai panduan no 1 dan 2 diatas
1.



Kasus/vignet
Pertanyaan
Pilihan jawaban
4. Review soal sendiri, review soal oleh orang lain (tim)
Tinjauan dalam Blue Print
1.
2.
3.
4.
5.
6.
7.
Domain kompetensi
Domain kognitif
Sistem tubuh
Kebutuhan dasar
Jenis upaya kesehatan
Proses keperawatan
Keilmuan
1.
2.
3.
4.
5.
6.
7.
Etik/legal, askep, prof
Kritis, prosedur, afek
Cardio, respirasi, dll
Rasa nyaman, oksi, dll
Promotive, kuratif, dll
Pengkajian, diag., dll
Anak, dewasa, dll
Domain
Kompetens
i
•Etik/legal/bud
•Praktek/mng
keperawatan
•Pengembangan
profesional
Level
Kognitif
•Kognitif
•Konatif
•procedural
Upaya
Kebutuhan
•Promotiv
•Preventif
•Kuratif
•rehabilitatif
•Oksigenasi
•Cairan dan el
•Nutrisi
•Mobilisasi
•dll
Setiap soal harus memiliki
semua tinjauan Blue Print
Contoh penggunaan tinjauan: KMB
Managemen
Keperawatan
Berpikir
Kritis
Kuratif
Pengkajian
Oksigenasi
Seorang pria berusia 45 tahun, dirawat dengan keluhan
sesak dan batuk darah. Klien terlihat kurus, kelelahan,
dan terlihat retraksi dada saat bernafas.
Manakah data penting yang harus dicari untuk bisa
menegakan masalah prioritas klien diatas?
Tahap Pengembangan Soal
Pikirkan sesuatu yg Essensial dlm
pekerjaan perawat baru lulus
Buat Vignet yang runtut dan logis
Buat Pertanyaan yang fokus
Buat pilihan jawaban yang
HOMOGEN
ISI
• Apakah secara isi, topik soal yang
ditanyakan esensial dalam menjalankan
pekerjaan ?
• Rujukan: Standard Kompetensi
STOP: Baca Soal Anda
… !
 Apakah soal anda sangat penting untuk
dapat menjalankan pekerjaan sehari-hari?
 Menanyakan hal yang bermanfaat untuk
ditanyakan dalam pekerjaan?
Struktur Soal
1. Vignet/Kasus/Pernyataan
2. Pertanyaan soal
3. Pilihan jawaban
Vignete
Bisa Berisi:
• Pernyataan
• Situasi
• Kasus pasien
Ketentuan:
• Fokus
• Logis
• Sistematis
Jangan terlalu panjang / pendek
Vignette / kasus / stem (klinis)
• Jenis kelamin, Umur (e.g. laki-laki 25 tahun)
– Kasus spesifik wanita  kehamilan
– Kasus anak-anak, dewasa, geriatri?
•
•
•
•
•
•
Tempat pelayanan/setting (IGD, poli, puskesmas)
Keluhan Utama
Lama atau derajat keluhan
Gejala penyerta dan keterangan lainnya
Pemeriksaan fisik
Pemeriksaan penunjang
Kasus / vignete
Seorang pasien datang ke puskesmas
dengan keluhan anemia. Tekanan darah
110/80mmHg,
•Apakah ada pasien mengeluh anemia?
•Apakah ada hubunganya antara anemia dengan
tekanan darah?
•Apakah ada arah yang jelas dari kasus?
•Kasus terlalu pendek, tidak lengkap
• Ny TR, 46 tahun dirawat di Rumah Sakit Cepat Sehat
dengan riwayat multiple trauma akibat kecelakaan
lalulintas. Terdapat fraktur humerus dextra post ORIF
(open reduction internal fixation), post amputasi jari
manis dan saat ini (hari ke 50) terpasang external
fixation untuk stabilisasi fraktur tibia fibula sinistra
dengan bone loss dan fraktur terbuka. Keluhan saat ini
adalah nyeri hebat, terutama pada tungkai kirinya.
Mengatakan”para suster tidak mengerti betapa sakitnya
saya.” Tungkai kiri terlihat mengecil, kondisi luka
terbuka menembus tulang, infeksi minimal.
Kesan Kasus Ini?:
•Kasus terlalu panjang dan terlalu kompleks
•Bahasa tidak efisien
•Hubungan antara diagnosa medik dan keluhan pasien terlalu kompleks
•Arah kasus menjadi tidak fokus
Lead in (pertanyaan)
• Kata tanya di depan (apakah, manakah,
dll)
• Diakhiri dengan tanda tanya (?)
• Terpisah satu baris dari kasus (vignette)
agar jelas terlihat
Contoh Pertanyaan yang
Kurang tepat
• Penyebab klien tidak bisa BAB sejak
masuk kemungkinan disebabkan oleh:
• Apakah penyebab klien tidak bisa BAB?
• Dari kasus diatas terdapat …….. masalah
utama
• Manakah masalah utama pada kasus
diatas?
Tip !
• Vignette / kasus dianggap berfungsi jika
tanpa vignete, pertanyaan tidak berfungsi
dengan jelas
• Pertanyaan baik, terlihat bila peserta
pintar bisa menebak jawaban tanpa
melihat pilihan jawaban
Controh kasus tidak berfungsi
• Seorang anak usia 13 bulan dengan berat
badan 15 kg masuk rumah sakit untuk
dirawat dengan diagnosa typhoid. Anak
tidak mau makan dan minum. Suhu tubuh
38,8C. Sesuai order dokter, anak tersebut
dipasang infus.
• Bagimanakah cara fiksasi infus yang tepat
untuk anak diatas?
Pilihan Jawaban
• Homogen: topik, gramatikal, semantik,
panjang-pendek.
• Hindari absolutisme: selalu, tidak pernah.
• Hindari konvergensi.
• Hindari kesamaan istilah dengan vignette.
• Hindari urutan yang tidak sistematis 
menyulitkan.
• Hindari kalimat: bukan salah satu
di atas
Contoh pilihan kurang baik
a.
b.
c.
d.
End colostomy
Simple colostomy
Double barrel colostomy
Loop colostomy
Simple colostomy tidak ada dalam terminology
Contoh pilihan yang kurang baik
a. Pernah mengalami cedera kepala
b. Adanya luka pada telinga tengah atau
penyakit telinga lainnya.
c. Sering mengalami ISPA
d. Mungkin secara hematogen
e. Benar semua
1. Jawaban b panjang tidak homogen
2. Benar semua, tidak diperkenankan
•
1.
2.
3.
4.
Seorang ibu, perempuan, 32 tahun, membawa anaknya
ke Unit Rawat Jalan RS Jiwa Soeharto Heerdjan.
Keluhan ibu bahwa anaknya sering menyendiri, mulut
komat-kamit, dan pernah marah-marah sampai
merusak diri. Apakah tindakan keperawatan yang
bukan prioritas dilakukan perawat pada saat awal
melakukan proses keperawatan?
Melakukan pengkajian terhadap isi halusinasi
Melakukan pengkajian terhadap frekwensi halusinasi
Memberikan dukungan kepada keluarga karena
teridentifikasi beban merawat pasien yang sangat berat
Melakukan pengkajian terhadap terapi psikofarmaka
sebelumnya
Cermati dan komentari!
Kasus (vignette) Case Based 1
• Ny. Ahmad umur 70 tahun masuk RS karena mempunyai tandatanda gagal ginjal akut. Saat ini dia dalam keadaan fase oligouri dan
mengeluh mual (nausea) dan pusing.
Pertanyaan soal
• Hasil pemeriksaan urine gravitas rendah dan data lab
memperlihatkan hiponatremia dan hiperkalemia. Apa pengkajian
yang dilakukan ners
Pilihan jawaban
• a. mendengarkan bunyi paru-paru*
• b. memperhatikan tanda-tanda hipokalemia
• c. mengobservasi hipotensi postural
• d. mengkaji kekurangan volume cairan
Cermati dan komentari!
• Seorang perawat komunitas bekerja pada daerah pinggiran kota
Jakarta. Selama ini anak-anak balitanya terbiasa melakukan
aktivitas di gang perkampungan dan pinggiran sungai, tanpa alas
kaki. Berdasarkan pengamatan tampak anak balita bermain tanpa
alas kaki dan kuku tangan kotor dan panjang.
• Apa tindakan yang harus dilakukan perawat untuk
menyelesaikan permasalahan di atas?
a. Advokasi pentingnya sistem rujukan
b. Surveilans epidemiologi
c. Penyuluhan hygiene dan sanitasi
d. Pengobatan diare secara massal
e. Pemberdayaan kader kesehatan
Cermati dan komentari!
•
•
Seorang pasien dirawat di Ruang ICU setelah
dilakukan laparatomi. Pasien kemudian dilakukan
pemasangan cateter vena central, perawat
kemudian melakukan pengukuran tekanan vena
sentral didapatkan nilai 15 cm H2O. Saat ini pasien
terpasang Infus RL 20 tts/mnt.
Apa tindakan yang anda lakukan sehubungan kasus
tersebut ?
1. Memasang infus tambahan
2. Memonitor turgor kulit
3. Melakukan auskultasi suara jantung
4. Mengusulkan pemasangan NGT
5. Memantau balance cairan secara ketat
Cermati dan modifikasi
• Seorang anak usia 7 tahun menderita DBD,
demam sejak 2 hari yang lalu. Tugor kulit turun,
nadi 110/menit, pernafasan 24/menit, tekanan
darah 90/70mmHg. Dokter merencakanan
pemasangan infus.
• Apakah tindakan perawat untuk mengatasi
dehidrasinya?
1. Memberi minum oral
2. Memberi oksigen per kanul
3. Memonitor TTV klien
4. Mengukur intake/output
Refleksi
• Berdasarkan diskusi sebelumnya, apakah
yang bapak ibu pikirkan dan rasakan?
• Apa yang bapak/ibu inginkan hari ini?
D Kompetensi
Tingkat kognitif
Area keilmuan
Kompetensi
: Askep
: Berpikir kritis
: Medikal-bedah
: Diagnosa keperawatan
KUK: Mampu menentukan prioritas diagnosa kep.
Seorang wanita berusia 37 tahun di rawat di bansal bedah, 1 hari
Paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia
Memanggil perawat mengeluh kesakitan dan tidak bisa tidur
nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri
skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk
bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil.
Apakah masalah keperawatan utama klien di atas?
a. Gangguan pola tidur
b. Nyeri sedang-berat
c. Cemas sedang-berat
d. Gangguan mobilisasi
D Kompetensi
Tingkat kognitif
Area keilmuan
Kompetensi
: Asuhan dan manajemen keperawatan
: berpikir kritis
: KMB
: Memasang Kateter Urine Pria
KUK:
Seorang pria (44 thn) direncanakan dipasang Voley chat.
Anamnesa status urologi tidak ada abnormalitas . Ketika
anda memasang kateter, saat selang kateter masuk ±10
cm terasa ada tahanan lunak.
Apakah reaksi pertama anda sebaiknya?
a. Menambahkan cylocain jelly diujung meatus urinarius
b. Menekan dengan keras ujung kateter hingga masuk
c. Menganjurkan klien menarik nafas dalam
d. Sedikit menegakan penis sambil memasukan kateter
Checkpoint
• Bagaimanakah step mereview soal?
Apa saja yang perlu ditelaah ?
• Materi :
– Relevansi dengan pekerjaan (esensial)
– Bahasa
– Tingkat kesulitan
– Tinjauan lengkap dan sesuai
– Klasifikasi : sesuai blue print
Apa saja yang perlu ditelaah ?
• Struktur :
– Stem
– Lead in
– Option
• Kesimpulan
– Komentar umum dan saran
– Diterima/revisi/dikembalikan
kasus
Ya
Logika kasus linear sesuai konsep dan klinis
Bahasa sesuai EYD dan istilah baku
Fokus pada masalah yang akan ditanyakan (tidak
terlalu panjang dan kompleks)
Tdk
Pertanyaan
Ya
Diawali dengan kalimat tanya dan diakhiri dengan
tanda tanya
Bahasa fokus dan tidak ambugue
Menghubungkan kasus dan pilihan jawaban
Tdk
Pilihan
Ya
Semua pilihan berpeluang di pilih mhs
Homogen dari sisi isi, gramatikal dan panjang
pendek
Urutan yang logis dan tidak membingungkan
Tidak ada perulangan kata
Tidak ada double negative atau BSSD atau
jawaban diatas semua benar
Tdk
Kesimpulan Hasil Review
•Diterima tanpa perbaikan
•Diterima dengan perbaikan
•Perlu konfirmasi pembuat soal
•Tidak perlu konfirmasi (langsung edit)
•Dikembalikan kepada pembuat soal
•Berpotensi diterima dengan perbaikan
Komentar
Alasan penolakan
• Isi tidak esensial
• Isi terlalu spesialistis.
• Isi tidak realistis, terlalu teoritis
• Tidak ada vignette.
• Vignette tidak berfungsi
Next step?
Bekerja dalam kelompok untuk mereview
soal-soal menggunakan formulir review
yang ada.
Feedback
terhadap
pembuat soal?
Terima Kasih
email: [email protected]
mobile : 081227359001