Transcript SCORING/STANDAR SETTING

TEAM OSCA JURUSAN KEBIDANAN
POLTEKKES SURAKARTA
The
process of collecting,
interpreting, recording & using
information of student achievement
The information should be
interpreted by comparing with a
group or criterion
A
standard is a statement about
whether an examination performance
is good enough for a particular
purpose
Standar: identifikasi point-point
tertentu dari suatu skala nilai dengan
standar prestasi tertentu
Standar: batas antar lulus atau tidak
lulus, atau batas antara kompeten dan
tidak kompeten
Standard
setting:
penetapan suatu hasil
ujian sesuai atau tidak
dengan tujuan ujian
Metode yg digunakan utk
mendefinisikan level
pencapaian/kemampuan
Merupakan bagian integral dari
pengembangan suatu test
 Valid
( harus dapat dijustifikasi)
 Kredibel
 Didukung oleh evidence
 Realistik
 Dapat diterima oleh semua stakeholder
Standard
Setting
OSCE
Hasil
Lulus/
Tidak Lulus
Competent
Lulus
Tidak Lulus
Incompetent

Uses the examiner’s clinical expertise to judge the
candidate’s performance

Examiner allocates a global judgement based on the
candidate’s performance at that station

Remember the level of the examination
Borderline
Fail
Pass
Absolute Methods
Angoff (modified)
Compromise
(Relative) Methods
The Hofstee
Method
The Borderline
Group Method
Ebel
The Borderline
regression method
 PAN
(PENILAIAN
ACUAN NORMATIF):
pendekatan
penilaian yg
membandingkan
hasil pengukuran
seorang mahasiswa
dlm kelompoknya
 PAP
(PENILAIAN
ACUAN PATOKAN):
pendekatan
penilaian yg
membandingkan
hasil pengukuran
seorang mahasiswa
dengan patokan
batas lulus yg
telah ditetapkan
Normativ Standar
^ menyulut kompetisi
yang kuat
^Penampilan dari satu
mahasiswa relative
tergantung dari
penampilan yang lain
^Tidak valid dalam
ujian berdasarkan
kompetensi
^ Sedikit usaha keras

Absolute Satandard
^ Lebih kooperative
^ Penampilan mandiri
anggota grup, contoh :
jika semua anggota
melakukan dengan baik,
setiap orang lulus
^ Digunakan dalam ujian
berdasarkan kompetensi
^ Lebih sulit untuk di set
 Beberapa
metode yang berbeda untuk memilih
standard
 Tidak ada satu metode yang sempurna
 Proses adalah kuncinya
Proses yang systematis, reproduktif dan
tidak bias.
Menjastifikasi penampilan yang diujikan
Mempertimbangan batasan karateristik
kandidat
Memilih Juri (pakar sesuai bidang ilmu)
 Mendiskusikan karakteristik peserta ujian kelompok
borderline
 Membuat konsensus kualitas peserta ujian kelompok
borderline

 AHLI
DALAM BIDANGNYA
 TERBIASA DG METODE UJIAN
 SEORANG PEMECAH MASALAH YANG BAIK
 TERBIASA DAN MENGETAHUI TINGKAT
KOMPETENSI MAHASISWA
 TERTARIK DLM BIDANG PENDIDIKAN
Setiap Juri memperkirakan performa kelompok
borderline pada setiap item penilaian (1 / 100)
 Observer Independent mencatat penjurian

Setiap juri mengestimasi soal demi soal dan
memberi proporsi minimal (%) dari tiap soal tsb
berapa banyak dr teruji menjawab benar dari satu
item soal
 Seluruh penjurian dikumpulkan (dijumlah dan
dirata-rata) untuk ditetapkan sebagai nilai batas
lulus

Standard setter
judges percent
Mean Chosing crrect point
question
juri
1
juri2 juri
3
juri4
juri5 Mea
n
1
.90
.85
.80
.75
.83
.83
2
.60
.55
.40
.35
.50
.48
3
.70
.60
.65
.50
.55
.60
4
.85
.75
.80
.65
.70
.75
5
.95
.90
.85
.75
.80
.85
6
7
8
.50
.65
.85
.50
.55
.70
.45
.45
.80
.40
.45
.65
.50
.60
.75
.47
.54
.75
Cut
score
5,27
 Memilih
Juri (pakar sesuai bidang ilmu)
o Setiap juri mengklasifikasikan setiap item
berdasarkan:
 Tingkat Kesulitan/DIFFICULTY (easy,
medium, atau hard);
 Relevansi/RELEVANCE (acceptable,
important , or essential).
Kesepakatan karakteristik kel.borderline
Juri memperkirakan setiap kotak menurut
katagori relevansi &tingkat kesulitan
berapa banyak soal yg msk pd kategori tsb
dan berapa persen mhs borderline yg
mampu menjawab
RELEVANSI
MUDAH SEDANG SULIT MEAN
SANGAT
PENTING
0,75 (20
item)
0,55 (10
item)
0,15 (5
item)
0,48
PENTING
0,65 (15
item)
0,50 (12
item)
0,10 (5
item)
0,42
DPT
DIPERTIMB
ANGKAN
0,55 (12
item)
0,45 (10
item)
0,08
(5
item)
0,36
DIPERTAN
YAKAN
0,25 (2
item)
0,05 (2 item)
0.03
(2
item)
0,11
 Hasil
dari penjumlahan dirata-rata, hasilnya
merupakan nilai batas lulus
 0,48+0,42+0,36+0,11= 1,37/4 =0,34 sehingga
nilai batas lulusnya 34
Fokus perhatian pada isi item
 Mudah untuk digunakan
 Banyak evidence
 Sering digunakan dalam high stakes testing

Kelompok “borderline” kadang sulit didefinisikan
 Juri kadang membuat “perkiraan terlalu tinggi”
 Metode dapat membosankan

Memilih Juri (pakar sesuai bidang ilmu)
 Menganalisis item penilaian:

1.
2.
3.
4.
Berapa minimum acceptable cut score?
Berapa maximum acceptable cut score?
Berapa minimum acceptable fail rate?
Berapa maximum acceptable fail rate?
Keempat nilai tengah di atas dr seluruh juri,
masing-masing nilai digambarkan ke dlm
grafik
 Tarik garis diagonal dr nilai lulus minimum ke
nilai maksimum
 Setelah ujian, buat grafik distribusi nilai dan
nilai batas lulus ditetapkan (perpotingan :
cut score)


Pada setiap Station, peserta dinilai berdasarkan 2
metode:
check list based method
o Global performance (e.g. fail, borderline, pass,
outstanding)
 Juri menelaah nilai setiap mahasiswa dan
mengidentifikasikan mhs yg termasuk kel.borderline
(mhs yg mempunyai nilai minimal)
 Nilai dimasukkan dlm grafik
 Nilai tengah (median) kelompok borderline ditetapkan
sebagai standar
o
 Sebaran
nilai mahasiswa: 30 30 40 40 40 50
60 60 70 70 80 80 90 100 100
 Juri menentukan nilai kelompok borderline:
30 30 40 40 40 50 (digambar dlm grafik)
 Nilai median (nilai tengah) sebagai Nilai
Batas Lulus (cut score)