Transcript Outcome Assesment

Pengukuran
Student Learning
Outcomes
Lokakarya Outcome-Based Education
Outline
 Menyusun Rencana Asesmen
 Student Learning Outcomes
 Alat Ukur Asesmen
 Target Capaian
 Penggabungan outcomes, alat ukur, dan target
capaian
 Hal yang perlu diperhatikan
Menyusun Rencana
Asesmen
 Harus mencakup
 Pernyataan misi program studi
 Student learning outcomes
 Alat Ukur
 Target capaian
Student Learning Outcomes
 Menyatakan knowledge (pengetahuan), skills
(keterampilan), dan attitudes yang ditunjukkan
mahasiswa ketika menyelesaikan studi
 Mencakup Aspek
 Kognitif
 Psikomotorik
 Afektif
 Bersifat
 Dapat diukur
 Bermakna
 Dapat dikendalikan
Student Learning Outcomes
 Fokus pada hasil akhir, bukan pengalaman
 Buruk: mahasiswa akan berpartisipasi dalam penelitian
 Baik: mahasiswa akan dapat memilih metoda penelitian
 Menunjukkan apa yang dapat diamati dan diukur
 Buruk: mahasiswa menyadari perlunya studi lanjut dalam
bidangnya
 Baik: mahasiswa akan siap untuk mengikuti pasca
sarjana dalam bidangnya
 Hindari penggunaan “dan” terlalu banyak dalam satu
outcomes
Karakteristik Alat Ukur
Asesmen yang Efektif
 Dapat diamati, dihitung, dikuantifikasi, dll.
(measurable and observable)
 Dapat menangkap komponen penting dari obyek
pengamatan untuk merepresentasikannya
(meaningful)
 Dapat memodifikasi sesuatu yang tengah dikerjakan
yang bermakna bagi program (manageable)
Alat Ukur – Sumber Bukti
 Asesmen capaian program studi dilakukan melalui
pengukuran dan evaluasi hasil pengukuran
 Pengukuran dilakukan dengan cara
 Direct Measurements – langsung dengan menggunakan
rubrics dan metrics pada aktivitas dan hasil kerja
mahasiswa
 Indirect Measurements – tak langsung melalui persepsi
yang diperoleh dari survey atau kuesioner baik pada
peserta didik mau pun pihak lain yang terkait
 Bersifat komplementer
 Fokus pada Direct Measurements
Direct and Indirect
Measurements
 Indirect Measurement berupa kuesioner diberikan
pada berbagai tingkatan
 Setiap semester untuk setiap mata kuliah untuk persepsi
mahasiswa akan capaiannya dalam perkuliahan
 Setiap menjelang wisuda untuk setiap wisudawan untuk
persepsi wisudawan akan capaian dalam program
studinya (SO)
 Tenaga perekrut dari perusahaan dan kantor
pengembangan karir lulusan untuk capaian program
studi (SO) dan isu lain
 Alumni untuk persepsinya atas pencapaiann PEO
 Employer untuk persepsinya atas pencapaian PEO
Direct and Indirect
Measurements
 Direct Measurement melalui rubrics dan metrics
 Seyogianya dilakukan pada setiap mata kuliah untuk
setiap capaian diharapkan mata kuliah
 Sejalan dengan proses penilaian mahasiswa, namun
mempunyai tujuan yang berbeda – rancangan yang
baik akan memudahkan pelaksanaan keduanya secara
simultan
 Alat ukur adalah rubrics yang dikenakan pada karya
(tugas, PR, Kuis, Makalah, Ujian dll.) dan aktivitas
(praktikum, seminar, dll.) mahasiswa
Alat Ukur Umum untuk Direct
Measurements
 Portfolio
 Makalah
 Ujian Kelulusan
 Capstone project
 Ujian standarisasi
 Ujian Serifikasi
 Presentasi
 Tes yang dikembangkan
sendiri
 Simulasi dan demonstrasi
 Studi kasus
 Pengawasan
performansi kerja praktek
 Evaluator eksternal
 Pertanyaan tertanam
 Performasi
 Tes awal dan akhir
 Obeservasi rekan
 Tugas kuliah
 Asesmen tingat institut
 Tesis, disertasi, ujian
kompihensif
Alat Ukur Umum untuk Direct
Measurements
 Agar bermakna, alat ukur dinilai berdasarkan kriteria
yang ditentutkan yang sejalan dengan learning
outcomes
 Contoh
 Alat ukur: Makalah Tugas Akhir, makalah disampling dengan
identitas dihilangkan, Evaluasi oleh panel
 Evaluasi dengan kriteria pada rubrik yang sejalan dengan
outcomes
 Metoda yang digunakan dalam TA sesuai
 Akurasi data TA
 Kualitas tulisan
 Tiap kriteria diberi skala nilai dan dikenakan pada alat ukur
Rubrics
 A scoring tool that lays out the specific expectation for
an assignment. (Steven and Levi, 2005)
 Rujukan pengukuran performansi (alat/ pedoman
penilaian) pada populasi dengan uraian kriteria dan
skala yang tegas
 Manfaat rubrics
 Menghemat waktu
 Penilai menggunakan skala yang sama
 Penilai menggunakan penilaian berdasarkan kriteria
Rubrics
 Mengapa harus menggunakan rubrics
 Untuk menguji perilaku atau produk yang kompleks
 Untuk memperjelas ekspektasi dosen
 Untuk menjaga konsistensi dalam menilai produk atau
tulisan
 Untuk menunjukkan pola kekuatan mahasiswa dan
bidang yang perlu mendapat perhatian
 Untuk menggunakan rujukan kriteria, bukan rujukan
norma
 Untuk memberi mahasiswa perangkat untuk menilai
pekerjaannya sendiri
Penyusunan Rubrik
1.
Rujuk pada Learning Outcomes (LO) yang akan diukur
2.
Tentukan Performance Criteria (PC) dari LO tersebut
yang akan diukur
3.
Tentukan jumlah kategori (metrik) capaian yang akan
dibuat
4.
Tentukan kategori yang dapat diterima sebagai
memenuhi target dan berikan uraian hasil/ capaian
yang diharapkan
5.
Tentukan uraian capaian yang menunjukkan hasil yang
lebih baik dari target
6.
Tentukan uraian capaian yang kurang atau gagal
memenuhi target
Rubrics
Kategori
Bekerja
dalam tim
Kurang
Contoh rubricCukup
untuk Bekerja dalam
Baik Tim
Tidak
bekerja
baik dalam
kelompok
Kadang
menggang
gu rekan
bekerja
Perlu
dukungan
untuk bekerja
dalam tim
Dapat bekerja
sama dengan
anggota
yang lain
Tetap
Mencoba
mengerjakan
bekerja sendiri tugasnya
Dapat bekerja Berkomunikasi
baik hanya
baik dengan
dalam tim
timnya
yang
dipilihnya
Istimewa
Bekerja sama
dengan baik
dengan
anggota yang
lain
Menjaga fokus
tim dan tetap
mengerjakan
tugasnya
Berkomunikasi
baik dengan
timnya dan
atas nama
Rubrics
Kategori

Contoh rubric Keterampilan
Menyolder
Buruk
Cukup
Baik
Keselamata Serampangan
n kerja
tidak
memperhatikan
petunjuk
keselamatan
kerja
Kualitas
penyoldera
n
Kurang hati-hati
Kadang tidak
memperhatikan
petunjuk
keselamatan kerja
Hati-hati
Membaca dan
mengikuti petunjuk
keselamatan kerja
Timah
Timah menempel
menempel
hanya pada pad
pada pad yang yang diinginkan
tidak diinginkan
Semua komponen
Apa komponen tersolder
ddengan pin
tidak tersolder
Timah menempel
pada pad yang
diinginkan dengan
tepi mencekung
Semua komponen
tersolder dan
berfungsi baik
Contoh Istilah
Skala Capaian
Capstone
Milestone
Milestone
Benchmark
Exemplary
Accomplished
Developing
Beginning
Excellent
Very Good
Average
Fair
Distinguihes
Proficient
Appentice
Novice
Pemilihan Alat Ukur
 Inventori data yang telah terkumpul yang bermanfaat
untuk asesmen atau perbaikan
 Pilih sejumlah alat ukur yang dapat dikelola saja
 Pilih alat uku yang dapat memberikan data untuk
beberapa outcomes sekaligus (bentuk matrik)
 Saat implementasi mulailah dengan yang mudah dan
menarik
 Kumpulkan informasi yang menarik untuk dosen
 Populasi yang penting
 Impak dari program baru atau hasil perbaikan
Pemilihan Alat Ukur
 Hindari alat ukur yang memerlukan teknik pengumpulan
data yang kompleks atau pengumpulan di tempat yang
diluar kendali
 Evaluasi ketepatan waktu dan biaya (masalah waktu/
kesibukan dosen)
 Siapa yang akan mengalisis informasi?
 Kapan akan dianalisis?
 Ukur karya mahasiswa menjelang kelulusan
 Pilih metoda yang sepenuhnya dalam kendali prodi
(tidak memerlukan informasi dari pusat)
 Ukur hal-hal yang dapat dipengaruhi oleh prodi (Apakah
hasil berfluktuasi dapat dijelaskan dari faktor luar?)
Pemilihan Alat Ukur
 Untuk alat ukur yang baru, pelajari kemungkinan pilot
study untuk menentukan
 Tingkat kesukaran mengumpulkan data
 Tingkat manfaat hasil
 Apakah data menjawab pertanyaan yang benar
 Hati-hati pada motivasi
 Tes yang tidak menentukan nilai mahasiswa tidak
mencerminkan pengetahuan mahasiswa
 Segera peroleh/ berikan umpan balik pada dosen
PortFolio
 Tujuan:
sebagai alat bantu evaluasi menyeluruh perkuliahan
 Merupakan bagian dari alat evaluasi pelaksanaan
dan capaian mata kuliah
 Hanya bermanfaat bila digunakan untuk evaluasi
PortFolio
 Cakupan Isi
 Silabus
 Informasi umum perkuliahan
 Tujuan dan capaian menurut kurikulum
 Sasaran Pembelajaran Mingguan
 Pelaksanaan pembelajaran mingguan
 Assesment
 Pola penilaian
 Kisi-kisi dan Rubric
 Rincian soal, tugas, kuis, PR, Ujian, dll berikut kuncinya
 Contoh karya mahasiswa yang buruk, rata-rata, dan baik/
istimewa
 Statistik nilai dan capaian mahasiswa
PortFolio
 Survey Mata Kuliah
 Pelaksanaan mata kuliah menurut mahasiswa
 Persepsi mahasiswa atas pemahamannya untuk materi
perkuliahan
 Evaluasi
 Evaluasi diri dosen tentang cakupan pengajaran
 Evaluasi dosen atas statistik nilai dan persepsi mahasiswa
 Assesment Capaian Program Studi
Target Capaian
 Target capaian adalah hasil, target, tolok ukur, atau
nilai yang menyatakan tingkat kesuksesan mencapai
outcomes tertantu
 Contoh: 66% mahasiswa akan dapat menyelesaikan
studi dalam 8 semester
 Target capaian adalah angka/ nilai tertentu atau
trend meningkat atau menurun
 Target capaian harus ditetapkan sebelum hasil
pengukuran
Contoh Target Capaian
 Mahasiswa akan mencapai nilai 3 atau 4 dalam rubrik
 Nilai rata-rata pada rubrik adalah 3 (skala 4) atau
lebih
Menggabungkan Outcomes,
Alat Ukur, dan Target Capaian
Contoh
 Outcomes: Mahasuswa menggunakan konvensi sitasi
yang tepat
 Alat Ukur 1 (Direct)
 Menggunakan rubrik untuk menulis karya ilmiah pada
makalah tugas akhir
 Target Capaian: mahasiswa memperoleh nilai “proficient”
pada rubrik
 Alat Ukur 2 (Indirect)
 Menggunakan exit-survey
 Target Capaian: 80% mahasiswa menjawab mengetahui
perbedaan cara tulis sitasi pada buku dan makalah
Hal-hal yang Perlu
Diperhatikan
1. Menggantungkan alat ukur pada nilai mahasiswa
 Nilai fokus pada pembelajaran individu mahasiswa
bukan pola pembelajaran dalam program
 Nilai merupakan gabungan sejumlah outcomes dan
persyaratan
2. Terlalu banyak alat ukur indirect
 Berapa akurat persepsi mahasiswa pada pembelajaran
dirinya?
 Apa korelasi antara kepuasan mahasiswa dengan
pembelajarannya?
Hal-hal yang Perlu
Diperhatikan
3. Mencampurkan outcomes, alat ukur, dan target
capaian
 Outcome: Mahasiswa siap mengikuti ujian profesi
 Alat Ukur: Tingkat kelulusan mahasiwa pada ujian profesi
 Target Capaian: Tingkat kelulusan mahasiswa di atas
rata-rata provinsi
Menulis Alat Ukur
 Berikan deskipsi singkat alat ukur
 Uraikan dimana, kapan, dan siapa
 Lakukan dengan spesifik agar mudah direplikasi
 Bila perlu lengkapi dengan rubrik
Menulis Alat Ukur - Contoh
 Alat Ukur: Prakiraan cuaca mahasiswa dalam GM4012
 Deskripsi:
Mahasiswa akan mempresentasikan prakiraan cuaca pada
minggu terakhir kuliah GM4012 yang dievaluasi oleh panel dosen
menggunakan rubrik
 Outcomes terkait – Mahasiswa mampu
1.
Menganlisa dan menginterpretasi data meteorologi
2.
Membuat prakiraan cuaca dengan akurat
3.
Mendemontrasikan keterampilan presentasi lisan
 Target Capaian
1.
Nilai 3 atau lebih pada rubrik
2.
Nilai 4 atau lebih pada rubrik
3.
Nilai 3 atau lebih pada rubrik
Pilih Alat Ukur yang Baik
 Menggunakan alat ukur asesmen tanpa
pengembangan dan percontohan dengan baik
dapat membuat data yang diperoleh
 Tak bermafaat
 Tidak meyakinkan dosen
 Memberikan informasi perubahan yang salah
 Tidak dapat direpilasi pada siklus berikutnya
 Membuang waktu
 Upayakan memperoleh hasil yang menarik,
bermakna, akurat, dan dapat ditindaklanjuti