Transcript Program değerlendirme konusunun işlendiği seminerin sunumuna

Tıp Eğitiminde
Program Değerlendirme
Dr. İskender Sayek
Emekli Öğretim Üyesi
Hacettepe Üniversitesi Tıp Fakültesi
Kocaeli Üniversitesi Tıp Fakültesi
Tıp Eğitimi Seminerleri
9 Nisan 2013
Terminoloji
• Evaluation/Assessment/Appraisal ...
• Değerlendirme/ Ölçme-değerlendirme/Değerlendirme
• Evaluation/Research
• Değerlendirme/Araştırma
• Output/Outcome
• Ürün/Çıktı
• Curriculum/Programme
• Müfredat/Program
Eğitimde Değerlendirme/Araştırma
• Değerlendirme: Yerel olarak kullanılacak veri ve
bilgiyi üretmek için yapılan ve genellikle etik kurul
onayına gerektirmeyen ancak etik ilkelere uygun
olarak yapılması gereken (sonuçların
kullanılabilirliğini arttırmak için) çalışmalar
• Araştırma: Genelleştirilebilir sonuçları üretmek
için yapılan, akran değerlendirmesi olan bir
dergide yayınlanması hedeflenen, etik kurul onayı
gerektiren çalışmalar
Morrison J BMJ 2003; 326:385-87
Tıp Eğitiminin Özellikleri
• Karmaşık (Kompleks) bir sistem
• Farklı komponentleri ve komponentler arası
etkileşim vardır
• Değerlendirme bütüncül bir yaklaşım
gerektirir: Bireysel komponentlerin
değerlendirilmesi yararlı değildir
• Programın tümü komponentlerinin
toplamından fazladır
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitimini Etkileyen Faktörler
Program
katılımcıları
Program
özellikleri
Bileşenler ve
düzenleyicilerin
etkisi
Eğitim
ortamı
İç ve dış
faktörler
Mesleki
uygulamalar
Alan ile ilgili
bilgi değişimi
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitiminde Program Değerlendirme
•
•
•
•
Tıp eğiticisi/eğitimcisinin sorumluluğudur
Eğitimde değişimin anahtarıdır
Program geliştirme için önemli
Eğitim programının durumunu ve bunu sağlayan
faktörleri belirler
• Program geliştirme ya da eğitim programlarının
incelenmesi ile ilgilenenler değerlendirme ile ilgili
teorik ilkeler çerçevesinde daha yapıcı ve etkin
değerlendirme yöntemlerini kullanır
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitiminde Program Değerlendirme
Nedir?
• Bir eğitim programının kavramsallığı, tasarımı,
uygulamaları ve yararı ile ilgili verilerin
toplaması, analizi ve yorumunu sağlayan
sistematik bir yaklaşımdır.
• Bir kurs veya eğitim programı ile ilgili eleştirel
değerlendirme yapma ve karar vermek için
bilgi toplama sürecidir.
Wall D; in Understanding Medical Education 2010
Tıp Eğitiminde Program Değerlendirme
Nedir?
• Eğitim programlarına bir ‘’değer biçme’’
sürecidir
• Eğitim programının tasarımı, uygulanması ve
ürün/çıktılarının niteliğinin izlenmesi ve
geliştirilmesi ile etkililiğini değerlendirmek
amacıyla kullanılacak verilerin sitematik
toplanması ve analizidir (ACGME)
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
TEPDAD : Program Değerlendirme
• Eğitim programının değerlendirilmesi, program
geliştirme ve öğretim tasarımı sürecinin bir
parçasıdır.
• Eğitim programının değerlendirilmesi, programın
geliştirilmesi ve/veya etkinliğinin gösterilmesi
amacına yönelik olarak eğitimle ilgili tüm ögeler
üzerinden kesitsel ve/veya sürekli veri
toplanması, analizi ve yorumlanması süreci olarak
tanımlanabilir.
Program Değerlendirme İçin Nedenler
İç
Nedenler
Program çıktılarının
ölçümlenmesi
Program geliştirme
Dış
Nedenler
Akreditasyon kurumları
Kaynak sunucular
Eğiticilerin sorumlu
olduğu kurumlar
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitiminde Program Değerlendirme
Amaçları?
• Eğitimin öğrenenin beklentilerini karşıladığının
güvencesini vermek
• Eğitimde düzeltilmesi gereken alanları belirlemek
• Kurum kaynaklarının uygun kullanımını sağlamak
• Eğiticilere geri bildirim vermek ve teşvik
etmek/ödüllendirmek : Eğiticinin gelişimini
sağlamak
• Tıp fakültelerinin ‘‘değerlerini’’ ortaya çıkarmak
• Müfredat geliştirilmesini kolaylaştırmak
Morrison J BMJ 2003; 326:385-87
Tıp Eğitiminde Program Değerlendirme
Amaçlar ?
Tanınırlık
amaçlı değerlendirme
Gelişme
amaçlı değerlendirme
Bilgi
amaçlı değerlendirme
Tıp Eğitiminde Program Değerlendirme
Amaçlar ?
Müfredat
ilişkili
Ölçme-Değerlendirme
ilişkili
Eğitim ve Öğrenme
ilişkili
Tıp Eğitiminde Program Değerlendirme
Amaçlar ?
• Müfredat
– Müfredat/Program geliştirme
– Öğrenim amaç ve hedeflerine uygunluğun
değerlendirilmesi
– Program çıktılarının değerlendirilmesi
• Eğitim ve Öğrenme
–
–
–
–
–
–
Öğrenenin gereksinimlerinin karşılanma güvencesi
Kötü/Uygun olmayan eğitimin belirlenmesi
Eğitim programlarının onaylanması
Eğitici ve kurumlara geri bildirim verilmesi
Eğiticilere yıllık değerlendirme
Yükselme ve kariyer geliştirme
Tıp Eğitiminde Program Değerlendirme
Amaçlar ?
• Ölçme-Değerlendirme
– Ölçme-Değerlendirme çıktılarını değerlendirme :
sınavların değerlendirilmesi (Kurumsal , Ulusal)
– Değerendirme araçları geliştirme: Değerlendirme
araçlarının geçerliliği ve güvenirliğinin
değerlendirilmesi
– Değerlendirme stratejilerinin uygunluğunu
belirleme
Program Değerlendirme Planlaması
Değerlendirmenin
amaç ve hedefleri nedir?
Değerlendirme sonuçları
kime verilecektir?
Kimden ve nasıl bir
veri toplanacaktır?
Hangi analiz, yorumlama
ve karar verme süreç
kuralları uygulanacaktır?
Sorumlu kimdir?
Verileri kim toplayacak
ve analiz edecektir?
Wall D; in Understanding Medical Education 2010
Program Değerlendirme Çeşitleri
Tanılayıcı
Değerlendirme
Biçimlendirici
Değerlendirme
Programa girişte
yapılan değerlendirme
Program sürecinde
yapılan değerlendirme
Düzey Belirleyici
Değerlendirme
Program çıkışında
yapılan değerlendirme
Demirel Ö Kuramdan Uygulamaya 2002
Tıp Eğitiminde Program Değerlendirme
Tanılayıcı
Değerlendirme
(Diagnostic Evaluation)
Programa girişte
yapılan değerlendirme:
bilişsel davranışları,
duyuşsal özellikleri ve
devinişsel becerileri
değerlendirir
Düzey Belirleyici
Değerlendirme
(Summative Evaluation)
Program sonunda
Biçimlendirici
yapılan değerlendirme:
Değerlendirme
(Formative Evaluation) Kazanılmış davranış,
Program sürecinde
yapılan değerlendirme:
Öğrenme güçlüklerini
ortaya çıkarmak ve
gerekli düzeltmeler ve
planlama yapılması
amaçlanır
özellik ve becerileri
ölçmeye yararan
değerlendirme
Demirel Ö Kuramdan Uygulamaya 2002
Değerlendirme Modelleri
• Deneysel/ Yarı-deneysel modeller: Yeni
uygulamalar ile eski uygulamaları karşılatırmak;
uygulanması zor
• Kirkpatrick’in dört-düzey değerlendirme
modeli: Program çıktıları ile ilgili değerlendirme
• Mantık modeli: Değişim sürecine odaklı;
eğitimde yenileşim (inovasyon) içerikli
• CIPP (context/input/process/product) modeli
Kirkpatrick’in Değerlendirme Hiyerarşisi
Sonuçların
Değerlendirilmesi
(Topluma etkisi)
Tutum/Davranışın
Değerlendirilmesi
(öğrenmenin çalışma
ortamına taşınması)
Öğrenmenin Değerlendirilmesi
(Gerekli bilgi ve beceriler)
Eğitilenin memnuniyeti ya da
tepkisinin Değerlendirilmesi
Wall D; in Understanding Medical Education 2010
Tıp Eğitiminde Kirkpatrick’in Hiyerarşisi
Sağlık hizmet
sunumunda iyileşme
Mesleki davranışta değişim
Öğrenme gerçekleşmesi
Yanıtlayanların memnuniyeti
Eğitim etkinliğine katılım
Wall D; in Understanding Medical Education 2010
Kirkpatrick‘in Değerlendirmede
Odaklanma Düzeyleri
• Düzey 1— Öğrenenlerin memnuniyet ve
tepkileri
• Düzey 2a—Tutum ve algıların modifikasyonu
• Düzey 2b—Bilgi ve becerilerin edinilmesi
• Düzey 3—Davranış değişikliği
• Düzey 4a— Kurumsal uygulamalarda değişim
• Düzey 4b— Hasta yararı
Morrison J BMJ 2003; 326:385-87
Mantık (Logic) Modeli
Girdi
Etkinlikler
Girişimler
Stratejiler
Kaynaklar
Yenileşimler
Alt yapı
Hedeflenen
İnsangücü
Kurum kültürü değişimler
Çıktı
(Outputs)
Eğitilen sayısı
Eğitici özelliği
Üretilen modül
sayısı
Ürün
(Outcomes)
Eğitilenin bilgi
veya becerileri
Yeni bilgi ve
becerilerin
uygulanması
Hasta yararı
CIPP Modeli
• CIPP (context/input/process/product) modeli
– (Bağlam/ girdi/ süreç/ürün)
• Program geliştirme odaklı , programın
başarısını ya da başarısızlığını göstermeyi
hedeflemez
• Programın kısımlarının karmaşık, dinamik ve
lineer olmayan bir ilişkide olduğunu fark eden
yaklaşımlar için güçlü bir model
CIPP Modeli
• Bağlam/ girdi/ süreç değerlendirmesi iyi leştirme
odaklı : Biçimlendirici değerlendirme (Formative)
• Ürün değerlendirmesi düzey yükseltici değerlendirme
(Summative)
• Bağlam Değerlendirilmesi: Yeni program planmada ya
da planlı değişimlerde yararlı
– Programın amaç ve hedeflerini gereksinimlere, sorunlara
ve olanaklara göre belirler
• Girdi Değerlendirilmesi: Eğitim planlamasında kaynak
kullanımı ile yeni program planlanması ve önerisinde
yararlı, sürekli veri sağlar- tıp eğitiminde çok etkili
CIPP Modeli
• Süreç Değerlendirilmesi: program uygulanmalarını
değerlendirmede etkili, çıktının değerlendirilmesini
sağlar ve bir program değişiminde yararlı (Sürekli
gelişim)
– Program sonu değerlendirmede kullanılabilir
– Program bileşenlerine tanınırlık sağlar
• Ürün Değerlendirmesi: Program çıktılarına odaklı
değerlendirme
– Olumlu-olumsuz, kısa-uzun dönem, beklenenbeklenmeyen çıktıları değerlendirir,
– Eğitim gereksinimlerinin ne kadar karşılandığını belirler
Değerlendirme Modellerinin
Karşılaştırılması
CIPP
Mantık
Model
Bağlam
Girdi
Süreç
Ürün
Girdi
Etkinlikler
Çıktı
Ürün
Kirkpatrick
Eğitilen-ilgili çıktılar
Deneysel/Yarı
deneysel
Program içeriği ile
çıktının lineer ilişkisi
Değerlendirme Evreleri
Planlama ve
Hazırlık
Yansıma
(Refleksiyon) ve
Analiz
Eğitim ve Öğrenim
Etkinliği
Etkinlik ile İlgili Veri
Toplanması
Wall D; in Understanding Medical Education 2010
Eğitim Programlarında Etkililik
Değerlendirmesi Evreleri
Veri
Toplama
Etkililik
Hakkında
Karar
Verme
Verileri
Ölçütlerle
Karşılaştırıp
Yorumlama
Demirel Ö Kuramdan Uygulamaya 2002
Değerlendirme Yöntemleri
•
•
•
•
Subjektif ve objektif ölçütler içerebilir
Niteliksel ve niceliksel yaklaşımlar olabilir
Fazla veri toplamaktan kaçınmak gerekir
Kolay uygulanabilir ve hızla kullanılabilir bilgi
üretmesi gerekir
Morrison J BMJ 2003; 326:385-87
Yöntemler
• Görüşmeler
– Mülakatlar
– Odak grup görüşmeleri
• Kurum ziyaretleri
• Anketler
• Grup görüşmeleri
– Kar topu inceleme (Snowball review) : Grup üyeleri tartışarak
sonuca varır
– Nominal grup tekniği: Grup üyelerinin hepsi görüş bildirir
• Öğrenci performans değerlendirmeleri
– Öğrenim çıktılarının değerlendirilmesi
• Gözlemler
Öğrenci Değerlendirmeleri
•
•
•
•
Geribildirimler, anket uygulamaları
En sık kullanılan yöntem
Çok değerli bilgi verir
Tek başına kullanılmamalı
Değerlendirme Örnekleri
Subjektif
Objektif
Niteliksel
Odak grupları
Görüşmeler
NÖKS ile başarılı
sonuçlandırılmış
görevlerin
analizi
Niceliksel
Değerlendirmeler:
Anket
Sınav sonuçlarının
eğilim
değerlendirilmesi
Morrison J BMJ 2003; 326:385-87
Değerlendirme Araçları
• Öğrenci
değerlendirmeleri
• Uzman
değerlendirmeleri
• Dış değerlendirmeler
• Öz-değerlendirme
• Eğitim video kayıtları
• Öğrenci görüşmelerimülakatları
• Mezunların
değerlendirmeleri
• İşveren değerlendirmeleri
• Yönetici değerlendirmeleri
• Eğitim Bursları/
Ödüllendirmeleri
• Eğitim çıktılarının
ölçümlenmesi
• Eğitim portfolyoları
Wall D; in Understanding Medical Education 2010
• Değerlendirmede yanlı tutumu azaltmak için
öğrenciler, eğiticiler, diğer klinisyen ve
hastalar gibi gruplardan birden çok kişiden
görüş alınmalıdır.
• Müfredatın tam etkililiği öğrencilerin mezun
olmasından belli bir süre geçtikten sonra
ancak belirlenebilir.
İdeal bir Değerlendirme
• Güvenirlik
• Geçerlik
• Değerlendiren ve değerlendirilen tarafından
kabul edilirlik
• Düşük maliyetli
TEPDAD: UTEAK Standartları
• 5. PROGRAM DEĞERLENDİRME
5.1. Program değerlendirme sistemi
TS.5.1.1. Tıp fakültelerinde, eğitim programını ve
öğrencilerin gelişimini izleyen, programa ilişkin görüş ve
önerilerin tanımlanması ve ele alınmasını sağlayan bir
program değerlendirme sistemi mutlaka olmalıdır.
Program değerlendirme sistemi, mutlaka, düzenli olarak
toplanan öğretim üyesi ve öğrenci geribildirimleri ve
eğitim programı hedefleriyle ilişkilendirilmiş öğrenci
performansı izlemlerini kapsamalıdır.
• GS.5.1.1.
Tıp fakülteleri evrensel eğitim
programı değerlendirme modellerinden
yararlanarak, fakülteye özgü kapsamlı bir eğitim
programı değerlendirme sistemi geliştirilmelidir.
• GS.5.1.2.
Program değerlendirme
kapsamında programın bağlamı, girdileri, süreci
ve çıktılarına yer verilmeli, mezunların tıbbi
kariyerlerine ilişkin bilgiler değerlendirilmelidir.
• 5.2.
Program değerlendirme sonuçlarının
paylaşım ve kullanımı
• TS.5.2.1. Tıp fakülteleri program değerlendirme
sonuçlarını mutlaka fakülte yönetimi, akademik
görevliler, öğrenciler ile paylaşmalı ve programın
iyileştirilmesi yönünde kullanmalıdır.
• GS.5.2.1.
Tıp fakülteleri, program
değerlendirme süreci ve sonuçlarının geçerlik ve
güvenirlik kanıtlarını toplamalı ve göstermelidir.
• GS.5.2.2.
Tıp fakülteleri dış değerlendirme
yöntem ve süreçlerini kullanmalıdır.
Özet
• Değerlendirme:
– Müfredat geliştirmede kullanılabilmeli
– Tıp fakültesinin akademik gelişimine pozitif süreç
olarak katkı sunmalı
• Değerlendirme hedefleri
– Açıkça tanımlanmalı
– Öğretim çıktıları ile ilişkilendirilmeli
• Değerlendirme yapılırken:
– Birden çok kaynaktan bilgi toplanmalı
– Sonuçlar tüm katılımcılarla paylaşılmalı
• Öğrenenler:
– Değerlendirme geliştirilirken mutlaka katkı
sunmalı
– Görüşlerine değer verilmeli
• Değerlendirenler:
– Değerlendirme sonuçlarına göre eksikliklerin
düzeltilmesi, yöntemlerin ve içeriğin iyileştirmesi
ve güncellenmesi sağlanmalı
– Süreç tekrar edilebilmeli
Tıp Eğitiminde Program Değerlendirme
Eğitim süreçlerinin önemli
öğelerinden birisidir.
Uygulanan eğitim
programının etkililiği
hakkında karar verme
Eğitim araçlarının
niteliği ile ilgili sistematik
bilgi toplama aracı
Eğitim hedeflerinin
karşılanma derecesini
tayin etme
Eğitim programına devam, değiştirme ya da
yeni bir aşamaya geçme ile ilgili karar verme
Teşekkür ederim .....