Transcript Madde Analizi
Test Geliştirme ve Madde Analizi
Doç.Dr. Muammer Çalık tarafından hazırlanmıştır
Ölçme Araçlarının Geliştirilme Aşamaları
Test ile ölçülecek hedeflerin (kazanımların) belirlenmesi ve belirtke tablosunun oluşturulması
Soru Sayısının ve Tipinin belirlenmesi
Sınav Süresini Belirleme Test Maddelerinin Yazılması ve Uzman Kişilerce İncelenmesi Testin Pilot Uygulaması Madde Analizi ve Madde Seçimi Testte Son Şeklinin Verilmesi
Testin amacını belirleme
Öğrencilerin bir konu veya alandaki yeterlilik ve yetersizliklerini belirleme ve gerekli düzeltmeleri yapma Konu veya genel başarıyı ölçmek Belli bir seviye veya yaş grubundaki öğrenciler arasından birinciyi seçmek
Belirtke tablosunun faydaları
hedeflerin konu ve öğrenme alanları açısından toplam sayılarını belirlemede, kapsam geçerliğini sağlayacak şekilde soru sayısının belirlenmesinde, evreni temsil etme gücü yüksek ve geçerli soruların seçiminde, kritik davranışlara göre soru hazırlamada faydalıdır
Soru Sayısının ve Tipinin belirlenmesi
Testin amacı, Hazırlanan belirtke tablosu, Konuların önem derecesi, Soru tipi amaca yönelik olarak belirlenmeli (açık uçlu, çoktan seçmeli, boşluk doldurma vb.); soruların basit orta ve zor düzeylerine dağılımı ne olmalır? Yani sorular, Bloom Taksonomisi’nin seviyeleri olan bilgi kavrama, uygulama, analiz, sentez, değerlendirme düzeylerine nasıl dağılmalıdır?
Madde Analizi a) b) Testin güçlüğü(P) Madde güçlüğü (p) c) d) e) f) Madde varyansı (Sjx) Madde ayırt edicilik gücü (rjx) Madde güvenirliği (rx) Testin güvenirliği (KR-20)
MADDE ANALİZİ
Bir testte yer alan maddelerin uygulamasından elde edilen sonuçlarının seçilen ölçüte göre işe yarayıp yaramadığını, işe yaramıyorsa bunun muhtemel nedenlerini anlamak ve amaca hizmet etmesini sağlamak için gerekli düzeltmeleri yapmaya “
Madde Analizi”
denir.
Kısaca, hazırlanan bir testin uygulandıktan sonra madde güçlüğüne, soru maddesinin ayırt ediciliğine ve seçeneklerin çeldiriciliğine bakılmasına testin “
madde analizi”
denir. Madde analizinin amacı, ölçülmek istenilen öğrenme alanı için
güvenirliği ve geçerliği yüksek
verimli bir ölçeğin elde edilmesidir. Elimizde geçerliği ve güvenirliği yüksek bir sınav olsa bile uygulandığı sınıfı daha iyi tanıyabilmesi için öğretmenin
tekrar madde analizi
yapmasında yarar vardır.
Madde analizi yoluyla, öğretmen o sınıftaki
öğrencilerin eksiklerini, öğrenme güçlüklerini ve yetersiz kaldıkları noktaları
daha iyi görme fırsatı bulmuş olur.
Madde analizi niçin gereklidir?
Testteki her maddenin güçlük derecesi edilen düzeyde midir?
Maddenin ayırıcılığı arzu yeterli düzeyde midir?
Madde sadece bir doğru cevap Çeldiriciler mı içeriyor?
yeterli işlerliğe sahip midir?
Madde kafa karıştırıcı mıdır? (Testte kusurlu madde var mıdır?) Geçerli ve güvenilir bir test elde edildi mi? Öğrenciler hangi konularda öğrenme güçlüğü çekmekteler? Hangi öğrenci grubuna bu madde uygundur?
Testin süresi uygun mudur?
bir
Test güçlüğü/ortalama güçlüğü (P): Bir testin güçlük düzeyi hakkında bilgi verir. Bir testin kolay, orta ve zor düzeyde olup olmadığına karar verilir.
P
P değeri
X T P X T
Testgüçlüğ ü Testortala ması K K
Maddesayıa
1’e ne kadar yakında
ı
test o kadar
kolay,
P değeri
0’a ne kadar yakında
o kadar
zor,
P değeri
0.50
civarında ise
orta güçlüktedir.
P<0,30 ise zor bir test 0.30
ise kolay test denir.
Madde Güçlüğü (pj):
Sınavdaki herhangi bir soru maddesini doğru cevaplayanların sayısının sınava girenlerin sayısına oranı o soru maddesinin güçlük derecesi denir .
Her maddenin doğru cevaplanma oranını gösterir.
D j N
p j
D N j
=doğru cevap sayısını
X
N p j
= öğrenci sayısı olmak üzere
madde güçlüğü 0< P <1 dir.
p’nin değer aralıkları;
0 0.35 arası zor madde 0.35 0.75 arası orta zorlukla madde 0.75 1.00 arası kolay madde Bir testte kolay, zor ve orta güçlükte madde olmalıdır.
Madde güçlüğünün 0.50 düzeyinde olması beklenilir .
Örnek
Madde varyansı/Standart sapması Testin standart sapması
S T
(
x i
x T
2 ) /
N
Madde ayırt ediciliği (rjx)
Bir test maddesinin ve çeldiricilerin
bilen ile bilmeyen öğrenciyi ayırt edebilme düzeyidir
öğrencileri, başarısı düşük öğrencilerden ayırıp ayırmadığını belirlemede kullanılan ölçüttür.
. Yani, bir maddenin gruptaki başarı düzeyi yüksek Bir teste yer alan soruların ayırt edicilik güçlerinin yüksek olması beklenir. Ayırt edicilik gücü çok zayıf olan maddelerin testten çıkartılması gerekmektedir.
Madde ayırt edicilik gücü şu şekilde hesaplanır;
Sınava katılanların kâğıtları puanlanır ve en yüksekten en düşüğe doğru sıralanır. Bu sıralamada öğrencilerin yukarıdan aşağıya doğru ilk %27’si üst grup ve aşağıdan yukarı ilk %27’si de alt grup olarak belirlenir.
D üst:
Üst gruptan soruya doğru cevap verenlerin sayısı
D alt:
Alt gruptan soruya doğru cevap verenlerin sayısı olmak üzere;
r
jx
Düst
Dalt altgrupsay ısı
Madde ayırt edicilik gücü
Bir maddenin ayırt ediciliği de -1 <
rjx (d i )
< 1 arasında değişir. Madde Ayırt Edicilik Endeksi (r) 0.40 ve daha büyük 0.30 0.20 – 0.39 arası – 0.29 arası 0.19 ve daha küçük Maddenin Değerlendirilmesi Çok iyi bir madde (Ayırt etme gücü yüksek) Oldukça iyi bir madde Üzerinde çalışılması ve düzeltilmesi gereken madde Çok zayıf madde (Ayırt etme gücü düşük)
Bir sorunun
madde güçlüğünü
farklı bir yoldan da hesaplayabiliriz.
( Koşul: Öğrenci sayısı veya soru sayısının
fazla
olması durumunda!)
D üst D alt : %27 üst gruptaki doğru cevap sayısı : %27 alt gruptaki doğru cevap sayısı M :
Alt ve üst gruptaki öğrencilerin
toplam sayısı
olmak üzere; Madde güçlüğü; P 1 D ü M D a
Her bir sorunun madde güçlüğü ve madde ayırt ediciliği hakkında ne söyleyebiliriz?
P2=0,63 ve r2x (d2)= 0,6 0,1 P3=0,4 ve r3x (d3)= 0,2 P4=0,75 ve r4x (d4)= -
Testin güvenirliği (KR-20 formülü)
KR 20 K K 1 1 p i .q
i S 2 X K: Testteki madde sayısı pi: i. maddenin güçlük indeksi qi: 1-pi S 2 x : Test puanlarına ait varyans Madde güvenirliği
rj
=
r jx
*
sj
KR 21 K K 1 1 K.
X ( X ) 2 K.S
2 x KR 21 formülü, madde güçlükleri indekslerinin eşit olduğu varsayımına dayandığından, madde güçlükleri arasındaki farklılıklara duyarlı değildir. Eğer testteki maddeler güçlük indeksi bakımından birbirinden farklı, yani heterojen bir dağılım gösteriyor ise KR 21 formülü ile hesaplanan güvenirlik katsayısı, KR-20 formülü ile hesaplanandan daha düşük çıkacaktır.
Test Maddeleri Hazırlayanlara Yönelik Öneriler
Daha sonra bir kısmı eleneceği için ihtiyaç duyduğunuzdan daha fazla test maddesi yazınız. Sorular kolaydan zora sıralayınız. Herhangi bir madde sayfa sonuna geliyorsa seçenekleri ile aynı sayfaya gelecek şekilde düzenleme yapınız.
Test bölümlerden oluşuyorsa her bir bölüme bir açıklama yazınız Aynı konu ile ilgili sorular alt alta gelecek şekilde bir düzenleme yapınız.
Basit ve anlaşılır bir dil kullanınız.
Test Maddeleri Hazırlayanlara Yönelik Öneriler
Diğer soruların cevabı için ipucu teşkil edecek ifadelerden kaçınınız.
Her bir maddenin uzmanlar tarafından hemfikir olunan tek bir doğru cevabının olmasına dikkat ediniz.
Ayırt ediciliği yüksek orta güçlükte sorular hazırlamaya çalışınız.
Yazdığınız maddenin gerçekten ölçmek istediğiniz özelliği ölçüp ölçmediğine emin olunuz.
Soru hazırlama profesyonel bir iştir, mutlaka uzman desteği alınız.
1. Yukarıda analizi verilen maddede doğru cevap hangi seçenekte olursa ayırt edicilik en yüksek olur? (KPSS-2006)
A) A B) B C) C D) D E) E
2. Yukarıda analizi verilen maddenin doğru cevabı E ise, madde ayırıcılık gücü indeksi kaç olur? (KPSS-2006)
A) 0,00 B) 0,10 C) 0,16 D) 0,20 E) 1,00
3. Yukarıdaki madde analizi tablosunda verilen bilgilere dayanarak, bu madde hakkında aşağıdaki yargılardan hangisine ulaşılabilir? (KPSS-2006)
A) A seçeneği çeldirici ise, beklenen yönde çalışmıştır.
B) Maddeyi üst ve alt gruplardan eşit sayıda aday cevaplamıştır.
C) B seçeneği çeldirici ise, çok az kişiyi çeldirmiştir.
D) Doğru cevap C ise, soru negatif ayırıcıdır.
E) Seçeneklerin tümü dengeli bir şekilde çalışmıştır.
4. Tabloda verilen bilgilere göre hangi maddenin güvenirlik katkısı en yüksektir?
A) I B) II C) III D) IV E) V
5. Yapılandırılacak bir testte bu maddeleri kullanma zorunluluğu olsaydı, en köklü değişikliğin hangi maddede yapılması gerekirdi?
A) I B) II C) III D) IV E) V