Transcript Klassinen - Koulutuksen tutkimuslaitos

Koulutuksen tutkimuslaitos
Käytännölliset
osioanalyysimallit
Klassinen analyysi - CIA
Kari Törmäkangas
[email protected]
Koulutuksen tutkimuslaitos
Jyväskylän yliopisto
Osiopankki




80-luvulla tehtiin laajoja kartoituksia englannin-,
ruotsin- ja äidinkielessä sekä matematiikassa
Osiopankkiin kerätään osioita, jotka ovat jossakin
vaiheessa esitetty oppilaille ja joiden vaikeus ja
toimiminen oppilasjoukossa tunnetaan
Osioista laadittiin kokeita, joita myytiin kouluille tai
kunnille kouluille jaettaviksi
Tarkoitus oli saada valtakunnallisia kokeita, joilla
opettajat voisivat testata oppilasjoukkoa ja verrata
tuloksia koko maan suoritustasoon
Osiopankin tunnuslukuja




80-luvulla hyvin käytettiin osioanalyysia, jota nykyään
kutsutaan Klassiseksi osioanalyysiksi, kun taas
nykyaikaisia osion ominaiskäyrään perustuvia
menetelmiä kutustaan Item Response Theory (IRT)analyyseiksi
Osiopankin tärkein tunnusluku oli osion ratkaisuprosentti, mutta myös biseriaalisia korrelaatioita
käytettiin ja tallennettiin
Myös väärät vaihtoehdot kirjattiin
Pankit on julkaistu KTL:n sarjassa
Osioanalyysin perusteita






Halutaan tutkia latenttia piirrettä (ominaisuutta, kykyä tai taitoa
tms. esim. lukutaito, matematiikan taito, lahjakkuus)
Suora mittaaminen on mahdotonta
Tarvitaan indikaattoreita - osioita
Latenttia piirrettä arvioidaan osioiden summaan tai niistä
laskettuun estimaattiin perustuen
Valittuja osioita taas arvioidaan estimoidun latentin piirteen
avulla
Joskus voidaan käyttää muitakin kriteereitä ns. ulkoisia
kriteereitä
Osioanalyysin päämäärät
1. Arvioida osioiden vaikeustasoa
2. Arvioida osioiden erottelukykyä eli kuinka hyvin
kukin osio mittaa latenttia piirrettä (=kykyä)
3. Tuottaa henkilöiden kykyarviot tai -pistemäärät
– Pyrkimyksenä on tuottaa koehenkilöiden
”todelliset kykyarviot” ns. ”true values”
mahdollisimman tarkasti
Osioanalyysimenetelmiä
Pääanalyysimenetelmiä ovat:
 Klassinen analyysi
– Käyttökelpoinen vain esitestissä
 Raschin malli
– Helppo toteuttaa, helposti summautuva ja
estimoi- tuva malli
 Moniparametriset mallit
– Osioiden ominaisuuksia korostava,
summamuuttuja jonkin verran ongelmallinen

Klassinen osioanalyysi

Analysointiin voidaan ottaa aina vain yhden koevihkon
aineisto kerrallaan

Tämä ei ole ongelma normaalin, kaikille saman
koulukokeen analysoinnissa

Analysoinnin perustana on oppilaiden oikeiden
vastausten summapistemäärä

Summapistemäärää käytetään suoraan korrelaatiolaskennoissa.

Vastausvaihtoehtoanalyysissä käytetään summapistemäärän mukaan muodostettuja osaamisryhmiä
(kvarttiileja - 4 kpl tai kvinttiilejä - 5 kpl)
Klassinen osioanalyysi





Osioita analysoidaan yksi kerrallaan kokeessa menestymisen
suhteen.
P-arvo eli oikeiden vastausten todennäköisyys
(=prosenttiosuus) lasketaan osio kerrallaan.
Laskee oikeiden ja väärien vastausvaihtoehtojen osiokohtaisen biseriaalisen ja pistebiseriaalisen korrelaation
oikeiden vastausten summapistemäärän suhteen.
Eri vastausvaihtoehtoihin vastanneiden määrät tulostetaan
viidessä eri summamuuttujan ryhmässä (kvinttiilissä).
Kaikki em. tunnusluvut myös koko kokeesta.
Klassinen osioanalyysi - Classica

Ohjelmia on lukuisia ja osaratkaisuja saadaan myös
SPSS:llä

Classica-ohjelma on Koulutuksen tutkimuslaitoksen oma
klassisen analyysin ohjelma

Tärkeimmät käsitteet:

(1) item difficulty - vaikeustaso

(2) item discrimination index - erottelukyky;
pistebiseriaalinen ja biseriaalinen korrelaatio myös väärille
vastauk- sille (=distractors)

(3) proportions - suhteelliset osuudet; eri vastausvaihtoehdot eri vastaaja-ryhmissä
Koulukoe luokassa


Tavanomainen koulukoe
Kaikilla sama koevihko ja
samat koekysymykset
Normaali koulukoe datamuodossa



Klassista analyysia varten on puuttuvat koodattava:
U = Ei ehtinyt - Not reached
O = Osio ohitettu – Omitted
Alkuperäisessä
aineistossa:
7 = väärä koodi/useita
8 = koe puuttuu
9 = vastaus puuttuu

Esimerkkiaineisto









Käsitellään esimerkkinä “Nuori kansalainen”-tutkimusta
Kansainvälinen yhteikuntatieteellisten aineiden koe
38 kysymystä eli osiota
4 vastausvaihtoehtoa:
Yksi oikea vaihtoehto
Kolme väärää vaihtoehtoa
Ohitettu merkitty O:lla
Ei ehtinyt merkitty U:lla
Jos muita merkkejä löytyy, ne tulostuvat I:ksi.
Esimerkkiosio

Esimerkki osio numero 1:
Mikä parhaiten kuvaa demokratiaa:
1. Voi äänestää valtion budjetista
2. Voi äänestää edustajia
3. Täytyy äänestää samaa puoluetta
4. Täytyy totella johtajia kyselemättä


Oikea vastaus numero 2
Kolme väärää vaihtoehtoa (1,3,4)
Classica-ohjelman ohjausruutu
Classica-ohjelman tiedosto

Classica toimii vain Excel-ohjelman alaisuudessa
 Osiotiedosto kirjoitetaan tai kopioidaan Datasivulle
 Ensimmäisenä Data-sivulla on oikeiden
vastausten koodit sekä vastausvaihtoehtojen
maksimi
 Kontrollitiedot annetaan edellisen sivun
mukaisesti ja sen jälkeen käynnistetään ohjelma
Klassinen osioanalyysi

Esimerkki tulostuslistan ensimmäisestä osiosta



Prosenttia on oikeiden vastausten prosenttiosuus
PisBiserial ja Biserial korrelaatiot ovat summakriteeriin
Ulkopuolisia kriteerejä voi olla korkeintaan kaksi
Klassinen osioanalyysi








Proportion of correct answer 0.875
Oikean vastauksen todennäköisyys on 0.875
Käytetään myös usein nimitystä P-arvo
Osioon oikein vastanneita on 87,5%
Tämä on samalla osion vaikeustaso eli item difficulty
Tässä analyysissa vaikeustasoparametrilla on myös
käytännön tulkinta
Samalla, kun oikein vastanneita on 87,5%, väärin
vastanneita on 12,5%
Oikein vastanneiden ryhmä sisältää myös oikein arvanneet
Klassinen osioanalyysi

Vastauvaihtoehdot (Response categories)

Oikein ja väärin vaihtoehdot on luettavissa taulukosta
Ohitetut ovat osioita, joihin vastaaja ei ole ottanut kantaa
Ei ehtinyt ryhmässä osiot puuttuvat vastauskentän lopusta
Hylätty kenttään tulevat vastaajat, joilla ei ole yhtään vast.



Klassinen osioanalyysi




Biseriaalinen ja pistebiseriaalinen korrelaatio
Erottelukykyparametreja (Discrimination indices)
Lasketaan oikealle vastausvaihtoehdolle erikseen, mutta
myös kaikille väärille vastausvaihtoehdoille.
Osiota korreloidaan summamuuttujaan
Klassinen osioanalyysi

Biseriaalinen korrelaatio:

Erottelukykyparametri, joka ilmaisee kahden muuttujan
välistä yhteyttä. Muuttujat on oletettu normaalijakaumaa
noudattaviksi, joista toinen jakauma on halkaistu kahtia
(osio) ja toinen on jatkuva muuttuja (summapistemäärä)

Suuret positiiviset arvot oikeassa vastausvaihtoehdossa
sekä negatiiviset arvot väärissä vaihtoehdoissa tukevat
summa- pistemäärää.
Klassinen osioanalyysi

Pistebiserialinen korrelaatio:

Erottelukykyparametri, joka ilmaisee kahden muuttujan
välistä yhteyttä. Toinen muuttujista (osio) on oletettu
dikotomiseksi (kaksiluokkaiseksi). Toinen on oletettu
normaalijakaumaa noudattaviksi (summapistemäärä)

Suuret positiiviset arvot oikeassa vastausvaihtoehdossa sekä
negatiiviset arvot väärissä vaihtoehdoissa tukevan
summapistemäärää. Tulkinta on sama kuin biseriaalisen
korrelaation tapauksessa
Klassinen osioanalyysi
Klassinen osioanalyysi
Korrelaatiot kaavamuodossa
Biseriaalinen korrelaatio:
X X
p(1  p)

S
y
1 p
p
x
Pistebiseriaalinen korrelaatio:
X X
 p(1  p)
S
1 p
p
x
Xp - Paremman lk:n
keskiarvo
X1-p- Huomman lk:n
keskiarvo
Sx - X:n hajonta
p - oikean tn
1-p - väärän tn
y - normaalijakauman taulukkoarvo
Korrelaatioiden tulkinta




Jos hyvät oppilaat ovat vastanneet väärään vaihtoehtoon
huonoja useammin, vaihtoehdon korrelaatio on positiivinen
Jos väärän vaihtoehdon korrelaatio on positiivinen, vaihtoehto on korvattava uudella vaihtoehdolla
Jos huonot oppilaat ovat vastanneet oikeaan vaihtoehtoon
hyviä useammin, oikean vastauksen korrelaatio on negatiivinen
Jos oikean vastauksen korrelaatio on negatiivinen, osio on
hylättävä ja /tai suunniteltava uudelleen
Korrelaatioiden tulkinta

Tulkinta yhden vastauksen tapauksessa (0 tai 1)
Klassinen osioanalyysi




Mitä korrelaatiota tulisi käyttää?
Biseriaalisen korrelaation tapauksessa oletetaan järjestyslukuasteikko osiolle, kun taas pistebiseriaalisessa vain nominaaliasteikko. Osion ja summapistemäärän tapauksessa
molemmat oletukset voidaan tehdä.
Käytännössä biseriaaliset korrelaatiot ovat korkeampia kuin
pistebiseriaaliset ja sen vuoksi biseriaaliset korrelaatiot ovat
herkempiä ilmaisemaan erottelukykyä, joten sitä on varsinkin
viime aikoina suositeltu käytettäväksi. Helpomman ja selkeämmän laskutavan vuoksi useissa ohjelmissa on kuitenkin
pistebiseriaalinen korrelaatio oheistulostuksena.
Korrelaation suunta (+ tai -) on aina molemmissa sama
Oppilasryhmien vertailu

Vastausvaihtoehdot eri suoritusryhmissä

Oppilaat on jaettu viiteen mahdollisimman samankokoiseen ryhmään kokeessa menestymisen suhteen (kvinttiilit)
Oikeaan vastausvaihtoehtoon tulisi parhaiten menestyvillä
olla eniten vastauksia

Oppilasryhmien vertailu graafisesti
%
Helppo osio – vähän vääriä vastauksia
100
80
Väärin
Oikein
Väärin
Väärin
60
40
20
0
Huonoin
Huono
Keskink.
Oppilasryhmä
Hyvä
Paras
Osio 25 – Huono kiinnitys
Osio 25 – Huono kiinnitys



Edellisessä kuviossa vaihtoehdot 2 ja 3 toimivat odotetusti
eli niiden käyrät ovat laskevia ja lähenevät nopeasti 0:aa, kun
siirrytään paremmin osanneiden oppilaiden kohdalle
Väärän vaihtoehdon 4 käyrä ei ole kuitenkaan lineaarisesti
laskeva, vaan ylöspäin kupera
Kokonaisuudessaan käyrät (oikeiden vastausten käyrä ja
väärien vastausten summakäyrä toimivat “kohtuullisesti”,
minkä vuoksi korrelaatiot eivät ole ihan huonoja
Yhteenvetotuloksia

Summa ja keskiarvotietoja:
Klassisen osioanalyysin ongelmia





Osioiden vertailu keskenään huono, huonompi, huonoin tai
yleensäkin hyvyysakselilla on hankalaa, lähes mahdotonta
Miten hyvin aineistosta estimoitu summapistemäärä
ennustaa oppilaiden kykyä?
Lopullisen summapistemäärän muodostamiseksi ei saatu
informaatio riitä eli
Tukeeko jokainen osio riittävästi summapistemäärän
latenttia piirrettä? vai
Olisiko osio jätettävä kokonaan pois laskettaessa oppilaiden lopullisia summapistemääriä?
Klassinen osioanalyysin hyötyjä




Yksinkertainen suorittaa ja helppo ymmärtää tulosteita
Antaa riittävää tietoa yksittäisen osion korjaamiseksi tai
kehittämiseksi
Tarvitaan usein esitestissä IRT-mallien apuna osiokohtaisten
ongelmien selvittelyssä
Ottaa huomioon kaikki vastausvaihtoehdot, kun taas IRTmallit ovat keskittyneet dikotomiseen aineistoon
(oikein/väärin ja kaikki puuttuvat yhtenä kategoriana)
Classica-ohjelman hankkiminen


Ilmaisohjelma
Laatija ja copyright:
Kari Törmäkangas
Jyväskylän Yliopisto
E-mail: [email protected]
Kirjallisuutta



Kalima-Vahervuo:Tilastolliset Perusmenetelmät
Konttinen: Testiteoria
Rantanen: Enemmän Vähemmällä