Transcript Eksami koostamise protsess ja eksamiülesanded

Eksami koostamise protsess
ja eksamiülesanded
Ülle Türk
[email protected], [email protected]
Milleks?
Eesmärk
Mõõtmisobjekt e
konstrukt
18. november 2011
Koolimeeskondade ja ekspertide I seminar
Kuidas?
Mõõtmisvahend e
test
2
Mida?
Eksamiarendusprotsess
18. november 2011
3
Teadvustatud vajadus uue eksami järele

Ettevalmistamine

Kavandamine

Koostamine

Kasutamine  Seire
Protsessi etapid 1
Ettevalmistusetapp
• kogutakse andmeid vajaduste kohta – miks on
uut eksamit vaja?
Kavandamisetapp
18. november 2011
4
• koostatakse eksami esialgne eristuskiri
• koostatakse näidisülesanded
• küsitakse huvitatud pooltelt arvamust nende
kohta
Eristuskiri
Eksami koostamise alusdokument, mis peab
kindlustama, et eksami koostamine, läbiviimine,
eksamitööde hindamine, tulemuste analüüsimine ja
väljastamine toimuvad alati plaanipäraselt ja
ühesuguselt.
Koostatakse tavaliselt uue eksamisüsteemi
käivitamise või olemasoleva muutmise käigus.
Sisaldab sageli näidisülesandeid ja õpilaste
vastuste näidiseid.
18. november 2011
5
Eri sihtrühmadel oma eristuskirjad
Eristuskiri
Eksam
Osa 1
Osa 2
Ülesanne 1
Osa 3
Osa 4
Osa 5
Ülesanne 2
18. november 2011
Koolimeeskondade ja ekspertide I seminar
6
Ülesanne 3
Protsessi etapid 2
Koostamisetapp
18. november 2011
7
• eeltestitakse või -katsetatakse näidisülesanded
• analüüsitakse eeltesti ja -katsetuse tulemusi
• kogutakse tagasisidet õpilastelt ja õpetajatelt
• koostatakse põhjalikud hindamisjuhendid ja
skaalad
• eksami eristuskiri saab lõpliku kuju
Protsessi etapid 3
Eksami kasutamise etapp
18. november 2011
8
• koostatakse ülesanded ja pannakse kokku
eksamitöö
• töötatakse välja eksami läbiviimise ja hindamise
süsteem
• toimuvad eksamid
Protsessi etapid 4
Seire
18. november 2011
9
• kontrollitakse eksami läbiviimist ja
analüüsitakse eksami sooritust
• küsitakse tagasisidet eksami sooritanud
õpilastelt ja nende õpetajatelt
• analüüsitakse eksami tulemusi
Nõuded eksamile
Valiidsus (validity)
18. november 2011
10
Reliaablus e usaldusväärsus (reliability)
Valiidsus
Valiidne eksam mõõdab seda ja üksnes seda, mida
ta öeldakse mõõtvat.
18. november
2011
Mitte
eksami,
vaid selle tulemuste põhjal tehtavate
11
• Kas eksam toetub piisaval määral ainekavale või eristuskirjale? sisuvaliidsus (content validity)
• Kas eksam põhineb tunnustatud teoorial? - konstruktivaliidsus
(construct validity)
• Kas eksamitulemused on samad, mida saadakse sama konstrukti
mõõtval valiidsel eksamil? – võrdlev valiidsus (concurrent validity)
• Kas eksamitulemused ennustavad piisavalt täpselt eksaminandi
toimetulekut olukorras, milleks valmisolekut eksam mõõdab? Prognoosiv valiidsus (predictive validity)
• Näivvaliidsus (face validity)
Valiidsus
18. november 2011
12
Mitte eksami, vaid selle tulemuste põhjal tehtavate
järelduste/otsustuste omadus
Usaldusväärsus
… näitab, kuivõrd võime usaldada järeldusi, mida
me õppija oskuste kohta antud eksami põhjal
teeme.
18. november 2011
13
• Kui ma homme teeksin eksami uuesti, kas ma saaksin
sama tulemuse?
• Kui ma teeksin eksami teise variandi, kas ma saaksin
sama tulemuse?
• Kui eksamis oleksid olnud teised küsimused, kas ma
oleksin saanud sama tulemuse?
• Kui mu tööd oleks hinnanud teine hindaja, kas ma oleksin
saanud sama tulemuse?
• Kui sama hindaja hindaks mu tööd uuesti, kas ma
saaksin sama tulemuse?
Usaldusväärsus
Mõjurid
18. november 2011
14
• Testi pikkus
• Ajalimiit
• Testi raskus
• Valikute olemasolu testis
• Testi läbiviimine
• Hindamise usaldusväärsus (objektiivhindamine ↔
subjektiivhindamine)
Nõuded eksamile
Teostatavus (feasibility)
• Praktilisus (practicality)
Tagasimõju (washback)
• Mõju (impact)
18. november 2011
15
Eetilisus (fairness)
Ülesandetüübid
Selektiivse vastusega ülesanded
18. november 2011
16
Produktiivse vastusega ülesanded
Selektiivse vastusega ülesanded
Eksaminand valib antud vastusevariantide
hulgast õige
18. november 2011
17
• valikvastustega ülesanne
• õige/vale/vastus puudub
• sobitamine
• järjestamine
• sorteerimine/ klassifitseerimine
Produktiivse e omavastusega ülesanded
Eksaminand koostab ise vastuse
• vastuseks on sõna kuni paar lauset
• lühivastused
• info ülekandmine
• lünkade täitmine
18. november 2011
18
• pikemad kirjutamis- ja rääkimisülesanded
Valikvastustega küsimused
Küsimus + vastusevariandid (vähemalt 2)
Küsimus
• küsilause
• lõpetamata lause
Vastusevariandid
18. november 2011
19
• õige vastus
• peibutusvastused
Küsimus
Lühike, konkreetne, selge, üheselt mõistetav.
Eelistatav kasutada küsilauseid, mitte lõpetamata
lauseid.
Sisaldab sõna, mis vastusevariantides muidu
korduks.
Võimalikult vähe eitust sisaldavaid lauseid.
18. november 2011
20
Eitus esile tõsta (alla joonida, poolpaksus kirjas).
Vastusevariandid
Igale küsimusele vaid üks õige vastus.
Vähemalt neli vastusevarianti.
Ükski variant ei tohi olla ilmselt vale.
• Peibutusvastuste valimisel kasutada vigu, mida õppijad tihti
teevad.
• Variandid grammatiliselt ühes ja samas vormis, küsimusega
vastavuses.
18. november 2011
21
Vastusevariandid loogilises järjekorras (nt
kronoloogiliselt, tähestikuliselt).
Õiged vastused juhuvalikuga.
Vältida varianti “mitte ükski eelnevatest” või “kõik
eelnevad”.
Õige-vale vastus
18. november 2011
22
Õiged ja valed vastused enam-vähem ühepikkused
Umbes pooled vastustest õiged ja pooled valed
Õiged vastused juhuvalikuga
Vältige eitust sisaldavaid lauseid.
Eitus esile tõsta (alla joonida, poolpaksus kirjas).
Vältige sõnu alati, kõik, mitte ükski, ainult, jne
Sobitamisülesanne
Koosneb kahest tulbast
Eksaminandid ühendavad vasaku tulba valiku
sobivaga paremas tulbas
Paremas tulbas rohkem valikuid kui vasakus
Valikud järjestada mingist loogikast lähtuvalt
18. november 2011
23
Tööjuhises selge, mitu korda valikuid võib kasutada
Järjestamisülesanded
Probleemid
18. november 2011
24
• Üks eksimus võib kogu järjestuse valeks
muuta
• Kuidas hinnata?
Omavastusega küsimused
Vastake ise küsimusele/sooritage ülesanne.
Kasutage oma vastust hindamiskriteeriumide
väljatöötamisel.
Koostage hindamisjuhend.
Paluge kellelgi teisel küsimusele vastata või
ülesanne sooritada.
• Kas küsimus/ülesanne on arusaadav?
• Kas saadud vastus vastab ootustele?
18. november 2011
25
Kas hindamisjuhend ‘töötab’?
Pikemad kirjutamisülesanded
Eelistage lühemaid ja konkreetsemaid ülesandeid
(pikkusega kuni 1 lk), mille täitmiseks kulub kuni 15
min.
Esitage probleem struktureeritult – see hõlbustab
hindamist.
Aega piisavalt, et eksaminand jõuaks kirjutist
kavandada.
18. november 2011
26
Kõik eksaminandid täitku sama ülesanne.
Tööjuhis
kus täpselt on vajalik teave (nt leheküljenumbrid)
mitut sõna vastuses peab kasutama
kas on lubatud ühte vastust valida rohkem kui korra
kas vastused võib esitada vabas järjestuses
ligikaudne sõnade arv kirjutamisülesannete puhul
selge viide, kas mõningaid ülesandeid võib valida
mil määral on lubatud sisendmaterjali ülesande täitmisel
kasutada
18. november 2011
27
viited ülesande eduka täitmise kriteeriumidele
Võti, hindamisjuhend ja hindamisskaala
18. november 2011
28
kas on olemas näidisvastus?
kui küsimusele on rohkem kui üks õige vastus, kas
hindamisjuhend sisaldab kõiki võimalikke vastuseid?
kas hindamisjuhend on selge ja lihtsalt kasutatav?
kas on üheselt selge, kui palju hindepalle õige vastuse eest
on võimalik saada?
kas õigeid vastusevariante on piisavalt vähe?
kas on ära näidatud vajalikud piirangud? (nt, eksaminandid
peavad valima viie vastuse seast kaks – kui valitakse
rohkem kui kaks, vastusepunkte ei anta.)
Hindamise usaldusväärsuse tagamine
Hindamisjuhend
• Objektiivhindamine (võti)
• Subjektiivhindamine (skaala, kontroll-leht)
Hindajad
• Hindamise usaldusväärsus (inter-rater reliabiliy)
• Hindaja usaldusväärsus (intra-rater reliability)
Hindajate koolitamine
18. november 2011
29
Hindajate töö kontroll
Ülesande koostamise protsess
Milline hindamismeetod/
ülesandetüüp sobib?
Mida tahame
mõõta/ hinnata?
Leiame alusmaterjali
Eeltestimine/ katsetamine
Eeltesti/ katsetuse analüüs
18. november 2011
Ülesande modereerimine
Ülesande parandamine
Eksamitöö koostamine
30
Koostame ülesande (rohkem
küsimusi, kui vaja)
Kasulikke abimaterjale
18. november 2011
31
Writing Exam Questions:
http://depts.washington.edu/cidrweb/resource
s/exams.html - Washingtoni Ülikooli kogutud
viited teiste USA ülikoolide kodulehtedelt
kättesaadavatele materjalidele