Transcript Hindamise roll hariduses

Hindamise roll hariduses
Aaro Toomela
neuropsühholoogia professor
Tallinna Ülikool
Psühholoogia Instituut
Taust: Gümnaasiumi lõpetamiseks tuleb
teha riigi- ja koolieksamid; koolieksami
valmistavad ette koolid
Eksam on olemuselt uuring. Igasuguse
uuringu läbiviimisel on kasulik enne
uuringut vastata neljale küsimusele:
1. Mida ma tahan teada saada?
2. Miks ma tahan seda teada saada?
3. Kuidas ma saan teada, mida tahan?
4. Kas vastused eelnevale kolmele
küsimusele on omavahel kooskõlas?
Teadusuuringu puhul reeglina vastatakse
küsimused ülaltoodud järjekorras. PGS ei
määra, mida peaks teada saama, kuid kohustab
läbi viima uuringu. Seega peame esmalt
vastama hoopis teisele küsimusele – miks me
tahame uuringut läbi viia?
“Õige” vastus: (1) seadus kohustab.
Sel juhul on järgnev lihtne ...
... koostame millegi, mis meenutab eksamit,
viime läbi ja hindame koostatu tulemusi viisil,
mis meenutab eksamit, ja laseme noortel rahus
gümnaasiumi lõpetada.
Nii võib, aga see oleks raiskamine – vaeva
peab niikuinii nägema.
“Õige” vastus: (2) Tahame uuringu-eksamiga
midagi teada saada. Mida? Miks? Kuidas?
2.1.1. Mida? Tahame teada-kirjeldada õpilase
taset eksamiaines.Uurime, kas õpilane
omandas eksamiaines mingitele kooli poolt
määratud kriteeriumidele vastavad teadmised
ja oskused
2.1.2. Miks? ... (a) Et teada, mida teame niigi,
kuna õpetajad kontrollivad kogu õppe ajal?
2.1.2. ... (b) Et kontrollida õpetajat?
* See ei ole aprioorselt välistatav eesmärk! Meil
on alust kahtluseks, et osa õpetajate tase ei ole
piisavalt hea: õpetajate pedagoogiline ettevalmistus on erineval tasemel; kaootiline täiendkoolitus ei taga selliste erinevuste kadumist
2.1.3. Kuidas? Peab leidma, kuidas vastava aine
oodatava omandamise taseme kriteeriumid
määrata. ... Siin võib tekkida probleeme ...
... Kui määrab õpetaja, siis ta saab teisi eksitada;
kui keegi teine, siis probleemiks “teise” oskus,
eriti kooli unikaalse õppesuuna puhul
* Koostatav eksam peab sisuka tõlgendamise
võimaldamiseks vastama kindlatele reeglitele
– eksam peab olema usaldusväärne ja
valiidne.
Igasugune mõõtmine saab olla valiidne ainult
siis, kui on ka usaldusväärne kuigi saab olla
usaldusväärne ja üldse mitte valiidne.
** Usaldusväärsus iseloomustab
eksamitulemuse saamise protsessi – kas
tulemused oleksid korratavad? Näiteks ...
~ eksamitulemuste hinnangud ei tohi seostuda
konkreetse hindajaga (interobserver reliability)
~ eksami korduv tegemine peaks andma
samasuguseid tulemusi (test-retest reliability)
~ sama teadmist või oskust hindav erinev
küsimus või ülesanne peaks andma
samasuguse hinnangu (inter-item reliability)
Näide psühhomeetrilistest probleemidest.
Meil on ülesanne: Kuubikujulisse veemahutisse
mahub täpselt 1 m3 vett.
1) Milline on selle veemahuti serv?
Vastused: 1 m
* Sirge
* 90°
* ruudu kujuline
* kandiline
* terav
* lahtine
2) Kui palju plekki kulub sellise pealt lahtise
mahuti valmistamiseks?
Vastused: 5 m2
* 5 ruudukujulist plekki, mille külg on 1 m
* mitu tonni
* 5 plekki
Vastused osutavad, et küsimused pole
usaldusväärne (teises sõnastuses ei pruugi
tulemus olla sama; raskusi kodeerimisega ja
“õige” vastuse määratlemisega) ja seetõttu ei
saa olla ka valiidne.
** Valiidsus seostub ka taustsüsteemi valikuga,
mille suhtes/mis mõttes uuritakse õpilase taset:
~ Formaalse tausta suhtes, näiteks õppekava
~ Õpitu mäletamise mõttes – kas teab fakte ja
oskab lahendada näidisülesandeid
~ Õpitu kasutamisoskuse mõttes – kas oskab
õpitut rakendada uutes teadmiste ja oskuste
valdkondades
~ Õpitu terviklikkuse mõttes – kas on
omandanud kaootilise kogumi teadmisi ja
oskusi või tervikliku arusaama antud ainest
** Erinevad eksami eesmärgid – taustsüsteemid
– eeldavad, vähemalt osaliselt, erinevaid
eksamiküsimusi, teste, ülesandeid. Kui
küsimuste kogu kirjeldab seda nähtust, mida
tahame kirjeldada, on eksam valiidne.
** Taseme kirjeldamiseks tehtud eksami
koostamisel on valiidsus suhteliselt lihtsalt
saavutatav, see ei eelda erilisi teadmisi.
Sõltumata põhjendustest on taseme
kirjeldamine eesmärgina puudulik – sama
läbiviimiseks kuluva ressursiga saab
koolieksami teha oluliselt sisukamal põhjusel:
2.2.1. Mida? Tahame (lisaks tasemele)
prognoosida õpilase edasise arengu potentsiaali
2.2.2. Miks? Toetada õpilaste karjäärivalikuid
ja julgustada neid, kes seda vajavad.
2.2.3. Kuidas? Lisanduvad tingimused, mis
peavad olema täidetud selle eesmärgi
saavutamiseks. ...
Valiidsuse tagamine on tehniliselt keerulisem,
sest prognoosimine on võimalik ainult
longituuduuringu alusel. Eksami prognoosiv
väärtus selgub õpilaste eksamijärgset käekäiku
kirjeldavate andmete kontekstis.
Ka prognoosiva eesmärgi lisamine
tasemehindamisele ei ole – vähemalt õpilase
perspektiivist – piisav, kuna sama
läbiviimiseks kuluva ressursiga on ikka veel
võimalik saavutada rohkem eesmärke.
2.3.1. Mida? Tahame – lisaks tasemele ja
prognoosile – teada saada, miks õpilased vigu
teevad ja miks õigesti (!) vastavad
2.3.2. Miks? Saame teada, millisel viisil oleks
edaspidi võimalik efektiivsemalt õpetada – see
on kujundava hindamise variant, mille korral
kasutataks ühe grupi õpilaste uuringu andmeid
teise grupi õpilaste õppimise soodustamiseks.
2.3.3. Kuidas? Selleks on vaja hindamisalast
kirjaoskust, mille tase mujal maailmas on
suhteliselt tagasihoidlik:
“Kaasaja õpetajate teadmised hariduslikust
hindamisest mahuksid vabalt lasteaialapse
pooltühja piimapakki.” (Popham, 2006)
* Keskseks probleemiks on valiidsuse
saavutamine, sest eksamiküsimused peavad
olema õpetuslikult tundlikud. Uuritavate
konstruktide määratlemine on sel juhul
teoreetiliselt väga keerukas.
Kõigepealt peaks valiidsuse tagamiseks
näitama:
1. Testid/ küsimused kirjeldab neid konstrukte,
mida soovisime kirjeldada
2. Eksamitulemuste abil saab modifitseerida
õpetamise meetodeid
3. Modifitseeritud õpetamise meetodid on
efektiivsemad kui senikasutatud.
Kuid veelgi keerulisem on avastada, milliseid
konstrukte peaks üldse uurima ja kuidas
uurimistulemusi täpselt õpetamismeetoditega
siduda.
Näiteks “lihtsad” arvuoperatsioonide
teadmised/ oskused polegi nii lihtsad. Luria
neuropsühholoogiline uuring sisaldas rea teste,
mille abil saab eristada põhjusi, miks vead
tekivad.
Kõrvalepõikena – Luria testide puhul pole eriti
huvitav, kui inimene midagi ei tee, huvitav on
kui teeb aga vigadega; vigade iseloom on
oluliselt informatiivsem kui mittesooritamine.
Aritmeetiliste funktsioonide häirete leidmiseks:
1. Kirjuta palun numbrid, mis ma ütlen:
7-9-3 ... 3-5-7
Hindamiskriteeriumid:
* õigete vastuste arv ... ja mis veel?
* vastamise latentsiaeg, kas liiga aeglane (>2s)
või liiga kiire (<1s koos vigade tegemisega)
* järjekorra vead
* kirjutatakse rohkem numbreid kui öeldi
* kirjutatakse sõnade, mitte numbritega
* mikro- ja makrograafia
2. Kirjuta palun Rooma numbritega ...
... neli ja kuus ... üheksa ja üksteist
Hindamiskriteeriumid:
* õigete vastuste arv
* + samad, mis eelmised
* eraldi välja tuua VI asemel IV ja XI  IX
3. Nüüd kirjuta palun tavaliste numbritega ...
17 ja 71 ... 69 ja 96
Hindamiskriteeriumid:
* nagu eelnevad
4. Kirjuta palun numbrid, mis ma ütlen ...
... 27-34-158-396-9845
Lisaks eelnevatele kriteeriumidele näiteks
27207; 158100508
5. Loe palun kaardile kirjutatud numbrid
... 7-9-3 ... 3-5-7 ... IV-VI ... IX-XI
6. ... 17-71 ... 69-96
7. seekord on numbrid kirjutatud ülevalt alla:
1
3
1
5
9
0
8
6
2
3
8. Ütle palun, milline number on suurem ...
17 või 68 ... 56 või 23 ... 189 või 201
9.- 16. Erinevad arvuoperatsioonid
... 3 * 3 ... 5 * 4 ...7 * 8
... 3 + 4 ... 6 + 7
... 8 – 3 ... 6 – 4
... ülalt alla kirjutatud numbrite liitmine,
tehetes puuduvate arvude või matemaatiliste
sümbolite leidmine jne. Ilmuvad nt
perseveratsioonid, õhku kirjutamine jne.
17.-18. Arvuta peast, palju on 100-7 ja
tulemusest omakorda -7 jne. ... 100-13-13-...
Teisiti organiseerides küsimusi, miks
aritmeetilistes operatsioonides vead tekivad,
saame küsida, millises kognitiivses protsessis
vead tekivad:
* Taju
* Mälu
* Tähelepanu
* Mõtlemine
* Planeerimine
* Emotsioonid
* Motivatsioon
* Varasemad teadmised
Iga protsessi juures erinevad vigade põhjused
ja samuti erinevad rehabilitatsiooni/ õpetamise
meetodid, mis toetavad probleemist
vabanemist.
Lõpetuseks ...
Milline eksamitegemise põhjus valida?
Vastus 1: Ükski pakututest – formaalne,
taseme hindamine, prognoosimine, kujundav
hindamine – pole iseenesest halb.
Hinnata võiks eksami läbiviimiseks vajaliku
ressursi olemasolu, kulukust, tulemuste
kasutatavust, ja otsustada toetudes neile
hinnangutele.
Ressursi olemasolu:
* Tavalisel kooliõpetajal on (peaaegu)
piisavad teadmised formaalseks ja taseme
testimiseks. Prognoosiva ja eriti kujundava
hindamise heal tasemel läbiviimiseks on Eestis
parimal (!) juhul paar-kolm eksperti. Neil ei
pruugi olla aega, motivatsiooni vms.
Kulukus:
* Kas on aega ja raha keerukamate eesmärkide
saavutamiseks vajalike tegevuste läbiviimiseks?
Halvasti-odavalt teha võib kokkuvõttes olla
kallim või õpilastele kahjulikum.
Tulemuste kasutatavus:
* Pole kasu prognoosimisest, kui õpilased seda
ei kasuta; pole kasu kujundavast hindamisest,
kui see on tegelikult ainult näiliselt
“kujundav” (nt ei seostu põhjendatult
õpetamismeetoditega) või reaalselt keegi uusi
meetodeid kasutama ei hakkaks.
Vastus 2: Loomulikult kujundav hindamine!
Sest ...
... nii saab ka teised eesmärgid täidetud
... õpilaste aega kasutatakse maksimaalselt
efektiivselt
... õpetajad arenevad koostöös kujundava
hindamise teoreetikutega—vaja on vaid see
koostöö tellida/ korraldada; vajadusel (s.t.
kindlasti!) osaliselt teistest riikidest sisse osta.
... leitakse paremaid õpetamise meetodeid ja
seega toetatakse paremini õpilaste
õpipotentsiaali realiseerumist
... või vähemalt on niimoodi ilus vastata ...
kuid ärge “reisige Abilene” (The Abilene Paradox, Jerry Harvey)
Tänan!