Transcript Institutt for lærerutdanning og skoleforskning

Institutt for lærerutdanning og skoleforskning
PISA og nasjonale prøver i lesing – hva
måler de og hvordan kan resultatene
brukes?
Astrid Roe
Faktorer som påvirker
leseforståelsen
• Avkodingsferdigheter, lesehastighet og flyt –
overgang fra å lese for lesetreningens skyld til
å lese for å lære og oppleve
• Engasjement
– Positiv interesse for leseaktiviteter
– Forståelse for viktigheten av å lese
– Lesevaner (hva man faktisk leser i fritiden,
og hvor ofte)
• Overvåking ev egen leseforståelse
(metakognisjon)
• Kjennskap til og bruk av lesestrategier
Institutt for lærerutdanning og skoleforskning ILS
Leseforståelse henger også
sammen med elevenes
• sosiale og kulturelle bakgrunn
• tidligere leseerfaringer
• kunnskaper om teksters form og
innhold
• evne til å finne fram til informasjon,
tolke, trekke slutninger og reflektere
over form og innhold i ulike tekster
Institutt for lærerutdanning og skoleforskning ILS
Kartleggingsprøver
(Utdanningsdirektoratet/Lesesenteret)
• Fokus på de ca 15 -20 % svakeste leserne,
”takeffekt” fordi mange elever klarer alt
(lesing og regning). 2. trinn og Vg1
• Lesehastighet måles ved at alle oppgaver er
tidsbegrenset.
• Ordavkoding måles også (f.eks ordkjeder)
• Er ment å brukes på individnivå, men enkelte
kommuner publiserer også resultatene
Institutt for lærerutdanning og skoleforskning ILS
”Kartleggern” Utviklet av Grieg
Multimedia i Bergen
• Norskprøve med blant annet lesetest:
– Ordavkoding, lesehastighet, skumming, evne til å
oppfatte og huske faktainnhold fra teksten (dette
kalles leseforståelse i prøven).
– Elevenes resultater oppgis i form av profiler, der
100% er gjennomsnitt, og 60% er ”kritisk grense”
– Kan brukes på individnivå
Institutt for lærerutdanning og skoleforskning ILS
Nasjonale prøver i lesing
• For alle elever på 5. og 8. trinn
• Tekster i ulike sjangrer og fra mange
fagområder
• 25 – 30% av oppgavene er åpne, resten er
avkryssingsoppgaver
• En gjennomsnittselev vil klare ca 60% av alle
oppgavene
Institutt for lærerutdanning og skoleforskning ILS
Nasjonale prøver i lesing
• Resultatene skal gi tilbakemelding på
systemnivå og individnivå.
• Resultatene kan brukes til å måle den enkelte
elevs eller den enkelte skoles nivå i relasjon til
det totale gjennomsnittet
• elever, klasser/grupper, skoler, kommuner og
fylker kan sammenlikne seg med gjennomsnittet.
• Resultatene kan si noe om elevers og gruppers
relative styrker og svakheter.
Institutt for lærerutdanning og skoleforskning ILS
• For å kunne tolke og bruke resultatene fra en
prøve, er det nødvendig å vite hvordan det
akutelle fagområdet er definert og
operasjonalisert
• Nasjonale prøver i lesing er i stor grad
påvirket av leseprøven i PISA-undersøkelsen
Institutt for lærerutdanning og skoleforskning ILS
PISA
• 15-åringers kompetanse i lesing, matematikk og
naturfag
• Undersøkelse hvert tredje år med ulike fokusfag
–
–
–
–
–
PISA 2000: Lesing (Reading literacy)
PISA 2003: Matematikk (Mathematical literacy)
PISA 2006: Naturfag (Science literacy)
PISA 2009: Lesing
PISA 2012: Matematikk .
• Alle tre fagene med hver gang for å kunne måle
endring over tid
• PISA 2009 - resultater 7. desember 2010
Institutt for lærerutdanning og skoleforskning ILS
Innhold (forts.)
• To timers faglig prøve til elevene med oppgaver
fra alle tre fagområder
• Elektronisk lesing for et utvalg elever i 2009
• Spørreskjema til elevene
– Hjemmebakgrunn, holdninger, undervisning, bruk av
IKT etc
• Spørreskjema til skolens ledelse
– Skole- og klassestørrelse, ressurser, organisering av
skolen, antall lærere etc.
Institutt for lærerutdanning og skoleforskning ILS
 Begrensninger:
 Gir gode data kun på nasjonalt nivå
 Elevenes svar er anonyme - ingen resultater gis om
den enkelte elevs besvarelse
 Skolens resultat er anonymisert
 Ingen resultater på kommune- eller fylkesnivå
Institutt for lærerutdanning og skoleforskning ILS
Er det mulig å sammenlikne land?
• PISA tar ikke utgangspunkt i landenes
læreplan
– Rammeverkene i de tre fagområdene er utviklet
av fageksperter
• PISA tar ikke hensyn til antall år på skolen,
antall undervisningstimer etc
• Disse faktorene kan i tilfelle forklare
forskjeller mellom land
Institutt for lærerutdanning og skoleforskning ILS
Utvalg
• Skolene trekkes fra offisiell skolestatistikk
• 30 (35) elever trekkes fra hver skole
• Hvilke elever kan fritas
– Elever med fysisk funksjonshemming
– Elever med psykisk og/eller emosjonell
funksjonshemming
– Elever med begrensede norskkunnskaper (hatt
norskundervisning mindre enn ett år)
Institutt for lærerutdanning og skoleforskning ILS
Hva innebærer ”Literacy” i PISA?
Elevene skal ikke bare være i stand til å
reprodusere pensum og faglig innhold, de skal
kunne bruke det de har lært og overføre
kunnskapen sin til nye situasjoner og
fagområder
Institutt for lærerutdanning og skoleforskning ILS
Resultatene presenteres i form av
gjennomsnitt for hvert land
OECD-gjennomsnittet er standardisert til 500
poeng, ett standardavvik = 100 poeng (ett
skoleår utgjør mellom 25 og 30 poeng)
Institutt for lærerutdanning og skoleforskning ILS
Hvorfor har OECD valgt å teste
lesekompetanse?
• PISA har som mål å kartlegge kompetanser
som anses som viktige i et livslangt
perspektiv (grunnleggende ferfdigheter)
• Antall tekster øker stadig, og stadig flere
mennesker er forventet å kunne bruke ulike
teksttyper på avanserte måter.
• Det er nødvendig å kunne forstå og reflektere
kritisk over det man leser.
• Kravene til teoretisk utdanning øker, og ingen
klarer seg uten lesing.
Institutt for lærerutdanning og skoleforskning ILS
Metakognisjon og gode lesestrategier
påvirker også forståelsen
• Dårlig leseforståelse skyldes ikke alltid
dårlige tekniske leseferdigheter (f.eks
dysleksi)
• Et skjult problem er ofte mangel på
bevissthet omkring og overvåking av egen
leseforståelse (metakognisjon).
Institutt for lærerutdanning og skoleforskning ILS
Lesevaner i fritiden har stor påvirkning
på elevenes skoleprestasjoner
• Elevenes leseforståelse er mer avhengig av
hvor mye de leser i fritiden og hvilke
holdninger de har til lesing enn av sosial
bakgrunn.
• Lærere kan ikke endre elevenes sosiale
bakgrunn, men de kan påvirke deres
lesevaner – og det har god effekt.
Institutt for lærerutdanning og skoleforskning ILS
Tre aspekter ved leseforståelse (i PISA,
Kunnskapsløftet og nasjonale prøver)
• Finne fram til og hente ut informasjon (ca 30%
av oppgavene)
• Forstå og tolke (ca 50% av oppgavene)
• Reflektere og vurdere (ca 20% av oppgavene)
• Alle de tre aspektene kan spille en større eller
mindre rolle i forbindelse med en hvilken som
helst leseoppgave, men hver oppgave er
definert i forhold til det mest fremtredende
aspektet.
Institutt for lærerutdanning og skoleforskning ILS
Tekstuvalget
• Kompetansemålene i Kunnskapsløftet gjenspeiles i
tekstutvalget
• Leseprøven kan inneholde faktatekster med natureller samfunnsfaglig innhold, instruksjoner, oppskrifter,
grafiske framstillinger, argumentetrende tekster osv.
• Tekstene er i utgangspunktet ikke konstruert for
prøven
• Prøven er ikke omfattende nok til at det er mulig å
representere alle fag i en og samme prøve
• De fagene som tradisjonelt er mest tekstbaserte, som
norsk, samfunnsfag, naturfag og RLE, vil forekomme
oftere enn kroppsøving, musikk, kunst og håndverk,
mat og helse og matematikk.
Institutt for lærerutdanning og skoleforskning ILS
Validitet – måler prøven det den er
ment å måle?
• Rammeverket gir kriteriene for hva prøven
skal måle – sikrer validiteten
• En leseprøve bør måle hele eller deler av
nettopp lesekompetansen, ikke i for stor grad
f. eks. faktakunnskap eller skriveferdigheter.
• Prøven bør ikke passe bedre for én gruppe
elever enn for en annen (gutter og jenter).
• Oppgavene bør ikke være utformet slik at
noen elever kan svare riktig uten å ha lest
teksten.
• Men forkunnskaper spiller alltid en rolle
Institutt for lærerutdanning og skoleforskning ILS
Validitet kan svekkes ved
• Underrepresentasjon – det vil si at
oppgavene til sammen ikke representerer
fagområdet på en god måte (f.eks hvis
leseprøven inneholder for mye
skjønnlitteratur).
• Irrelevans – det vil si at mange av oppgavene
tydelig faller utenfor det angitte fagområdet
(f. eks. andre norskfaglige emner enn lesing).
Institutt for lærerutdanning og skoleforskning ILS
Reliabilitet – er resultatene
framkommet på en pålitelig måte?
• Lesing er et bredt kompetansefelt, derfor bør prøven
inneholde visst antall tekster og oppgaver. For å
finne ut hvor god reliabiliteten er, blir prøven pilotert
på et utvalg elever for å finne ut hvor høyt resultater
på enkeltoppgavene samvarierer (korrelerer) seg
imellom (Cronbach’s alpha bør være mellom 0,7 og
0,8).
• Oppgavene må støtte opp om hverandre slik at de i
rimelig grad måler det samme.
• Legger man inn en matematikkoppgave i
leseprøven, svekkes sannsynligvis reliabiliteten.
Institutt for lærerutdanning og skoleforskning ILS
Reliabilitet (forts.)
• Vi må kunne stole på at elevbesvarelsene blir
vurdert på samme måte uansett hvem som vurderer
dem (forutsatt at de er kompetente og har fulgt
vurderingsveiledningen).
• Reliabilitet sier da hvor stor overensstemmelse det
er mellom to eller flere ulike sensorer som vurderer
samme åpne oppgaver.
• Høy sensorreliabilitet er en utfordring, derfor er det
forholdsvis få åpne oppgaver i de nasjonale prøvene
(ca 30%).
Institutt for lærerutdanning og skoleforskning ILS
• Resultatene presenteres i form av andel
elever på tre kompetansenivåer på 5. trinn
og fem kompetansenivåer på 8. trinn
• For hvert kompetansenivå er det beskrevet
generelle trekk ved elevenes
lesekompetanse på hver av de tre
oppgavetypene
• Det finnes veiledningsmateriell til lærerne
både når det gjelder gjennomføring og bruk
av resultatene på www.udir.no
Institutt for lærerutdanning og skoleforskning ILS
Oppfølging av resultatene – alle
læreres ansvar
• Studer resultatene for hver elev på oppgavenivå, særlig når det
gjelder de oppgavene som elevene ikke har fått til.
• Når elever ikke får poeng på en oppgave, har de enten ikke svart eller
svart feil. Hvorfor? Har de ikke forstått oppgaven, har de ikke rukket å
svare, eller har de ikke forsøkt?
• På flervalgsoppgaver kan elevene ha gjettet hva som er riktig
• Gå gjennom prøven med elevene, forklar hva som karakteriserer de
ulike tekstene (sjanger, form, hensikt) og hva de ulike oppgavene
måler.
• Vis elevene hva som skiller godkjente og ikke godkjente svar på de
åpne oppgavene
• Gå gjennom de ulike svaralternativene på flervalgsoppgaver.
• La elevene selv forsøke å lage flervalgsoppgaver
• Hvilke fag har tekster som elevene ser ut til å ha problemer med?
Institutt for lærerutdanning og skoleforskning ILS
• Leseprøver kan gi verdifull informasjon til
lærerne, men de bør være gode og
gjennomtenkte, og det bør være tydelig hva
som måles og på hvilken måte.
• I den daglige undervisningen er den løpende
vurderingen helt nødvendig.
Institutt for lærerutdanning og skoleforskning ILS