Transcript Bild 1

“Vurdering for læring” i språkfagene
Oslo 26 november 2010
Vad är god bedömning i språk?
–
Ett allmänt och europeiskt perspektiv
Gudrun Erickson
Göteborgs universitet
Institutionen för pedagogik och specialpedagogik
www.gu.s
e
Europeisk 17-åring:
“I think that a good language test/assessment should
get students chance to show what they know and
devolope their skills. It should contain of listening
and reading comprehations, as well as writing and
grammar part. But the most important thing is to
speak in that language, so I think there should be
also oral exams. Speaking is the most important,
because without it, we wouldn’t communicate.
Because of that students should also learn
pronunciation.”
www.gu.s
e
Bedömning
Att se det som ska ses…
Att kunna kommunicera vad man ser…
Att finna bra sätt att gå vidare på basis av vad
man ser…
Lärare och Elever !
www.gu.s
e
Uppfattningar om bedömning
• Granskning, mätning, kontroll…
• Makt & Disciplinering – “Dömning”…
• Gå till tandläkaren…
• PPP…
=
Positiv Pedagogisk Potential
www.gu.s
e
Lärande – Undervisning – Bedömning
• Bra undervisning befrämjar bra lärande
• Bra undervisning kräver bra bedömning
• Bra undervisning och bra bedömning har ett antal gemensamma
drag, till exempel,
Relevans; Bredd; Tydlighet; Lyhördhet; Rättvisa; Ansvar;
Respekt för elever; Samverkan
OCH, viktigast av allt:
Bra undervisning och Bra bedömning har samma mål:
Bra Utveckling och Lärande
www.gu.s
e
Grundläggande frågor och begrepp
VARFÖR? — Purpose
VAD? — Construct
HUR? — Rubric
VEM? — Agent
OCH..? — Consequence
VALIDITET
”RÄTT” saker, slutsatser, åtgärder, konsekvenser…
Inte för lite… (Construct under-representation)
Inte något annat… (Construct irrelevant variance)
RELIABILITET
”RÄTTVIST”: minimering av slump; jämförbarhet; överensstämmelse; likvärdighet…
Att vara överens med andra… (Interbedömarreliabilitet)
Att vara överens med sig själv… (Intrabedömarreliabilitet)
www.gu.s
e
Elever refraserar validitetsteori
Problemet med “för lite av det viktiga” – construct under-representation
“A bad test/assessment is the one which is only about grammar, because if a person
knows grammar well, it doesn’t mean he/she can speak the language as well and
communication is the most important thing in language study…”
Samuel Messick (1989)
“…the test is too narrow and fails to include important dimensions or facets of the
construct…”
**********
Problemet med “något annat”– construct irrelevant variance
“… if you don’t understand the questions, you can’t show what you know…”
“… a bad test is when we just have a little time to do it on. Because then you have to
stress thru the test and maybe you cannot show how much you can…”
Messick
“… the test contains excess reliable variance that is irrelevant to the interpreted
construct …”
www.gu.s
e
Bedömning som en gemensam angelägenhet
”Att bäras åt”
Självbedömning
Kamratbedömning (peer assessment)
Lärarbedömning
Extern bedömning
Bedömning FÖR – och som – Lärande
–
inte bara AV lärande
www.gu.s
e
Grundläggande principer
•
Ett integrerat perspektiv – bedömning av och för lärande:
Feed back & Feed forward
•
Validitet – Reliabilitet
•
Bredd och variation (innehåll, uppgifter, metoder…)
•
Att elever och lärare “bärs åt” – att aktörerna varierar och samverkar
•
Att elever får visa vad de kan — inte primärt motsatsen
•
•
Att rimliga anpassningar görs för enskilda elevers behov
Att det viktigaste görs bedömbart – inte det lätt mätbara till det viktigaste
•
Att styrkor kommenteras före svagheter
•
Att fel som (ev.) stör skiljs från fel som förstör kommunikationen
•
Att resultat presenteras nyanserat/i profiler - inte enbart i klumpsummor
•
Tydlighet – Kommunikation – Dokumentation
www.gu.s
e
Interaktiv bedömningsmodell
”Dialogschema”
(www.skolverket.se > Kursplaner och betyg > Bedömningsexempel > Engelska)
”Både läraren och eleven ges i ett s.k. dialogschema möjlighet att kommentera hur och
hur väl eleven når målen – i det successiva arbetet och i enskilda uppgifter eller prov.
Materialet syftar till att öka medvetenheten om och tydligheten kring bedömningen,
samt att bidra till en tydlig dokumentation av betygsunderlaget.”
––––––––––––––––––––––––––––––––––––––––––––––––––
Att
Bedöma
Hur?
Vad?
[Kursplan /
mål + kriterier]
PROCESS
Elevens kommentarer
Lärarens kommentarer
[Dagligt arbete, samarbete,
ansvar etc.]
PRODUKT
Elevens kommentarer
Lärarens kommentarer
[Resultat på uppgifter,
projektarbeten, prov etc.]
––––––––––––––––––––––––––––––––––––––––––––––––––
Att Diskutera
Styrkor/Svagheter – Gillande/Ogillande – Arbetsinsatser/Resultat…
Planer för fortsättningen
www.gu.s
e
De svenska språkkursplanernas struktur
Kommunikation – En handlingsorienterad grundsyn – 7 steg
• Reception – att lyssna/läsa och förstå
S
E
• Interaktion – att samtala/”skriftväxla”
T
G
• Produktion – att tala och skriva
R
I
• Kultur / Interkulturell kompetens
A
E
• Reflektion* – att bli medveten och ta ansvar
T
R
Den pågående revideringen kommer att ytterligare närma kursplanerna till den
gemensamma europeiska referensramen för språk
* Flyttas till läroplansnivå
www.gu.s
e
Nationella prov och bedömningsmaterial
www.nafs.gu.se
(läs- & förförståelse,tala/samtala, skriva // kultur; reflektion)
”Steg” Engelska
Övriga moderna språk
1
Ämnesprov åk 5 (DVD) > åk 6
Formativt material – Fr, Sp, Ty *
2
Diagnostiskt material
Provbank – Fr, Sp, Ty
3
(åk 6-9; 1-6 under utveckling)
Provbank– Fr, Sp, Ty (DVD)
4
Ämnesprov åk 9
Provbank– Fr, Sp, Ty
5
Kursprov Eng A (5)
6
Kursprov Eng B (6)
7
Bedömningsmaterial
Eng C (7) Tala & Skriva
* Modeller för själv- & kamratbedömning;
Uppgifter med didaktiska kommentarer
www.gu.s
e
Utveckling av de svenska nationella provmaterialen i språk
• Analyser av styrdokument och relevant forskning
• Kontinuerlig samverkan med breda nationella och internationella
expertgrupper (lärare, specialpedagoger, lärarutbildare, forskare)
• Specifikation > Konstruktion
• Miniutprövningar > Modifieringar
• Storskaliga utprövningar i slumpvis valda elevgrupper i landet
(n ≈ 400 per uppgift)
• Analys av result och av elevers och lärares uppfattningar och förslag
• Sammansättning av provmaterial (referensgrupper)
• “Standard setting” och “benchmarking” (fastställande av poänggränser och nivåbedömda exempel) i brett sammansatta grupper
• Analys / Forskning / Rapportering
(www.skolverket.se > Prov och bedömning > Resultat)
www.gu.s
e
Svenska elever
• It’s always difficult to understand when ”real people” (not teachers) speak.
People speak fast and not often so clearly. Good practice!
• Det är alltid bra att kunna uttala ord. Om man t ex är i England skriver man ju
knappast lappar till alla man ser.
• I don’t think you learn anything from this. Useless!
• It was the first test I like in english! It was funny! Perhaps you not like this
text, but I hope you like it. I cant english, who you see, but I hope you can read
and understand what I write…
• Take words who you can bend!
• It was boring ‘cause it was so easy. But shit happens!
www.gu.s
e
Bra bedömning i språk
enligt ca 1 400 tonåringar i 10 europeiska länder, inklusive Sverige och Norge
Bredd och Variation
Fokus på kommunikation / ”nytta”
Möjlighet att lära sig något
Klarhet
Rättvisa
Tillräckligt med tid
Utmaning
Erickson, G. & Gustafsson. J-E. (2005). Some European Students' and Teachers'
Views on Language Testing and Assessment
www.ealta.eu.org/resources.htm
www.gu.s
e
Den gemensamma europeiska referensramen
http://www.coe.int/t/dg4/linguistic/CADRE_EN.asp
•
Producerat av Europarådet; baserat (bl.a.) på schweiziskt
forskningsprojekt; bygger på ett stort antal befintliga skalor; ursprungligen
avsett för vuxna
•
Översatt till 36 språk (34 publicerade/tillgängliga)
•
Avser lärande, undervisning och bedömning i främmande språk och
andraspråk, med “en handlingsorienterad grundsyn”: reception, produktion,
interaktion, mediering; ‘plurilingualism’
•
Beskriver sex färdighetsnivåer – A 1 – C 2; användare på nybörjarnivå
(‘basic’), självständiga användare (‘independent’), avancerade användare
(‘proficient’)
•
En stor mängd “kringmaterial”: manual för kalibrering av prov, supplement,
bedömda exempel; ESP (europeisk språkportfolio)
www.gu.s
e
Diskussioner kring CEFR/”GERS”
Till exempel:
• Ramverk eller överstatlig kursplan? CEFR / GERS
• Hur tillåtande? – Hur styrande? – Hur tvingande?
• Användbart för andraspråk..? för modersmål..?
• Hur användbart för olika åldersgrupper?
• Hur användbart för skoländamål/kursplaner?
• För många skalor/deskriptorer – eller för få?
• The action-oriented approach – Skills respektive Elements?
• Grad av ekvidistans, dvs jämnhet i progression mellan stegen?
• Grund för påståenden av nivåkaraktär; t.ex: “CAE = C 1”?
How do I know that my B 1 is your B 1..?
www.gu.s
e
Europarådet
Gemensam europeisk referensram för språk:
lärande, undervisning och bedömning
PRELIMINÄR jämförelse med kursplanens steg, baserad på tentativa textjämförelser
A
Användare på
nybörjarnivå
B
Självständiga
användare
C
Avancerade
användare
A1
B1
C1
Steg i
kursplanen
Obs! G-nivå
A2
1
2
3
4
B2
5
6
C2
7
www.gu.s
e
Diskussioner angående gemensamma språkprov i Europa
Bl.a. om
• Uppgifters innehåll
• Uppgiftstyper
• Språkriktighet – var och hur?
• Enspråkiga eller tvåspråkiga prov
• Hur och varför uppgifter fungerar olika i olika länder
*****
European Indicator of Language Competence (2011)
www.gu.s
e
EALTA
http://www.ealta.eu.org
European Association for
Language Testing and Assessment
• Bred målgrupp:
Lärare, Lärarutbildare, Personer som utvecklar “storskaliga” prov
• Icke-kommersiellt
• Individuellt medlemskap gratis
• Grundat med stöd av EU
• Resurssidor; Diskussionsforum för medlemmar; Särskilda intressegrupper
och : Årliga konferenser (maj 2010: Siena)
1 203 individuella medlemmar (41 europeiska länder); 143 associerade medlemmar
(31 länder, 5 kontinenter); 51 institutionella medlemmar; 17 expertmedlemmar
www.gu.s
e
EALTAs RIKTLINJER
för god praxis vid prov och bedömning i språk
Antagna 2006; För närvarande översatta till 35 språk (bl.a. bokmål och
nynorsk);
Översättningarna kan laddas ner gratis från EALTAs hemsida
Vänder sig i första hand till de tre medlemskategorierna med hjälp av
frågor
Initial betoning av grundläggande principer för alla typer av
kunskapsbedömning:
TRANSPARENS
Respekt för de studerande/”provtagarna”, ansvar, rättvisa,
reliabilitet, validitet och
samverkan mellan berörda parter
www.gu.s
e
Exempel på frågeställningar
Lärarutbildare
• Hur relevant är utbildningen för lärarstudenternas kommande
bedömningsverksamhet?
• I vilken omfattning deltar lärarstudenterna i betygssättning och bedömning
av elevers prestationer?
• I vilken mån följer de metoder som används för att bedöma lärarstudenterna de principer studenterna själva fått lära sig?
Lärare i skolan
•
•
•
•
Hur är syftet med bedömningen relaterat till läroplanen/kursplanen?
Hur väl täcks läroplanen/kursplanen?
Vilken hänsyn tas till elevernas uppfattningar om bedömningsmetoderna?
Vilka ansträngningar görs för att befrämja överensstämmelse i
bedömnings- och betygssättningspraxis mellan lärare och skolor?
www.gu.s
e
Och, till sist:
“It’s nice to do nice exercises, that is the thing which
teachers should remember.
Even tests can be nice.”
15-åring i Europa (2005)
www.gu.s
e
www.gu.s
e
Exempel på falska dikotomier
• Validitet – Reliabilitet
• Kvalitativt – Kvantitativt
• Subjektivt – Objektivt
• Formativt – Summativt
• Bedömning – Prov
• Bedömning för lärande – Bedömning av lärande
EN FRÅGA OM DEFINITION, SYFTE , METOD & ANVÄNDNING
www.gu.s
e
Assessment for Learning
”is the process of seeking and interpreting
evidence for use by learners and their
teachers to decide where the learners are in
their learning, where they need to go and how
best to get there.”
The Assessment Reform Group, UK
www.assessment-reform-group.org
www.gu.s
e