Transcript Nytt paradigme – også for kvalitetssikring?

60 Uniped, årgang 33, 2/2010, side 60–70
Av Jon Haakstad
Jon Haakstad
Avdelingsdirektør/
seniorrådgiver i
NOKUT, Avdeling for
utredning og analyse
E-post: [email protected]
Nytt paradigme – også for
kvalitetssikring?
Sammendrag:
Norge har nylig fått et nasjonalt kvalifikasjonsrammeverk for høgre
utdanning, basert på det europeiske rammeverket. Rammeverket
orienterer oppmerksomheten rundt studietilbudene i mye større grad enn
før mot læringsutbytte. Læringsutbytte er ikke lenger (bare) det antatte
resultatet av god utdanning, men selve det viktigste «målepunktet» for
kvalitet. Artikkelen problematiserer begrepet «læringsutbytte», og
hvordan dette kan evalueres. Her ligger det også en grenseoppgang
mellom evaluering og mer forskningspregede tilnærminger. Deretter
følger en gjennomgang av hvordan den nye tenkinga har nedfelt seg i
praksis hos kvalitetssikringsorganer i noen land som var tidlig ute med
nasjonale kvalifikasjonsrammeverk. Artikkelens hoveddel er en resonnerende gjennomgang av hvilke endringer i kvalitetsarbeidet som bør følge
av nyorienteringa, med særlig referanse til Norge. Her drøftes forholdet
mellom direkte og indirekte metode og mellom innsatsfaktorer og
resultater, og det antydes ei tilnærming som er mer kvalitativ og «didaktisk» enn i dag: Mer «diskursiv» og sammenhengsøkende enn målende,
basert på prinsippet om «constructive alignment».
Læringsutbytte som kvalitetsindikator
Det er rimelig å anta at innføringa av kvalifikasjonsrammeverk og det
medfølgende fokus på læringsutbytte må få konsekvenser for eksisterende mekanismer for styring og vurdering av høgre utdanning, inkludert kvalitetssikringsrutiner. Oppnåelsen av læringsmål, som selvfølgelig alltid har vært det overordna orienteringspunktet for ethvert
utdanningsprogram, blir nå også den viktigste kvalitetsindikatoren.
Der man tidligere tok programkvaliteten og et visst læringsutbytte for
(mer eller mindre) gitt, hvis innsatsfaktorene var tilfredsstillende, kan
uttrykk for resultat nå bli de viktigste variablene som et program bedømmes etter. Derfor snakker mange om et «paradigmeskifte».
Det er på ingen måte oppsiktsvekkende at graden av måloppnåelse
ved en prosess også er den viktigste indikatoren for kvalitetsvurdering. Problemet med læringsprosesser er likevel at målet med prosessene er en immateriell størrelse. Hvordan kan institusjoner kvalitetsvurdere og styre etter noe som skjer eller finnes i studentenes hode?
Og hvordan kan kvaliteten bedømmes på en rimelig måte når denne
kvaliteten er like avhengig av studentenes innsats og evner som av
det selve læringsprogrammet tilbyr? Og – spesielt med referanse til
ekstern kvalitetsbedømmelse – hvor «fjern» kan kvalitetssikrings-
5 Haakstad.indd 60
30.06.10 08.44
Nytt paradigme – også for kvalitetssikring?
61
prosessen være fra selve objektet for bedømmelsen (studentenes læring) og fortsatt gjøre
gyldige bedømmelser? Hvordan vil den dokumenterte «evidens» for utdanningskvalitet se
ut når den er basert på læringsutbytte?
Helt siden man startet med formelle kvalitetssikringsordninger i Europa, har det løpt diskusjoner om hvordan man kan vurdere et læringsprograms kvalitet – sett som programmets
bidrag til studentenes kunnskaps- og ferdighetsnivå. Et begrep som ofte ble brukt var «value
added», dvs. forskjellen i studentenes kunnskaper og ferdigheter, som relatert til studiets
mål, mellom inntaks- og kandidatstadiene (Harvey og Green, 1993; Harvey, 2004-9). Dette
ligger nært opp til «læringsutbytte». Et beslektet begrep er «transformasjon»– veksten i
kunnskaper, ferdigheter og modenhet i løpet av utdanningsprosessen. Det har imidlertid
vist seg vanskelig å finne mekanismer som på en rimelig økonomisk måte kan måle disse
størrelsene, og tankegangen nå er nok mer å vurdere læringsstatus ved studiets avslutning,
uavhengig av hvordan den er kommet til. Men vil «bidrag» og «prosess» bli mindre viktige
begreper når det er det endelige læringsresultatet som gjelder?
Det skiftet i fokus som vi ser nå, er i en banal forstand ukontroversielt. Selvsagt er det
læringsutbyttet som teller; det er jo derfor vi har utdanning! På den annen side kan fokus
på læringsutbytte også skjule viktige epistemologiske motsigelser. Det er for det første et
spørsmål om et gitt læringsresultat – på et gitt tidspunkt, målt på en gitt måte (eksamen)
– alltid gir samme overføringsverdi til bestandig kompetanse. Det tenkes her på forskjellen
mellom dyp eller forstått kunnskap, i motsetning overfladisk tilegnet kunnskap, instrumentelt tilegnet med sikte på eksamen. En annen motsigelse går mellom komplekse og enkle
bedømmelsesmåter. De tidligere forsøkene på å lete etter merverdi og transformasjon hentet
sin inspirasjon fra et sammensatt kvalitetsbegrep og et skeptisk syn på tradisjonell kvalitetssikring, som ble sett på som reduksjonistisk, overfladisk og byråkratisk. Sett fra denne synsvinkelen innebærer befatning med læringsutbytte, og dermed også med utdanningskvalitet,
en åpen, bred, følsom og forskningslik tilnærming. Å basere et nasjonalt og institusjonelt
kvalitetssikringssystem på slike metoder, kan fort bli byrdefullt og kostbart sett i forhold til
gevinsten. Alternativet er å redusere begrepet læringsutbytte – eller dets systematiske signifikans – til et begrenset antall antatt førende parametre som egner seg for måling. I samsvar
med målorienterte styringsprinsipper kan «resultat» på denne måten bli et kontrollerbart
fenomen. Assosiasjonen går her til kjente internasjonale rangeringer av utdanningskvalitet
gjennom måling av elevenes kunnskapsprestasjoner i grunnskole og videregående opplæring (TIMMS; PISA). Er det slik at Bologna-prosessen nå tar høgre utdanning i denne retninga? En toneangivende instans innenfor europeisk kvalitetssikring av høgre utdanning,
the European Consortium for Accreditation (ECA), uttaler blant annet følgende i sitt posisjonsskriv til rapporten «Bologna Beyond 2010», forfattet av Bologna-prosessens følgegruppe:
«Data collection and development of performance indicators should strictly adhere to the principles
of transparency, readability and accountability of European education, thus allowing for measuring and comparing the strengths of institutions. (…) Measuring the strengths of diverse institutions
across borders will pose an entirely new challenge. To this end compatible instruments for both external institutional assessments and internal quality assurance systems will have to be developed.»
(ECA, 2009)
5 Haakstad.indd 61
30.06.10 08.44
62
Jon Haakstad
Samtidig gjøres det et alvorlig forsøk på å undersøke muligheten for å lansere et PISA-lignende system for å vurdere – eller måle – læringsutbytte i høgre utdanning i en samlet europeisk kontekst. OECDs AHELO-prosjekt har dette målet, men åpner med en innrømmelse
av de metodiske utfordringene man møter når også nasjonale kulturer og tradisjoner skal
tas i betraktning. OECD startet derfor opp med en realismestudie:
«There is currently considerable interest within institutional, political and scientific circles for
measures of higher education learning outcomes, but uncertainties and doubts of some actors
as to whether it is scientifically and operationally feasible to measure learning outcomes across
HEIs of very different types, and in countries with different cultures and languages.»
(…)
«The main criteria to assess the success of the feasibility study is to provide a proof of concept
that the various instruments considered can be applied in diverse institutional, cultural and
linguistic settings with appropriate adaptations and yet provide valid, reliable and free-of-bias
measures of student learning outcomes as well as indirect measures of higher education quality.»
(OECD, 2009)
En lignende tilnærming på nasjonalt nivå vil riktignok unngå de vanskene som ligger i internasjonale kulturforskjeller, men den vil sannelig bli kompleks nok likevel hvis den skal
yte rettferdighet. OECD-dokumentet illustrerer den metodiske kompleksiteten i slike operasjoner, og dermed også grensesnittet mellom forskning og kvalitetssikring. For at det skal
være hensiktsmessig, må et «heldekkende» kvalitetssikringsopplegget være praktisk og noenlunde økonomisk i bruken av tid og ressurser, og kan ikke operere med et så stort antall
finstemte måleinstrumenter som AHELO-prosjektet forespeiler. Det er også i høy grad et
spørsmål om det skal være kvalitetssikringens viktigste formål å «måle» kvalitet. Den kan
– og bør – i hvert fall ikke påberope seg å gi altfor absolutte og detaljerte svar på spørsmål om
«hvor høg kvalitet».
Fokus på læringsresultat reiser uansett metodiske utfordringer. Det vil komme krav om at
kvalitetssikringen skal være «evidensbasert». Med mindre man anlegger en svært reduksjonistisk tilnærming, kan det bli enda vanskeligere (og mer byrdefullt) å finne valid belegg for
resultat enn for innsats. Så spørsmålet er om den nye orienteringa virkelig vil representere
et paradigmeskifte, eller om den vil koke ned til politisk retorikk og et eksempel på keiserens
nye klær.
Verden rundt oss: Hva skjer?
For å få en første pekepinn om hvilke endringer vi kan vente oss på kvalitetssikringsfeltet,
kan det være interessant å undersøke om læringsmålorienteringa hittil har hatt noen innflytelse på andre lands nasjonale opplegg. Et interessant eksempel er Sverige, som nettopp offentliggjorde nye grunnleggende prinsipper for ekstern kvalitetssikring. Dessuten er det
flere land i Europa som for lengst har vedtatt nasjonale kvalitetsrammeverk, og som dermed
er kommet lenger enn Norge i sin tilpasning til de målene i Bologna-prosessen som relaterer
seg til læringsutbyttetenkinga. Hvilke konkrete endringer kan vi se her?
5 Haakstad.indd 62
30.06.10 08.44
Nytt paradigme – også for kvalitetssikring?
63
Den nye svenske modellen for ekstern kvalitetssikring (Högskoleverket, 2009), som skal
gjelde for perioden 2011–2017, vil være basert på programevalueringer. Samtlige utdanningsprogram skal evalueres i løpet av perioden. Modellen inneholder tre «indikatorgrupper»: (1) Tilsiktet læringsutbytte og studentvurdering. Her vurderer man samsvaret (constructive alignment – Biggs og Tang, 2007) mellom innsatsfaktorene (f.eks. programutforming,
undervisningsmengde, lærestoff, vurderingsformer, lærernes kompetanse) og det planlagte
læringsutbyttet; (2) læringsutbytte innebærer en direkte undersøkelse av studentenes læring
gjennom en etterbedømmelse av studenters eksamensarbeid ved nasjonale ekspertkomiteer; (3) studenters opplevelse og innf lytelse skal bestå av to nasjonale surveys: Studenter spørres om opplevelsen av viktige kvalitetsaspekter ved studiet, med hovedvekt på læringsutbytte, mens alumni (kandidater fra noen få år tilbake) spørres om programmets yrkesrelevans
og hvordan de har lyktes med å få relevant sysselsetting.
Den danske modellen1 er også av programtypen. Den ble modifisert siste gang ved en lov
i 2007, og opererer med læringsutbytte som den ene av fire «kriteriesøyler». De andre tre
er arbeidsmarkedsbehov, forskningsgrunnlag og måten tilbudet organiseres og utføres på.
I den siste kategorien gjenkjenner vi «constructive alignment»-momentet fra den svenske
modellen, der man vil vurdere samsvaret mellom læringsmålene og programmets «design».
Læringsutbyttesøylen skal være en undersøkelse om hvorvidt programmets læringsmål
(planlagt læringsutbytte) er i samsvar med programmets navn, den gradskvalifikasjonen det
fører til og deskriptorene i det danske kvalifikasjonsrammeverket. I modellen inngår også
vurdering av studentenes læringsresultat i form av formelle eksamensresultater (som ikke
blir etterprøvd).
NVAO – det nederlandsk/flamske kvalitetssikringsorganet – utfører akkreditering av all
høgre utdanning på programnivå. Også NVAO har modifisert sine prosesser i løpet av de
siste åra, og fastslår at «læringsutbytte er (…) kjernen i NVAOs akkrediteringssystem» (NVAO,
2010). Orientering mot læringsutbytte vurderes for hvert program på tre ulike nivåer: (1)
Planlagt læringsutbytte i et program må være i samsvar med kvalifikasjonsrammeverket og
faglige forventninger for gjeldende type program, (2) potensielt læringsutbytte vurderes ut fra
dokumenterte innsatsfaktorer, mens (3) oppnådd læringsutbytte vurderes gjennom etterprøving av eksempler på studentarbeid/eksamensbesvarelser.
I Irland har man to skarpt atskilte sektorer, der Irish Universities Quality Board (IUQB)
foretar institusjonsevalueringer av universitetene mens Higher Education and Training
Awards Council (HETAC) har ekstern kvalitetssikring for høgskolesektoren. IUQB har justert sine retningslinjer for en ny syklus med evalueringer, som starter i 2010. Kriteriene skal
følge Bologna-prosessens retningslinjer (ESG, 2007), men det gis få spesifikke referanser
til læringsutbytte annet enn at man vil vurdere om institusjonen har prosedyrer for å sikre
studentenes læringsutbytte i programmer som faller innenfor kvalifikasjonsrammeverket.
HETACs styringsdokument fastslår som et grunnleggende krav at et studieprogram må sikre at en student kan oppnå kunnskaper og ferdigheter i samsvar med kvalifikasjonsrammeverkets krav, og dette gjenspeiles også i evalueringskriteriene. Et konsultasjonsdokument
om reviderte kriterier (HETAC, 2010) gjør det enda tydeligere hvordan samsvaret mellom
«planlagt minimum læringsutbytte» og studieopplegget skal vurderes. HETAC angir likevel
5 Haakstad.indd 63
30.06.10 08.44
64
Jon Haakstad
ingen nye spesifikke prosesser i den eksterne kvalitetssikringa som følge av den nye orienteringa.
Gjeldende offisielle dokumenter fra det britiske Quality Assurance Agency (QAA) (England, Wales og Nord-Irland) som beskriver mål og prosess i organets evalueringer, reflekterer ikke spesifikt den nye orienteringa i Bologna-prosessen. Men i likhet med irske IUQB
er QAAs hovedtilnærming institusjonell (institusjons-audit), og derfor mindre tilpasset
ei læringsutbytteorientering. Læringsutbytte er jo et produkt av programmer, ikke av institusjoner. Men QAAs evalueringer har alltid vært fast forankret i skriftlige dokumenter
som inneholder definisjoner av kvalitetsstandarder på programnivået. Deres Academic
Infrastructure (QAA, 2010) inneholder Frameworks for Higher Education Qualifications, der
kvalifikasjonene er definert som kunnskaper, ferdigheter og kompetanse. QAA Skottland
deler Academic Infrastructure og institusjonstilnærminga med resten av Storbritannia. Deres evalueringshandbok unngår likevel tydelig referanse til læringsutbytte, og understreker i
stedet selve læringsprosessen. QAA Skottland regnes som et av de mest utviklingsorienterte
kvalitetssikringsorganene i Europa, og det er interessant å merke seg hvordan de legger mer
vekt på institusjonens evne til å gi studentene gode læringsmuligheter enn å vurdere utbyttet. Dette tar oss tilbake til ideen om utdanning som en veiledet transformasjonsprosess, og
det minner oss om at læringsutbytte kommer like mye an på den lærende som på læreren.
Denne summariske gjennomgangen antyder klart hvordan de europeiske kvalitetssikringsorganene er oppmerksomme på den nye situasjonen og tar skritt for å tilpasse sine
prosedyrer og kriterier, men ofte uten å endre de ytre formene på sine evalueringsformater.
Den synes også å vise at endringene i kriterier og prosesser foreløpig går lengst i de landene
der den eksterne kvalitetssikringa retter seg direkte mot programnivået.
Hva innebærer «paradigmet»? Noen refleksjoner og antakelser
En foreløpig konklusjon kan være at kvalitetssikringsprosessene neppe må endre seg radikalt som følge av det nye kvalifikasjonsrammeverket. Men en ting er å studere de tidlige tilpasningene som foretas i en del land; noe annet er å tenke over hvilke logiske – og ideelle –
konsekvenser det nye paradigmet synes å ha. Hvilke kan disse være, og hva bør det ha å si for
praksis i Norge?
Kvalitetsbegrepet
Siden man startet med systematiske evalueringer i høgre utdanning, har det med jevne mellomrom dukket opp diskusjoner om kvalitetsbegrepet, der også NOKUTs definisjon av kvalitet har vært etterlyst. Til dette kan det svares at NOKUT, som de fleste tilsvarende organer,
forholder seg til kvalitet på to måter: Den ene er ei grunnleggende oppfatning om at kvalitet
i utdanning er et komplekst og fleksibelt begrep. Det består av mange faktorer som helt legitimt (men også med klare begrensninger) kan variere fra ei utdanning til ei anna i hvordan
de forholder seg til hverandre og vektes, avhengig av studiets mål og egenart. NOKUT legger
til grunn en oversikt over viktige kvalitetsfaktorer som ble utarbeidet av Norgesnettrådet i
1999 (Norgesnettrådet, 1999), og som i sin tur bygger på Studiekvalitetsutvalgets innstilling (1990) og internasjonalt anerkjent litteratur på området (f.eks. Stensaker, 1998; Harvey
5 Haakstad.indd 64
30.06.10 08.44
Nytt paradigme – også for kvalitetssikring?
65
og Green, op. cit.). For det andre forholder NOKUT seg («reduksjonistisk») til kvalitetsbegrepet gjennom vedtatte akkrediteringsstandarder som setter noen (minste)krav til planer, ressurser og gjennomføring for at studier eller institusjoner skal kunne godkjennes. Men også
akkrediteringsstandardene er i all hovedsak generelle, og derfor til en viss grad tolkbare.
Som man ser er det bevisst lagt opp til en kvalitetsforståelse som gir rom for faglig skjønn,
utøvet av eksterne sakkyndige komiteer.
I praksis er ikke dette helt uproblematisk. Forventninger om lik og rettferdig behandling
kan støte an mot hvordan bedømmelsene i praksis faller ut innenfor tolkningsrommet. Likevel er det knapt noen som har etterlyst ei stiv og entydig kvalitetsfortolkning, uten rom
for det faglige skjønnet. Også i akkrediteringer, men særlig i alle andre sammenhenger,
der vurderingene strekker seg ut over minstekravene og sikter mot videreutvikling, kan
ei orientering mot læringsutbytte gjøre det greiere å forstå og anvende kvalitetsbegrepets
fleksible natur: Når kvaliteten mer eksplisitt settes lik den læringa som (kan/bør) oppnås
i studietilbudet, underordnes de enkelte kvalitetsfaktorene den antatte effekten de har på
læringsresultatet. Selv om disse faktorene alltid vil være mer eller mindre de samme, og
de samme som tidligere, må hvert studietilbud så å si ha «sitt eget kvalitetsbegrep», avhengig av hvordan faktorene spiller sammen mot de konkrete læringsmålene i nettopp dette
studietilbudet. Dette samsvarer godt med det kvalitetsansvaret som institusjonen har for
studietilbudene sine.
Kriterier og prosesser
Ekstern kvalitetssikring skal skje i forhold til definerte standarder og kriterier (ESG, pkt.
2.3). Videre skal det være en sammenheng mellom den eksterne og den interne kvalitetssikringa (ESG, pkt. 2.1). I stor grad har slike kriterier hittil tatt utgangspunkt i innsatsfaktorene. Nasjonale kvalitetssikringsorganer – også NOKUT her i Norge – må derfor nå gå gjennom sine referansegrunnlag på ny for å forsikre seg om at de forholder seg til kravene om
læringsutbytte. I den grad det er mulig, skal kriterier for innsatsfaktorer i taksonomisk forstand være underordnet kriterier som bedømmer programmenes læringseffektivitet. På
programnivået må institusjonene kunne vurdere hvordan studentenes oppnåelse av læringsmålene blir planlagt, tilrettelagt for, oppnådd/evaluert og fulgt videre opp, slik at kvalifikasjonsrammeverkets krav imøtekommes. Helt spesifikt må det vurderes hvordan de generelle (overførbare) ferdighets- og kompetansemålene – som er så sentrale i rammeverktenkinga – virkelig øves og prøves i programmene, eller om de bare refereres symbolsk i
kursbeskrivelsene og ellers tas for gitt. På nasjonalt nivå må kriterier for det interne kvalitetsarbeidet og de eksterne evalueringene vektlegge dette.
Det ville ikke være unaturlig om modifiserte mål og kriterier også ga støtet til endrede
prosesser. For NOKUT er den aktuelle nyorienteringa en god anledning til å tenke gjennom sitt repertoar av framgangsmåter. For evalueringer på programnivået bør man nå
spørre seg om det er realistisk å flytte selve orienterings- og utgangspunktet for prosessene til sluttpunktet i læringsprosessen – studentenes læringsresultat – uttrykt ikke bare
ved formelle sluttkarakterer, men også ved «dypere» vurderinger og dokumentasjoner som
kan frambringes om dette. Derfra kan det tenkes at man arbeider «baklengs» for å finne
5 Haakstad.indd 65
30.06.10 08.44
66
Jon Haakstad
sammenhenger – gjennom læringsprosessene som opplevd av de deltakende, til læringsprogrammet som «design», via rammeforutsetninger i form av kompetanseforhold, undervisningsvolum og infrastruktur etc. og over til startforutsetninger som inntakskvalitet og
rekruttering – i stedet for det som ofte skjer, at man arbeider i motsatt retning. Hvis den
eksterne evalueringa ikke er rettet mot programnivået, men mot hele institusjonen, blir
objektet for bedømmelsene, og dermed perspektivet, et annet, men uten at kriterier og prosesser nødvendigvis må bli prinsipielt forskjellige. Kriterier og prosesser vil da sikte mot å
sikre at institusjonens eget kvalitetsarbeid utfører de nevnte oppgavene i forhold til hvert
enkelt program og kan dokumentere dette på en transparent måte. Også i dette tilfellet må
man tenke seg at evalueringene tar utgangspunkt i (aggregert) resultatdokumentasjon med
utgangspunkt i bedømmelser av læringsutbytte. På grunnlag av indikasjoner i dokumentasjonen og/eller ved stikkprøver, vil en evaluering arbeide «investigerende» innover i det
samlede dokumentasjonsmaterialet til enkeltstående studietilbud og innsatsfaktorer som
påvirker resultatet i dem.
Det springende punkt i ei slik eventuell nyorientering er muligheten for å skaffe god informasjon og gode vurderinger om faktisk læringsutbytte. Det kan vise seg å bli krevende
nok. Det hele står og faller på i hvilken grad paradigmeskiftet tas på alvor i fagmiljøer og
faglig ledelse i institusjonene. Siden læringsutbytte er noe som inntreffer i det enkelte studieprogram, må det være basisinformasjon fra tilbudene som er byggesteinene i den dokumentasjonen som kvalitetsvurderingene skal hvile på. Vi snakker altså om en informasjonskjede som vil bryte sammen i den grad det svikter på grunnivået. Som kriteriesetter og
prosessutformer kan NOKUT i stor grad påvirke denne utviklinga, men det vil neppe være
klokt å reformere hele evalueringssystemet før man har noenlunde forvissning om at det
kan bygge på et relevant informasjonsgrunnlag.
Direkte – indirekte; innsats – resultat
Kvalitetsbedømmelser av utdanning har hittil i hovedsak bygd på indirekte metoder, og fokus på læringsutbytte vil neppe endre helt på dette. Det motsatte – dvs. direkte metoder – vil
innebære enten at man ganske enkelt stoler på de formelle resultatene (karakterene) som
uttrykk for læringsutbytte eller at man «tar prøver» av studentenes eksamensarbeider gjennom et omfattende opplegg med nasjonale ekspertkommisjoner. Vi har jo sett hvordan man
i Danmark bruker sluttkarakterene direkte, mens man i Sverige og Nederland vil arrangere
nyvurderinger av eksamensarbeider. Men vi ser også at det samlede opplegget ikke tillates å
hvile på slike direkte metoder alene. Det ville gi svært unyanserte uttrykk for kvaliteten. Å
stole på de karakterene som gis i kursene er problematisk i lys av det man vet om ulikheter i
bedømmelsespraksis og karaktersetting, og man måtte uansett gjeninnføre ordninga med
fast bruk av eksterne sensorer (slik det fortsatt er i Danmark) for å øke troverdigheten. Alternativet – «re-sensur» av studentenes arbeider – forutsetter et stort og kostbart apparat, signaliserer mistillit på en uheldig måte og kan lide under at de vurderte studentarbeidene ikke
alltid er tilstrekkelig dekkende for å belyse oppnåelse av alle relevante kunnskaps- og ferdighetsmål.
Det viktigste argumentet mot å stole på direkte metoder alene, er likevel at en slik fram-
5 Haakstad.indd 66
30.06.10 08.44
Nytt paradigme – også for kvalitetssikring? 67
gangsmåte har lite å gjøre med det vi vanligvis forstår med evaluering og kvalitetssikring.
Eller mer presist: Hvis ordninga er omfattende nok, kan den bety kvalitetssikring i snever
forstand, men den vil ikke øke forståelsen av hva som er sterke og svake punkter i læringsprosessen. Derfor vil den heller ikke gi bidrag til den andre sida av kvalitetsarbeidet – videreutvikling av kvaliteten. Så man bør ikke slippe innsatsfaktorene av syne. Man går jo ut fra at
det er innsatsfaktorene som skaper den læringa man sikter mot, og det er i innsatsfaktorene
at man må foreta justeringer for å øke læringsutbyttet eller korrigere svakheter som hindrer
god læring. Med liten eller ingen kunnskap om hvordan innsatsfaktorene virker, vil man
famle i mørket når man ser etter måter å forbedre kvaliteten på.
Likevel: Om nyorienteringa mot læringsutbytte skal tas på alvor, representerer det «direkte» elementet med bedømmelse av læringsresultatene ei utfordring. Flere har begynt å
beskjeftige seg med dette problemet – blant annet ved Lunds universitet i Sverige, der man
siden de tidlige 1990-åra har tradisjon for å ligge langt framme når det gjelder kvalitetsarbeid på institusjonsnivået. I en rapport fra Karl-Axel Nilsson ved universitetets Utvärderingsavdeling, Direct Quality Assurance (Nilsson, 2010), skisseres et opplegg der vurdering
av studentenes arbeid står sentralt. Her opererer man nettopp med et skille mellom «kvalitetssikring» og «evaluering», der kvalitetssikringsdelen i hovedsak dreier seg om å bedømme studentenes oppnåelse av læringsmål mens evalueringsdelen (hovedsakelig) bedømmer
institusjonens innsats og tilrettelegging.
Innsatsfaktorenes relative viktighet: Mer fokusert kvalitetsarbeid?
Om innsatsfaktorene ikke forsvinner fra oppmerksomheten, bør man være åpen for forskyvninger i deres relative betydning. Vi vil kunne få et noe endret hierarki av momenter som
teller med i kvalitetsarbeidet. En faktor som nå kan bli viktigere, er formater og metoder for
studentvurdering. For at studentenes formelle resultater i form av sluttkarakterer skal ha så
høg troverdighet som mulig, og for at studentenes arbeid ikke bare skal være rettet mot godt
formelt resultat (instrumentell læring), men også mot det tilsiktede læringsutbyttet som kvalifikasjon («forstående» læring), blir studiets vurderingsformer en vesentlig innsatsfaktor.
Ja, i så høg grad at de ikke bare er en selvfølgelig del av studieplanen, men mer eksplisitt
også en viktig del av kvalitetssikringsprosessene.
Men også studieplanen, i sin helhet, bør vies økt oppmerksomhet. Studieplanen er beskrivelsen av hvordan institusjonen tenker seg at læringsprosessen skal forløpe. Ved utarbeiding av planen må fagmiljøet tenke gjennom hvordan programmet best innrettes mot
de definerte læringsmålene, hvordan disse målene samsvarer med den aktuelle kvalifikasjonsrammen (gradsnivå), hvordan programmet må henge sammen tematisk og sekvensielt
(progresjon) og hvordan lærestoff, undervisning, arbeidsmåter, veiledning og infrastruktur
kan bygge opp til at studentene oppnår de ønskede læringsresultatene. Kvalitetsarbeidet må
ha sammenheng med disse vurderingene. Det bør være innrettet slik at det kontinuerlig
registrerer og vurderer, i lys av erfaringer, hvordan programmet totalt sett fungerer i forhold til målene og hvordan de enkelte innsatsfaktorene virker positivt eller negativt i dette
bildet. Fokus på læringsutbytte, om det skal tas på alvor, forutsetter et tilsvarende fokus på
didaktiske forhold og prosesser, også i kvalitetsarbeidet. Det kan på den annen side bety at
5 Haakstad.indd 67
30.06.10 08.44
68
Jon Haakstad
«ytre» faktorer som formell kompetanse og infrastruktur, som tradisjonelt har vært sentrale
peilepunkter i evalueringer, mer kan få en funksjon som minimumsforutsetninger eller
sekundære forklaringselementer.
«Den ideale fordring» går imidlertid enda lenger: Hvis vurdering av kvalitet skal arbeide
i forhold til læringsutbytte, forutsetter dette en forståelse av hvordan læring faktisk skjer og
innsyn i selve prosessen der planen materialiserer seg i faktiske handlinger. Kan dette føre
til at det blir gjort mer bevisste forsøk på å trenge inn i «den svarte boksen» av organiserte
læringssituasjoner? I de fleste institusjonenes kvalitetssikringssystemer synes det i dag å
være slik at systematisk informasjon fra innsida av læringsprosessene hovedsakelig kommer
fra studentenes evalueringer, mens lærernes vurderinger – som helt sikkert finnes – enten
er svakt formulert som respons på studentenes vurderinger eller ikke gis noe forpliktende
uttrykk i det hele tatt. Hvis lærernes vurderinger kun lever i fagmiljøene som uformell,
anekdotisk og til dels «taus» kunnskap, har man et svakt utgangspunkt for målrettet utviklingsarbeid. En tilnærmingsmåte som arbeider langs aksen læringsmål – læringsutbytte
– prosessdesign er i sin natur didaktisk og må involvere fagmiljøet mer enn noen andre. Dette
tar ikke vekk institusjonenes ansvar for overordnet kvalitetsstyring, og det reduserer heller
ikke den nytten som studentenes emne- og programevalueringer har. Men det vil fylle et
gap som man hittil ofte har registrert i institusjonenes kvalitetsarbeid. Ei didaktisering av
kvalitetssikringsarbeidet vil bidra til å fagliggjøre det i sterkere grad, og dermed til at de
utførende fagmiljøene får større ansvar og eierskap. Spørsmålet er selvfølgelig hvor realistisk dette er. Kvalitetssikringa må da operere på et meget detaljert nivå og forholde seg til
begreper og fenomener som er vanskelige å bedømme og sammenligne i nøyaktige termer.
Og hvor beredt er fagmiljøene til å prioritere slikt arbeid?
Om dette er ei utfordring, betyr det samtidig at kvalitetsarbeidet ved å sette fokus her kan
bli mer økonomisk og konsentrert, idet man gir avkall på å se på «alle» ytre omstendigheter
og infrastrukturelle forhold som like viktige. Kvalitetssikring kan bli en slankere og mindre
byråkratisk aktivitet. Til gjengjeld kan den bli mer diskursiv og analyserende, i samsvar med
læringsutbyttets kvalitative natur, mens den samtidig gir avkall på de mest ambisiøse forestillinger om å gjøre eksakte, «målte» bedømmelser. Hvis dette ikke skjer, kan evaluering
basert på læringsutbytte lett forfalle til en reduksjonistisk – kanskje til og med symbolsk –
måte å «telle kvalitet» på.
Konsekvenser på systemnivået
På systemnivået må forholdet mellom institusjons- og programrettede tiltak så vel som mellom intern og ekstern kvalitetssikring gjennomtenkes. Hvis den nye orienteringa ikke bare
skal bety en tøffere bruk av resultatinformasjon, men også bære med seg ambisjoner om
innsikt i hvordan elementene i et gitt studieprogram påvirker resultatene, må hovedvekta i
kvalitetssikringsarbeidet ligge på programnivået. Betyr det at den eksterne kvalitetssikringa
i Norge etter hvert må bli av programtypen, slik vi ser at det nå vil skje i Sverige? Det er én
mulighet. Men som alltid er dette også et spørsmål om tillit versus kontroll, og om kostnyttevurderinger. Synes man det er grunn til å ha rimelig generell tillit til kvalitet og kvalitetsarbeid i norsk høgre utdanning, eller må kontrollelementet fra samfunnets side skjerpes?
5 Haakstad.indd 68
30.06.10 08.44
Nytt paradigme – også for kvalitetssikring? 69
Obligatoriske, gjentatte eksterne evalueringer – kanskje som akkrediteringer – av alle studieprogram ville innebære en slik skjerpet kontroll, og er vanlige i noen land. Men like viktig er spørsmålet om et slikt evalueringsregime vil være for kostnadskrevende og byrdefullt
i forhold til forventet «gevinst». Oppnår man en grad og et omfang av kvalitetsforbedring
som står i forhold til innsatsen ved å gå over til programevalueringer?
Spørsmålet skal ikke besvares her. Vi kan nøye oss med å peke på at eksterne programevalueringer ikke er den eneste muligheten, og at systemer med evalueringer innrettet mot
institusjonsnivået er fullt ut forenlige med et mer nærgående fokus på programnivået. For
det er også mulig å se det etterlyste skiftet av tyngdepunkt som en forskyvning mellom
ekstern og intern kvalitetssikring, med økt vekt på den interne. (At dette i sin tur kan få
konsekvenser for kriterier og prosesser ved den eksterne institusjonsevalueringa, er en annen sak.) Fordelen med denne framgangsmåten er at hovedtrykket legges på den delen av
kvalitetsarbeidet som står «nærmest kvaliteten», og som derfor kan være mer informert,
forstående og motivert. Institusjonen må da legge til rette for et desentralisert engasjement
i kvalitetssikringssystemets prosesser og involvere de vitenskapelig ansatte som hovedaktører. Den «norske modellen» er egentlig innrettet mot et slik internt ansvarstyngdepunkt,
men den forutsetter også at institusjonene har robuste og «lesbare» systemer for dokumentasjon, oppfølging og styring av kvaliteten i utdanningene.
Et nyttig skifte?
Som så mange andre systemendringer innenfor høgre utdanning, kommer også den nye
læringsutbytteorienteringa fra Europa som en del av Bologna-prosessen. Det stilles ofte
spørsmål om hvor nyttige disse reformene er i den norske konteksten, men de er uansett
vedtatt og forplikter også norske institusjoner. Begrunnelsen for å innføre et europeisk kvalifikasjonsrammeverk er todelt: Den ene er å skape et felleseuropeisk «område» for høgre
utdanning som er karakterisert ved høg og forutsigbar kvalitet, slik at man kan møte konkurransen i et globalt utdanningsmarked. Den andre er visjonen om fri utveksling av kvalifikasjoner over de europeiske landegrensene: En gitt gradseksamen, med en gitt karakter,
skal være en forstått og akseptert kvalifikasjon i et hvilket som helst europeisk land.
Det er gode grunner til å tvile på hvor effektivt det europeiske kvalifikasjonsrammeverket
vil vise seg å være som et middel for å realisere de nevnte visjonene. Rammeverket er vagt og
generelt i sine formuleringer, og åpner for at den felles gradsstrukturen – selv om den blir
universelt innført – ennå lenge vil skjule betydelige ulikheter, ofte basert på nasjonal kultur
og tradisjon. Mange vil hevde at slik må det også være hvis mangfold og lokale hensyn skal
tilgodeses. Kanskje er det større grunn til å se optimistisk på hva vi må kalle en sideeffekt:
Den anledninga til nyorientering i kvalitetsarbeidet som reformen gir. Ikke så mye fordi
rammeverket i seg selv kan sikre bedre kvalitet, relevans og nivå, men fordi den fokusendringa det innebærer kan føre til en annen og mer målbevisst måte å arbeide med kvaliteten
på. Over hele Europa er fagfolk nå i sving med å utvikle og realisere nye studieplaner som er
basert på de nasjonale kvalifikasjonsrammeverkene. De må se på sine studietilbud med nye
øyne. Det er ei utfordring for kvalitetssikringsarbeidet – institusjonelt og nasjonalt – å følge
etter i samme spor, med samme fokus og tilpassede metoder.
5 Haakstad.indd 69
30.06.10 08.44
70
Jon Haakstad
Referanser
Biggs, John B. og Tang, Catherine (2007): Teaching for Quality Learning at University, McGraw-Hill and Open
University Press, Maidenhead.
European Association for Quality Assurance in Higher Education (ENQA): Standards and Guidelines for Quality Assurance in the European Higher education Area (ESG) (3. utgave, 2009).
European Consortium for Accreditation (ECA) (2009): Position Paper on the BFUG ‘Bologna Beyond 2010’
Report.
Harvey, Lee (2004-9): Analytic Quality Glossary, Quality Research International.
Harvey, Lee and Green, Diana (1993) Defining Quality Assessment & Evaluation in Higher Education, 1469297X, Volume 18, Issue 1, 9–34
Higher Education and Training Awards Council (HETAC) (2010): Core Validation Policy and Criteria; Consultation Draft.
Högskoleverket (2009): Rapport 2009:25 R.
Nilsson, Karl-Axel (2010): Direct Quality Assurance, Utvärdering, Rapport nr. 2010: 257, Lunds universitet.
Norgesnettrådet (1999): «Basert på det fremste …?».
OECD (2009): Roadmap for the OECD Assessment of Higher Education Learning Outcomes Feasibility Study, (2.
versjon, 11. juni 2009, ss. 6–7).
Stensaker, Bjørn (1998): Evaluering av studie- og læringsmiljø, Oslo, Cappelen Forlag.
Studiekvalitetsutvalget (1990): Innstilling avgitt til Utdannings- og forskningsdepartementet, Oslo, 1990.
www.nvao.net/Initial Accreditation.nl
www.qaa.ac.uk
Note
1
Akkrediteringer utføres av ACE Danmark (i universiteter) og Danmarks Evalueringsinstitut (EVA) i høgskoler. De følger samme lov, men har litt forskjellige evalueringskriterier.
Artikkel mottatt 26.3.10, akseptert 15.6.10
5 Haakstad.indd 70
30.06.10 08.44