Transcript Rombach- Sahlin

Smf av Elisabeth Olofsson
Rombach, Björn och Sahlin-Andersson, Kerstin (red):
Från sanningssökande till styrmedel.
Moderna utvärderingar i offentlig sektor.
(Santéus förlag, Stockholm 2003)
Kap 1: På tal om utvärdering av Rombach och Sahlin-Andersson
Berör saker som perspektiv och makt – och förtroende. Utvärdering är ett modeord släkt med
forskning. Den formas av beställarens intentioner. ”Utvärderingsdialogen innefattar en
maktrelation. (…) I utvärderingstanken ligger ett misstroende. (…) Trots detta kräver
utvärderingar förtroende. De utvärderade måste ha förtroende för dem som skall utvärdera.”
(s. 12-13)
Berättar också om fyra generationer av utvärderingar. Den första generationens
utvärderingar var enkelriktade, avgränsade och mätningsorienterade. De växte fram i början
av seklet tillsammans med samhällsvetenskapen och kulminerade i USA på 20- och 30-talen.
Idag skulle många inte kalla dem för utvärderingar, eftersom de saknade en förklarande
ambition. Den andra generationens utvärderingar hade mer omfattande ambitioner än den
första. Nu ville man mäta en slag måluppfyllelse i syfte att förbättra metoder och verksamhet.
Då utvecklas den optimistiska bedömningsorienterade generationen i nära släktskap med
social ingenjörskonst med början under 1960-talet. Från och med den tredje generationen
utförs utvärderingar som en oberoende granskning, gärna av forskare som alltmer börjar
redovisa sina och andras perspektiv och intressen i saken. Fortfarande hade man vanligen ett
ovanifrånperspektiv på saken. Den fjärde generationen blir säkert inte den sista, men här blir
utvärderingar mer komplexa och förs i dialog med verksamheten. De kallas bland annat
processutvärderingar, intressentutvärderingar och teoribaserade utvärderingar.
Kap 2: Utvärdering och de sex användningarna av Evert Vedung
Behandlar problemet med utvärderingars användning. Denna användning är komplicerad,
bland annat för att den kan se olika ut för olika användare men också över tid. Utvärdering
definieras som en efterbedömning och kan handla om både process och resultat. Vedung
börjar med att beskriva ingenjörsmodellen (som förutsätter instrumentell användning av
experimentella resultat) och hur orealistisk och numera ovanlig den är. Därefter talas om olika
sorters användningar, nämligen instrumentell, upplysande, legitimerande, interaktiv, taktisk
samt rituell användning. De fyra första handlar om hur man använder utvärderingens resultat
– till vad och/eller i vilket syfte. De två sista handlar snarare om utvärderingen som process.
Resultaten är egentligen ointressanta.
Slutligen talas också om att avnämare utnyttjar såväl process som resultat, om individuellt
och kollektivt, direkt och indirekt utnyttjande samt att avnämarna ofta är och kan vara fler och
andra än beställarna.
Min kommentar: Som lärare har jag använt själva utvärderingsprocessen på fler sätt. Till
exempel för att öka lärandet och självreflektionen hos eleverna.
Smf av Elisabeth Olofsson
Kap 3: Utvärdering och inlärning av Nils Brunsson
”Utvärderingar motiveras ofta med att de ska leda till att vi lär oss av våra misstag.”
(s.53)Frågan som behandlas här är: Gör vi det? (Eller rättare: Gör beslutsfattarana i en
organisation det?) Författarens svar är att vi/de i och för sig kan lära sig en hel del om
verksamheten i sig, men att det inte särskilt ofta leder till ett erkännande av misslyckanden
och/eller en vilja att förändra. De inlärningshinder som tas upp är begränsningar i tillgång på
information (om handlingar och deras resultat), alternativ inlärning (dvs att lära sig annat än
att man har fel) samt inlärning av orsaker.
Min kommentar: Jag tycker inte att kapitlets innehåll motsvarar rubriken. Inlärning i
utvärderingssammanhang kan rimligen vara så mycket mer än att lära sig inse sina misstag. I
denna tappning blir all sådan alternativ inlärning ett misslyckande i sig.
Kap 4: Utvärderingens styrsignaler av Kerstin Sahlin-Andersson
Behandlar problemet att utvärderingsanordnarnas utbud av styrsignaler och förändringsförslag
inte alltid möts av en motsvarande efterfrågan hos de utvärderade. Hur ska då utvärdering
kunna styra och förändra lokal verksamhet? Jo, genom att påverka efterfrågan – eftersom
styrning kan ske endast då utvärderingen svarar på den lokala verksamhetens problem. I
kapitlet berättar författaren om den nationella utvärderingen av grundskolan 1991/-92 och om
en studie av denna utvärdering.
Min kommentar: Utan att säga det rakt ut tycker jag att författaren låter läsaren ana att de
utvärderade bör låta sig styras – eller åtminstone att förändring och utveckling är av godo. I de
förändrade styrrelationerna i skolvärlden ligger att ansvaret decentraliserats (72ff), men det
verkar inte som om den lokala verksamheten får befogenhet att välja väg till målet.
Kap 5: Utvärderingsmakt av Sten Petterson och Erik Wallin
Diskuterar utvärdering som en form av maktutövning. Ger en intressant historik över
utvärderingar i skolan, talar om olika typer av styrmedel samt diskuterar dess konsekvenser.
Konstaterar att staten har lämnat irån sig mycket av makten i den avreglerade skolan, men
också att den har – och ska ha – en diskursiv makt. Avslutar med hur denna kan se ut.
Min kommentar: Det här var mycket intressant att läsa för mig som lärare, särskilt som en
fortsättning på kapitel fyra. Frågan är om vi här närmar oss ett tänkbart svar på frågan varför
utvärderingar i skolan alltför ofta upprör och irriterar de verksamma istället för att bidra till
reflektion, utveckling och mer kunskap?!!
Kap 6: Att höra ett fallande äpple – utvärdering och påverkan av Lars Engwall
Diskuterar vad som krävs för att utvärderingar ska leda till förändringar. Slutsatsen blir att de
ska genomföras i dialogform, av utvärderare som de utvärderade känner förtroende för samt
med tillämpning av ett strukturellt perspektiv (ist. F. Ett aktörsperspektiv). Exempel ges från
utvärdering av högre utbildning och forskning. Utgångspunkten är att utvärderingar SKA leda
till förändringar, att verksamheten ska påverkas.
Smf av Elisabeth Olofsson
Min kommentar: Måste påverkan och förändring alltid vara samma sak? Det är min ena
invändning. Den andra handlar om att just förändring i detta vårt samhälle blivit mer eller
mindre lag – förändringen i sig glorifieras och blir ibland ett mål i sig, tycker jag. All
förändring syns ju dessutom inte på utsidan (jmf upplysande/konceptuell användning).
Kap 7: Bland änglar och demoner – om utvärderarroller av Rolf A. Lundin och Anders
Söderholm
Behandlar framför allt vilka roller utvärderaren kan tilldelas av den utvärderade, med exempel
från ett förnyelsearbete inom sjukvården. Detta sker främst inom den fjärde generationens mer
komplexa utvärderingar. Läs om olika utvärderarroller (s. 142) och om rollförändringar under
tiden.
Kap 8: Utvärdering och legitimitet av Elisabeth Sundin
Här fokuseras användningen av utvärdering i legitimerande syfte, utifrån forskning efter
jämställdhetsprojektet KOM (Kvinnor Och Män i samverkan)). Ett flertal gånger återkommer
i framställningen följande punkter:
Det som är legitimt betraktas som giltigt.
Den tilldelade legitimiteten är mer flyktig än förr.
Behovet av legitimitet varierar mellan olika beslut.
Ett löfte om utvärdering gör att ett beslut framstår som mindre definitivt. (Ett sätt att
förekomma kritik, helt enkelt!)
Olika utvärderare har olika legitimitet.
Min kommentar: Vem bestämmer vad som är legitimt och inte? Här är det väldigt mycket
ledningsperspektiv.
Kap 9: Utvärdering som moderna ritualer av Annika Rabo
Om förbindelsen mellan utveckling och utvärdering. Här kommer några citat:
”Utveckling har kommit att konkret betyda det goda och det bra.” (s. 174) ”Den globala
moderna världsordningen…vilar idag på den övergripande myten om utveckling som
historiens mål och mening. (…) Den som vägrar att tro är en moraliskt förkastlig person, en
som inte vill att lycka och godhet sprids till alla. (…) [Myten] uttrycks och visas upp genom
en mängd rituella aktiviteter. Planering är en viktig ritual och utvärdering en annan.” (s. 178)
Utvärderingar är ”instrument för att skapa och bekräfta kollektiv identitet”. (s. 179) De
”fördelar skuld istället för ansvar, de fragmentariserar våra arbetslivserfarenheter istället för
att ge upphov till helhetsvisioner”. (s. 190)
Min kommentar: Befriande!
Kap 10: Utvärderandets baksida av Björn Rombach
Konstaterar att bilden av utvärderingsverksamhet är mycket positiv. Den kritik som
förekommer riktar sig mot sättet att utvärdera eller sättet att använda utvärderingar, inte mot
Smf av Elisabeth Olofsson
fenomenet i sig. Trots att den högintressanta frågan ställs (Kan utvärdering som görs med de
bästa syften och på det bästa sätt vara av ondo?) talar författaren inte mer om detta. Istället
diskuteras de fyra större hinder som finns för att politisk uppföljning ska ske: Den nya
strukturen, den försämrade ekonomin, stora utvärderingar samt strävan efter helhet och
exakthet. Exemplen hämtas från en kommun.
Min kommentar: Kunde blivit intressant om författaren diskuterat vad rubriken utlovar.
Tyvärr inte mer än tangerar han det.
Kap 11: Utvärdering i sitt sammanhang av Rombach och Sahlin-Andersson
Sammanfattar bokens lärdomar (s. 210-211) och ställer några frågor som inställer sig (s. 212214). Diskuterar jakten på trygghet och på problem att lösa.
Min kommentar: Särskilt det sistnämnda är intressant.