Transcript 1_PPP_Was ist Evaluation_WS 14-15 - Master

Übung “Evaluationstheorie”:
1. Was ist Evaluation?
Sandra Bäthge, M.A.
Universität des Saarlandes
&
Stefanie Kihm, M.A.
HTW des Saarlandes
November 2014
Der Begriff „Evaluation“
alltäglicher
Sprachgebrauch
KROMREY (2001)
wissenschaftlicher
Sprachgebrauch
 Irgend etwas wird
 Programme, Maßnahmen,
 von irgend
 durch Personen, die zur
 in irgendeiner Weise
 in einem objektivierten
 nach irgendwelchen
 nach explizit auf den
jemandem
Kriterien bewertet.
November 2014
Organisationen etc. werden
Bewertung besonders
befähigt sind
Verfahren
Sachverhalt bezogenen und
begründeten Kriterien
bewertet.
Sandra Bäthge & Stefanie Kihm
2
Kennzeichen wiss. Evaluation
 Evaluation dient als Planungs- und
Entscheidungshilfe,
 ist ziel- und zweckorientiert (primäres Ziel ist die
Überprüfung, Verbesserung bzw. Entscheidung
über Sachverhalte) und
 sollte dem aktuellen Stand wissenschaftlicher
Techniken und Forschungsmethoden angepasst
sein.
vgl. WOTTAWA & THIERAU (2003)
November 2014
Sandra Bäthge & Stefanie Kihm
3
Populäre Definitionen
„Evaluation is the systematic investigation of the merit
or worth of an object (program) for the purpose of
reducing uncertainty in decision making.“
MERTENS (1998)
Evaluationsforschung … „als systematische Anwendung
sozialwissenschaftlicher Forschungsmethoden zur
Beurteilung der Konzeption, Ausgestaltung, Umsetzung
und des Nutzens sozialer Interventionsprogramme.
Evaluationsforschung bezeichnet den gezielten Einsatz
sozialwissenschaftlicher Forschungsmethoden zur
Verbesserung der Planung und laufenden Überwachung
sowie zur Bestimmung der Effektivität und Effizienz von
(...) sozialen Interventionsmaßnahmen.“
ROSSI/FREEMAN (1988)
November 2014
Sandra Bäthge & Stefanie Kihm
4
Eine weitere ausführliche Definition
„Wissenschaftliche Dienstleistung, die namentlich
öffentlich verantwortete oder finanzierte
‚Gegenstände‘ (Politiken, Programme, Projekte,
Massnahmen …) in verschiedensten Themenfeldern
systematisch, transparent und datengestützt
beschreibt und ausgewogen bewertet, so dass
Beteiligte & Betroffene (Auftraggebende und andere
Stakeholder) die erzeugten Evaluationsergebnisse für
vorgesehene Zwecke wie Rechenschaftslegung,
Entscheidungsfindung oder Optimierung nutzen.“
BEYWL/WIDMER (2009)
November 2014
Sandra Bäthge & Stefanie Kihm
5
Typen & Problemstellungen von Eval.
Evaluationen lassen sich anhand verschiedener
Gestaltungsdimensionen klassifizieren, u.a.:
 Gegenstand der Evaluation
 Ziele der Evaluation
 Zeitpunkt, an dem eine Evaluation ansetzt
 Instanzen, die die Evaluation durchführen
 Evaluationsmodell
 Bewertungskriterien
November 2014
Sandra Bäthge & Stefanie Kihm
6
Evaluationsgegenstand:
Wer/was (genau) wird evaluiert?
Mögliche Teilaspekte eines Programms:
 Art, Ausmaß und Verteilung des sozialen
Problems auf das ein Programm abzielt
 Programmziele und deren Angemessenheit
 Programmimplementation
 Programmwirkungen
 Programmeffizienz
November 2014
Sandra Bäthge & Stefanie Kihm
7
Evaluationsziele:
Warum wird evaluiert?
Evaluation dient zu / zur …

Kontrollzwecken
(evaluation for accountability)
 Verbreiterung der Wissensbasis
(evaluation for knowledge)

Entwicklungszwecken
(evaluation for development)
vgl. KROMREY (2001): 113f., CHELIMSKY (1997): 9ff.
November 2014
Sandra Bäthge & Stefanie Kihm
8
Zeitpunkt der Evaluation:
Wann wird evaluiert?
Dimensionen der Evaluationsforschung
ex-ante
on-going
Planung
Durchführung
preformativ/
formativ
formativ/
summativ
ex-post
Wirkungsphase
summativ
 aktiv gestaltend
 zusammenfassend
 prozessorientiert
 bilanzierend
 zukunftsorientiert/
 ergebnis- und
 “analysis for policy”
 “analysis of policy”
konstruktiv
wirkungsorientiert
“science for action”
“science for knowledge”
Quelle: In Anlehnung an STOCKMANN (2007): S. 34
November 2014
Sandra Bäthge & Stefanie Kihm
9
Formative & summative Evaluation
„When the cook tastes the soup, that‘s
formative evaluation, when the guest
tastes it, that‘s summative evaluation.“
(Robert E. Stake)
November 2014
Sandra Bäthge & Stefanie Kihm
10
Evaluationsinstanz:
Wo ist die Evaluation angesiedelt?
Dimension/
Verortung
Ort der
Steuerung
einer
Evaluation
Ort der
Durchführung
einer
Evaluation
Ort der
Nutzung
einer
Evaluation
Innerhalb der
Institution/
des Projektes
Selbstevaluation
Interne
Evaluation
Formative
Evaluation
Außerhalb der
Institution/
des Projektes
Fremdevaluation
Externe
Evaluation
Summative
Evaluation
Quelle: WIDMER (2004): S. 85
November 2014
Sandra Bäthge & Stefanie Kihm
11
Interne und externe Evaluation
Intern
Von der gleichen Organisation
vorgenommen, die auch das
Programm durchführt;
Sonderfall: Selbstevaluation
Vorteile:
 rasch, geringer Aufwand
 hohe Sachkenntnis
 unmittelbare Umsetzung
Nachteile:
 geringe Methodenkompetenz
 fehlende Unabhängigkeit
und Distanz
 „Betriebsblindheit“
Extern
Von Personen durchgeführt, die
nicht dem Mittelgeber oder der
Durchführungsorganisation
angehören, z.B. externe Gutachter
Vorteile:
 hohe Unabhängigkeit
 große Methodenkompetenz
 unterstützen Reformkräfte
 große Glaubwürdigkeit
Nachteile:
 geringe Sachkenntnis
 Abwehrreaktionen
 Umsetzungsprobleme
Quelle: STOCKMANN (2007): S. 61
November 2014
Sandra Bäthge & Stefanie Kihm
12
Zu Evaluationsmodell:
Wie wird evaluiert?
Evaluationsmodelle (oder Evaluationsansätze) stellen
weitgehend ausformulierte Vorschläge zur praktischen
Strukturierung von Evaluationsvorhaben dar.
Sie bieten einen Orientierungsrahmen für das Auffinden
der Hauptfragestellungen einer Evaluation, beschreiben
mögliche und notwendige Arbeitsschritte und deren
Abfolge, die dabei zu verwendenden Instrumente,
angestrebte Arten von Ergebnissen und deren Nutzung
usw.
(vgl. BEYWL 1988)
Unterschiedliche Klassifikationsversuche:
z.B. SHADISH et al. (1991); STUFFLEBEAM et al. (2000);
FITZPATRICK et al. (2004); ALKIN (2004); BEYWL et al. (2004)
November 2014
Sandra Bäthge & Stefanie Kihm
13
Bewertungskriterien
 Richten sich nicht nach vorgegebenen Normen oder
Parametern
 Orientieren sich jedoch oft am Nutzen
 eines Gegenstands
 einer Handlung
 eines Entwicklungsprozesses
 für bestimmte Personen oder Gruppen
 Können festgelegt werden durch
 Auftraggeber (direktiv)
 Evaluator (wissenschafts-/erfahrungsbasiert)
 Zielgruppe, Stakeholder (emanzipativ)
 alle gemeinsam (partizipativ)
November 2014
Sandra Bäthge & Stefanie Kihm
14
Vielen Dank für Ihre
Aufmerksamkeit!
Sandra Bäthge & Stefanie Kihm
Ziele der Evaluation
Kontrolle
Erkenntnis
Evaluation
Lernen
Legitimität
Quelle: Stockmann (2006): S. 67
Modell der Programmforschung
Helfer- und Beratermodell
Zeitpunkt der Evaluation:
Wann wird evaluiert?
Dimensionen der Evaluationsforschung
Phasen des
Programmprozesses
AnalyseErkenntnisperspektive interesse
Evaluationskonzepte
Programmformulierung/
Planungsphase
ex-ante
"analysis for policy"
"science for action"
preformativ/ formativ:
aktiv gestaltend,
prozessorientiert,
konstruktiv
Implementationsphase
on-going
beides möglich
formativ/summativ:
beides möglich
Wirkungsphase
ex-post
"analysis of policy"
summativ:
"science for knowledge" zusammenfassend,
bilanzierend,
ergebnisorientiert
Quelle: STOCKMANN (2007): S. 34
19