Transcript Tue Gutes und lass andere darüber reden

Tue Gutes und lass andere
darüber reden –
Evaluation
20. Workshop für Forscherberaterinnen
und Forscherberater
EURAXESS Deutschland
21. Mai 2014
Dr. Johannes Dingler
Welcome Center
Universität Konstanz
Tel: 07531 88-4498
[email protected]
www.uni-konstanz.de/Welcome
Definition Evaluation
•
•
•
•
•
•
Begriff Evaluation: vom lateinischen Wort „valor“, d.h. Wert, und der
Vorsilbe e/ex, d.h. aus. Zusammen: 'einen Wert aus etwas ziehen
(Reinhard Stockmann)
Allgemein: Bewertung, Beurteilung von Projekten, Prozessen und
Organisationseinheiten.
Die grundsätzliche Untersuchung, ob und inwieweit etwas geeignet
erscheint, einen angestrebten Zweck zu erfüllen (Wikipedia).
Evaluation dient der rückblickenden Wirkungskontrolle, der
vorausschauenden Steuerung und dem Verständnis von Situationen und
Prozessen (Wikipedia).
Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und
optimiert werden (Wikipedia).
Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und
Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle
(evaluationsnetz.com).
Methoden der Evaluation
Prinzipiell: angewandte Sozialforschung: Nutzen für die „Praxis“
im Vordergrund
• Beobachtung/Expertenteilnahme
• Fragebogen
• Interview
• Fallstudie
• Experiment
• Sekundäranalysen vorhandener Materialien
• Qualitative Methoden
• Quantitative Methoden (Statistische Methoden)
Evaluation in Welcome Centern
•
•
•
•
•
•
•
Information über Stärken und Schwächen
Standardkontrolle
Einheitliches Serviceniveau
Neue Services
Legitimation, Selbstdarstellung
Qualitätsmanagement
Qualitätsentwicklung
Qualitätsmanagement zentraler Grund für Evaluation
Welcome Center Universität Konstanz
•
•
•
•
•
•
Ca. 300 Fälle pro Jahr
Ca. 240 Personen in Konstanz in Betreuung
Ca. 80 Personen nach Konstanz kommend
Umfassender Service in Zeit und Umfang
5 MitarbeiterInnen
Vollerhebung in Evaluation
Qualitätsmanagement und
Evaluation
•
•
•
•
•
Strukturelle Integration beim Aufbau
Definierte Prozesse und Workflows
Definiertes Qualitätsniveau
Einheitliche Standards
Gleiche Behandlung unabhängig von
BearbeiterIn
• Regelmäßige Statistik (Quartal)
Qualitätsmanagementzyklus
Qualitätsmanagementzyklus
Bedürfnisse der Forschenden und ihrer Familien
Definition von Aufgaben
Definition von Standards und
Serviceniveaus
Definition von Workflows und
Prozessabläufen
Beschwerdemanagement
Implementierung
Dokumentation
Evaluation
Feedbackschleife
Neue Aufgaben
Qualitätsmanagementinstrumente
Welcome Center
Abschlussgespräch
Zufriedenheitsbefragung
Standardkontrolle
Dokumentation
Definition von Standards
Qualitätsmanagement
Qualitätsmanagementinstrumente
Welcome Center
Abschlussgespräch
Beschwerdemanagement
Zufriedenheitsbefragung
Standardkontrolle
Dokumentation
Definition von Standards
Qualitätsmanagement
Dokumentation
•
•
•
•
•
Instrument: Datenbank
Erinnerungsfunktion für eigene Fälle
Fallrekonstruktion für andere MitarbeiterInnen
Statistik
Qualitätsmanagement:
Ist-Soll-Vergleich
Standardkontrolle
•
•
•
•
6 Wochen nach Ankunft
Beurteilung aller Fälle: Vollerhebung
Selbsteinschätzung
Jede(r) BetreuerIn schätzt eigene Fälle
selbst ein
• Reflektion über die Qualität der Arbeit
• Einschätzung zu strukturellen Schwächen
• Feedback und strukturelle Rückkoppelung
Zufriedensheitsbefragung
•
•
•
•
•
•
•
•
Online Befragung
Vollerhebung
6 Wochen nach Ankunft
Über Software EvaSys
Voll anonymisiert: Zusendung eines Links per E-Mail
Automatische Auswertung per Software
Meist ca. 40% Rücklauf
Bias??
Beschwerdemanagement
• Instrument zum Qualitätsmanagement und zur
Evaluation: Beschwerden sind Chancen
• Noch nicht voll implementiert
• Beschwerdemanagementprozess:
–
–
–
–
–
Beschwerden erhalten
angemessen bearbeiten
auswerten: Analyse und Offenlegung von Fehlern
angemessene Lösung suchen
daraus lernen: Feedback und Lernprozess
• Schutz der individuellen MitarbeiterInnen
• Suche nach strukturellen Ursachen
Strukturelle Anpassung
Abschlussgespräch
•
•
•
•
•
Findet für jede Person statt
Kein weiterer Fragebogen
Leitfragenorientiert
Im Gespräch eingeflochten
Anschließende Dokumentation und
Auswertung
• Rückbezug in Strukturanpassungsprozess
Leitfragen
• Did you like your stay in Konstanz?
• How useful do you consider the services of the Welcome
Center?
• How did you experience the quality of the services of the
Welcome Center?
• Which services did you mainly use?
• Which services do you consider the three most important
services offered by the Welcome Center?
• Which services did you miss in the range of services of the
Welcome Center?
• What do you suggest in order to improve our services?
• Do you have any other comments?
Fazit
• Qualitätsmanagement und Evaluation als
integraler struktureller Bestandteil
• Systematisierte Instrumente
• Mix von Instrumenten
• Aufwand überschaubar
• Großer Nutzen für
– Außendarstellung, Selbstvermarktung, Legitimation
– Analyse und Verbesserung der eigenen Prozesse
Vielen Dank!!
Dr. Johannes Dingler
Welcome Center
Tel: 07531 88-4498
[email protected]
www.uni-konstanz.de/Welcome