Transcript Large-Scale Untersuchungen an Einzelschulen.pps

Oberstufen-Kolleg
Bielefeld
Möglichkeiten und Grenzen von Large-Scale
Untersuchungen an Einzelschulen
Der Umgang mit institutioneller und individueller
Rückmeldung am Beispiel des Oberstufen-Kollegs Bielefeld
Oberstufen-Kolleg
Bielefeld
Inhalt
• (1) Hintergrundinformationen
• Besonderheiten des Oberstufen-Kollegs Bielefeld
• Untersuchung zu den Aspekten der Lernausgangslage
und der Lernentwicklung (LAU) – Anlage und
Durchführung
• Notwendige Rahmenbedingungen & Voraussetzungen für
Large-Scale-Assesments (LSA) an einer Einzelschule
Oberstufen-Kolleg
Bielefeld
Inhalt
• (2) LAU am OS
• Möglichkeiten und Grenzen der Datenauswertung
• institutionelle Rückmeldungen
• individuelle Schülerrückmeldungen
• (3) Zusammenfassung und Bewertung
• (4) Implikationen für die sich anschließende KESSErhebung, oder: was haben wir gelernt?
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
Besonderheiten des Oberstufen-Kollegs Bielefeld I
• Versuchsschule des Landes Nordrhein-Westfalen seit 1974
• Wissenschaftliche Einrichtung Oberstufen-Kolleg (an der
Fakultät für Erziehungswissenschaft der Universität Bielefeld)
• bis 2002 vierjährig, Anlehnung an das US-amerikanische
College- Modell (Teile des Grundstudiums während der
Ausbildung)
• ab 2002 Veränderung zur dreijährigen Reformoberstufe
Abschluss: Allgemeine Hochschulreife (Abitur)
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
Besonderheiten des Oberstufen-Kollegs Bielefeld II
• seit 2008 Teilnahme am Zentralabitur in den Studienfächern
• besondere Bedingungen:
- eigene Ausbildungs- und Prüfungsordnung
- Aufnahme von KollegiatInnen ohne Qualifikationsvermerk
- eigenes Curriculum
Oberstufen-Kolleg
Bielefeld
Beispiel: Deutschausbildung am OS
Eingangstest in
Deutsch,
Mathematik und
Englisch
Basiskurse*
für alle
KollegiatInnen
4 Std.
Studienfachkurse in Deutsch 6 Std.
oder
Aufgrund der
Ergebnisse:
Zuweisung von
Brückenkursen
vor Beginn
Brückenkurse
für einige
KollegiatInnen
2 Std.
Jahrgang 11
Beginn der
Ausbildung
Deutsch als Querschnittsaufgabe Sequenz in
Literatur verpflichtend (8 Std.)
Jahrgang 12
*sofern als 1. oder 2. Studienfach Deutsch
gewählt wurde, wird dieser Kurs ab dem
zweiten Semester zusätzlich zu den
Basiskursen belegt (6 Std.)
Jahrgang 13
Abschluss der
Ausbildung
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
LAU – Anlage und Durchführung I
• bundeslandspezifische Schulleistungsstudie (Hamburg)
• Funktion: Bildungssystem-Monitoring
• Erhebungszeitraum: 1996 (LAU 5) bis 2005 (LAU13) im
Abstand von 2 Schuljahren (5,7,9,11,13)
• Erhebungsform: flächendeckend, längsschnittlich
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
LAU – Anlage und Durchführung II
• Testbereiche: Deutsch (Wissen zur
Texterschließung/Leseverstehen/
Textproduktion/Rechtschreibung /
Fehlersuche/Lesegeschwindigkeit), Mathe, 1. Fremdsprache
• Kontextvariablen: schul- und unterrichtsbezogene
Einstellungen (Schülerfragebögen)
• Rückmeldeform: Klassenbezogene Schulrückmeldung in
absoluten Zahlen
Oberstufen-Kolleg
Bielefeld
Abbildung: Bsp. einer klassenbezogenen Rückmeldung
aus LAU 7 (Quelle: Weinert, F. E. (2002)
Leistungsmessungen in Schulen.
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
LAU – Anlage und Durchführung III
• LAU am OS: Anstoß und Erwartungen
- Anstoß zur Kooperation mit dem LI in HH: durch externe Evaluation
des OS (Peer-Review) und des Projektes: Basiskompetenzen im
Deutschen
- Kritik an der Konzeption des Projekts
- vorgeschlagenes „Curriculum“ sei zu kleinschrittig
- Niveau sei nicht angemessen
- interne Nachweise von Lernerfolgen wurden als
nicht ausreichend beurteilt
• Erwartung des OS an die Vergleichsuntersuchung: Nutzung der
Untersuchungsergebnisse für die Schulentwicklung des OS
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
LAU – Anlage und Durchführung IV
Erwartungen und Ziele
• Nutzung der Untersuchungsergebnisse für die inhaltliche
Kurskonzeption der Basis- und Brückenkurse Deutsch
• Instrumentenvergleich: Eingangsdiagnose (internes
Instrument) vs. LAU (externes Instrument)
• Ergebnisse für die Entwicklung der Einrichtung nutzbar
machen (institutionelle & individuelle Rückmeldung)
• Nutzung der Untersuchungsergebnisse für die Kollegiat/innen
in Form individueller Ergebnisrückmeldungen
 Darstellung der individuellen Lernausgangslage und
Lernentwicklung (in anonymisierter Form)
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
LAU – Anlage und Durchführung V
Beantwortung der Fragen zur:
• (Individuellen) Lernentwicklung während der Kursphase
• Nachhaltigkeit der Lernzuwächse bis zum
Ausbildungsabschluss
• Lernausgangslage (Benchmark mit Hamburg)
- Welchen Einfluss hat die Zusammensetzung der
Schülerschaft auf die Ergebnisse?
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
LAU – Anlage und Durchführung VI
LAU am OS - Schritte
• Grundlegend: Kooperation mit LI in Hamburg (Kooperationsvertrag) /
„Kooperation auf Augenhöhe“
• Adaptation der Instrumente (Itemauswahl z.B. in Hinblick auf curriculare
Aspekte)
• Fort- und Weiterbildung von Teammitgliedern (z.B. Testleiterschulungen,
Auswertungsmethoden)
• Durchführung der Erhebungen am OS (vgl. Design)
• regelmäßige Treffen zwischen LI und OS (Austausch, externe
Auswertung durch das LI bzw. HU Berlin)
• Verknüpfung der Leistungsdaten mit Hintergrundvariablen
• Rückmeldungen auf individueller und institutioneller Ebene
Oberstufen-Kolleg
Bielefeld
Untersuchungsdesign LAU
Testzeitpunkte der Jahrgänge
Schulhalbjahre
Aug/2006
Sept/2007
März/2007
Feb/2008
März/2009
Feb/2010
13.2
13.1
12.2
12.1
LAU 13
(2005)
11.2
11.1
LAU 11
(2002)
Legende:
= Aufnahmejahrgang 2006
= Aufnahmejahrgang 2007
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
Notwendige Voraussetzungen für
LSA an Einzelschulen I
• die pädagogische Arbeit und die damit verbundenen
Ziele der Schule müssen berücksichtigt werden
• Einbringen individueller Fragen der Einzelschule
• es müssen wiederholte Messungen stattfinden
• es muss eine ausreichend große Stichprobe getestet
werden
• ggfs. Adaptation der Instrumente an die Einrichtung
Oberstufen-Kolleg
Bielefeld
(1) Hintergrundinformationen:
Notwendige Voraussetzungen für
LSA an Einzelschulen II
• schulübergreifende Kooperation: Instrumente müssen verfügbar
gemacht werden und externe Auswertung der Daten muss
gesichert sein
• Schulungen & Fortbildungen zur Testdurchführung und
Datenauswertung
• Rückmeldungen (institutionell & individuell) als Grundlage für
Veränderungsprozesse (z.B. zur inneren Differenzierung
(institutionell) oder für Beratungs- und Unterstützungsangebote
(individuell))
• Kontextmerkmale mit einbeziehen („fairer Vergleich“)
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Möglichkeiten und Grenzen der Datenauswertung I
Beispiel Textproduktion:
• subjektiv erfasste Schwierigkeiten:
- Übungseffekte durch wiederholten Einsatz der gleichen
Aufgabe (Beschwerdebrief)
- Konkretheit der Aufgabenstellung hat Einfluss auf
qualitative und quantitative Aspekte der Textproduktion
- es entstand der Eindruck, dass oftmals das
Leistungspotential nicht ganz ausgeschöpft wurde (so
konnten bspw. kaum Prozeduren der Selbstkorrektur
beobachtet werden)
- Faktoren der Testmotivation beeinflussen die Ergebnisse
• Datenauswertung:
- Skalierungsschwierigkeiten aufgrund der Stichprobengröße
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Institutionelle Rückmeldung I
• die institutionelle Rückmeldung der Leistungsdaten, die auf
Grundlage von Large- Scale- Instrumenten erhoben
wurden, können folgendermaßen genutzt werden:
• inhaltliche Weiterentwicklung des Unterrichts (hier: der
Basis- und Brückenkurse Deutsch)
• Schwächen und Stärken aufzeigen, Bedarfe ermitteln
• Benchmark („Außenvergleich“)
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Institutionelle Rückmeldung II
• Selbstvergewisserung (durch den Benchmark mit HH)
• Nachweis von Leistungszuwächsen
• Schülerschaft genauer beschreiben
• Nachhaltigkeit der Lernergebnisse prüfen
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Individuelle Rückmeldung I
• die individuelle Rückmeldung von Leistungsdaten auf Schülerebene,
die auf Grundlage von Large- Scale- Instrumenten erhoben wurden,
wird derzeit kritisch diskutiert
• Vertreter sprechen sich für die Nutzung dieser Daten auch auf
individueller Ebene aus, sofern diese Daten von weiteren Erhebungen
(z.B. schulinterne Instrumente, Noten, Schülerbeobachtungen)
flankiert werden
• Gegner der Nutzung dieser Daten für die individuelle Rückmeldung
betonen, dass für formatives Assessment andere Erhebungsformate
notwendig sind (z. B. höhere Reliabilität durch höhere Itemanzahl)
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Individuelle Rückmeldung II
• Prinzipiell sollte die Impulsgebung für die
Instrumentenauswahl immer die Funktionalität des
Instrumentes und der diagnostische Ansatz sein („Was will
ich wissen?“; „Was ist das Ziel?“)
• Aber: „Nebenprodukte“ können und sollen genutzt werden,
auch wenn diese messfehlerbehaftet sind
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Individuelle Rückmeldung III
Ziele:
• Transparenz für die Kollegiat/innen schaffen
• Individuelle Ergebnisrückmeldung als Unterstützung bei der
Planung weiterer Ausbildungsschritte (Verknüpfung von
Diagnostik und Förderung)
• Rückmeldung sollte abgekoppelt von den schulischen
Lernprozessen erfolgen
• Rückmeldung sollte nicht über die Lehrpersonen erfolgen
(keine Informationsweitergabe über Individualleistungen)
Oberstufen-Kolleg
Bielefeld
(2) LAU am OS:
Individuelle Rückmeldung: Konkrete
Durchführung
1.
2.
3.
4.
Verfahren der doppelten Anonymisierung
Rückmeldung durch die Forschungsgruppe
Präsentation der Ergebnisse in Form eines Booklets
Erläuterung der Ergebnisse (auf Wunsch) durch die
Mitglieder des WE-Teams
5. Lernberatung auf Grundlage der Ergebnisse (auf Wunsch)
Oberstufen-Kolleg
Bielefeld
Oberstufen-Kolleg
Bielefeld
Oberstufen-Kolleg
Bielefeld
Oberstufen-Kolleg
Bielefeld
(3) Zusammenfassung und Bewertung I
• Rücklaufquote (sinkendes Interesse bei den Kollegiat/innen
über die Zeit)
• Ergebnisse spiegeln lediglich Momentaufnahmen wieder
• Einfluss motivationaler Aspekte (insbesondere zum letzten
Testzeitpunkt)
• keine prognostische Einschätzung möglich (geringe
Itemanzahl)
• Rückmeldung verlief nicht optimal (Potential nicht voll
ausgeschöpft)
Oberstufen-Kolleg
Bielefeld
(3) Zusammenfassung und Bewertung II
• Benchmarking vs. Qualitätssicherung
 Abstimmung der Testzeitpunkte aufs Curriculum
• deskriptive Darstellung der Schulleistungen, keine
Ursachenforschung
 Hintergrundinformationen mit einbeziehen, zusätzliche von
den Lehrkräften entwickelte Items
• Quasi-Längsschnitt vs. echter Längsschnitt
 Stichprobe verringert sich im Verlauf der Erhebung
Oberstufen-Kolleg
Bielefeld
(3) Zusammenfassung und Bewertung III
• mit der individuellen Rückmeldung auf Grundlage von Large- ScaleAssessments ist ein Schritt zur Schulevaluation und Schulentwicklung
getan
• die Ergebnisse können Einzelpersonen ggfs. für ihre
Ausbildungsbiografie nutzen
• Rückmeldung an alle betroffenen Gruppen bilden die Grundlage für
einzuleitende Veränderungsprozesse vor Ort
• Verständnissicherung muss gewährleistet sein (Wie kann dies an einer
Regelschule gelingen in Hinblick auf Ressourcen?)
• reine Informationsweitergabe nicht sinnvoll, es muss ein
Beratungsangebot (Was fange ich mit den Ergebnissen an?) vor Ort
bestehen
Oberstufen-Kolleg
Bielefeld
(4) Implikationen für KESS
• Motivationale Aspekte mehr beachten
• Ausweitung auf andere Fachbereiche (an welchen Stellen
sinnvoll/welche Ziele werden verfolgt)
• Optimierung der individuellen Rückmeldung
•Organisatorische Umsetzung der Rückmeldung
•Bessere Flankierung der Leistungsdaten mit weiteren
Schülerdaten (Verknüpfung)
•Bessere Kooperation mit Lehrkräften und Lernberatern
•Deutlichere Ableitungen von Empfehlungen und
Hilfestellungen für die Kollegiat/innen