Transcript Schulleistungs- untersuchung

Schulleistungsuntersuchung
Seminar:
Dozent:
Themen der pädagogisch- psychologischen Diagnostik
Martin Brunner
Referentin: Conny Lochelfeld
Gliederung
1 Einführung
1.1 Zielsetzung internationaler Schulleistungsvergleiche
1.2 historischer Überblick
2 Methodik
2.1 Testkonstruktion
2.2 Konstruktion des Hintergrundfragebogens
2.3 Population und Stichprobe
2.4 Durchführungsbedingungen
3 Empirische Befunde
5 Schlussbemerkung
2
Schulleistungsuntersuchung
1.1 Zielsetzung

Bestandsaufnahme

Unterschiede im Leistungsstand
identifizieren

Informationen für Akteure im Bildungswesen

Benchmarking
3
Schulleistungsuntersuchung
Historischer Überblick
Träger der wichtigsten Vergleichsstudien:
International Association for the Evaluation
of Educational Achievement (IEA)
FIMS (1964) SIMS (1980- 1982)
FISS (´70- ´71) SISS (´83- ´84)
Reading Literacy (´90- `91)
TIMSS (´94-´95)
PIRLS bzw. IGLU (2001)
Sonderstellung: CES
4
Schulleistungsuntersuchung



5
Im Blickpunkt der Forschung:
mathematisch- naturwissenschaftlicher
Unterricht
Zweiter Schwerpunkt: Leseverständnis
neben IEA hat die OECD ein
langfristiges Forschungsprojekt initiiert
(PISA; erstmalig 2000)
Schulleistungsuntersuchung
2 Methodik
Probleme der Testkonstruktion
Auswahl der Leistungsbereiche

relevant und interkulturell valide
(bei starker Invarianz)
a)
b)
curricular orientierte
Grundbildungstests
Literacy- Ansatz: muttersprachliche, mathematische,
naturwissenschaftliche Kompetenzen sind „basale
Kulturwerkzeuge“

6
Empirie: a) ~ b)
Schulleistungsuntersuchung
Testkonstruktion
Entwicklung und Übersetzung von Aufgaben
Transkulturelle Äquivalenz



7
Bei gleicher Merkmalsausprägung müssen Personen
bei den jeweiligen Testaufgaben länderübergreifend
vergleichbare Lösungswahrscheinlichkeiten haben.
Curriculare Validität
Äquivalenz der Übersetzung der Aufgaben
(sprachlich und kulturell)
Schulleistungsuntersuchung
Exkurs: transkulturelle Validität




8
Immer wieder Zweifel ob transkulturelle Validität in
Anbetracht nationaler Besonderheiten der Curricula
überhaupt möglich ist
Behauptung (z.B. Freudenthal 1975): „Vergleiche über
Fachgebiete wie Mathe, Biologie, Physik hinweg sind
weder sinnvoll und fair“
aber: lange keine Untersuchungen zum Thema
erst TIMMS: moderate Validitätsmängel haben
geringere Auswirkungen als erwartet
Schulleistungsuntersuchung
Testkonstruktion am Beispiel
PISA
Schritt 1:
Aufgabenvorschläge der Länder; von
professionellen Aufgabenentwicklern des
internationalen Konsortiums; aus anderen
Studien
 Schritt 2:
Vorauswahl aus diesem Pool u.a. durch
Experten aus Teilnehmerstaaten
 Schritt 3:
Übersetzung

9
Schulleistungsuntersuchung
Testkonstruktion
Übersetzung

Rückübersetzung
Texte wirken oft unnatürlich, da sehr eng an Syntax und
Semantik des Ausgangstextes angelehnt

„TRAPD“ Ansatz (Translation, Review,
Adjudication, Pretesting, Documentation)
mehrere Übersetzungen der Ursprungsversion
10
Schulleistungsuntersuchung
Testkonstruktion PISA
Übersetzung





2 unabhängige Übersetzer
dritter führt beide Fassungen zusammen
zusätzliche Hinweise:
was ist schwierig/ wichtig;
muss erhalten/ kann verändert werden
weitere Korrekturschleifen durch Fachleute
besondere Variation: Quelltext lag auf Englisch und
Französisch vor
(allerdings fakultativ; bei Verwendung beider Quellversionen
weniger fehlerhafte Items)
11
Schulleistungsuntersuchung
Testkonstruktion am Beispiel
PISA
Schritt 4:
Erprobung
- empirische Grundlage für
 Schritt 5:
Auswahl der Items
Kriterien:
- Items sollen zu erfassendes Konstrukt in ganzer
Breite abbilden und in angemessenem
Schwierigkeitsspektrum
- ähnliche Funktion der Items in allen
Teilnehmerstaaten (DIF)

12
Schulleistungsuntersuchung
Testkonstruktion am Beispiel
PISA

Multi- Matrix- Sampling
• Individuelle Testzeit in vertretbarem Rahmen
• Zumindest auf Populationsebene breites Spektrum
erfassbar

9 verschiedene Testhefte
-
Internatonale Skalierung des Tests auf Basis einer
Stichprobe von13.500 Schülern (pro Teilnehmerland
500)
Internationaler Mittelwert auf 500,
Standardabweichung 100 festgelegt
Ausserdem Kriteriumsorientierte Interpretation möglich
-
13
Schulleistungsuntersuchung
2 Methodik
Konstruktion des Hintergrundfragebogens




14
Kontextfragebögen- je nach Fragestellung an
Schüler, Lehrkräfte, Schulleiter oder Eltern
oft zu deskriptiven Zwecken
evtl. auch für Erklärungsversuche von
Leistungsunterschieden (!)
eine besondere Herausforderung:
die Auswahl der Konstrukte
Schulleistungsuntersuchung
Konstruktion des Hintergrundfragebogens

theoretische und methodische Sorgfalt oft nicht
sehr ausgeprägt
Vorsicht beim Niveauvergleich dieser Skalen

15
Ausnahme: international validierte Maße von
Merkmalen sozialer Herkunft z.B. ISEI
Schulleistungsuntersuchung
Konstruktion des Hintergrundfragebogens
bei PISA
Internationaler Teil:

Kontext des Lehrens und Lernens
betreffend

kontextbestimmende
Rahmenbedingungen

Inhalte, die sich aus Kontextbedingungen
ergeben

16
Ebene des Schülers, der Klasse, der
Schule, des Systems
Schulleistungsuntersuchung
17
Schulleistungsuntersuchung
Konstruktion des Hintergrundfragebogens
bei PISA
Thematische Schwerpunkte:
1. Schülerfragebogen
(internationaler und nationaler
Teil)
•
•
•
•
•
•
18
Unterrichtsqualität/ Schulklima
Lernaktivitäten der Schüler
Familiäre/ sozialer
Hintergrund
Persönliche und
biographische Merkmale
Bindung an die Altersgruppe
Freizeitaktivitäten
2. Schulfragebogen
(international und national)
•Systemischer Kontext der Schule
•Arbeitsbedingungen der Schule
3. Elternfragebogen
(nur national)
•Familiärer/sozialer Hintergrund
•Schullaufbahn des Kindes
Schulleistungsuntersuchung
Methodik
Population und Stichprobe

Schlüsseljahrgänge:
•
•
•

Abschlussklassen der Grundschule
letzte Jahrgangsstufe Vollzeitschulpflicht
letzte Klassenstufe Vollzeitschulwesen der
Sek. II
Population kann bestimmt werden
a) nach Lebensalter
b) nach Schulalter (Jahrgangsstufe)
19
Schulleistungsuntersuchung
Population und Stichprobe



20
Ausschöpfungsgrad Zielpopulation und
Stichprobe
Einschränkungen in der Repräsentativität
können erhebliche Auswirkungen auf die
Vergleichsergebnisse haben
unproblematisch: alle identische
Ausschlussbedingungen oder Ausschlüsse
unsystematisch im Unterschied von der
Grundgesamtheit  allerdings schwierig
nachzuweisen
Schulleistungsuntersuchung
Population und Stichprobe

Untersuchungsgegenstand: Schüler in Schulen
mindestens zweistufiger Versuchsplan
zu beachten:
 Gliederung des Schulsystems
 Regionale Unterschiede (z.B. Bundesländer)
 Trägerschaften von Schulen

Individuelle Versuchspläne für jeden Teilnehmerstaat

„non- response“
Mindeststandards für Ausschöpfungsquoten
21
Schulleistungsuntersuchung
Population und Stichprobe bei
PISA
lebensalterbasierte
Populationsdefinition
 SchülerInnen, die zwischen 15 ¼ und
16 Jahre/ zwei Monate alt waren


22
Ziel: den „kumulativen Ertrag der
Bildungssysteme“ zum Ende der
Schulpflicht abbilden
Schulleistungsuntersuchung
Population und Stichprobe bei
PISA
Jugendliche in Sonderpädagogischen Einrichtungen
dürfen nicht ausgelassen werden
 Ausschöpfungsquote mindestens 95%
 Ausschlusskriterien: Schüler (2,5%)
 geistige, emotionale, körperliche Gründe, die
selbstständige Teilnahme verhindern
 Testsprache nicht Muttersprache und zum
Testzeitpunkt weniger als 1 Jahr darin unterrichtet
Schulebene (2,5%)
 Erhebung aus geographischen oder administrativen
Gründen nur schwer möglich

23
Schulleistungsuntersuchung
Population und Stichprobe bei
PISA
Mindestraten für die realisierte
Stichprobe:
Schülerebene 80%
Schulebene 85%

24
Schulleistungsuntersuchung
Testkonstruktion
Durchführungsbedingungen

mögliche Einschränkungen der
Validität durch method bias
•
•
•
•
25
Unterschiede im Verhalten der Testleiter
kulturell bedingte Antworttendenzen
Vertrautheit mit Testsituation
Bewertung offener Aufgaben
Schulleistungsuntersuchung
Standardisierung der
Durchführungsbedingungen

in hohem Maße Standardisierung des
Testablaufs



26
Handreichungen mit detaillierten Vorgaben
zu Vorbereitung, Durchführung,
Nachbereitung der Tests
Testsicherheit und Gleichberechtigung
gewährleisten
Testadministration durch externe Testleiter
nach eng definiertem Ablaufplan
Schulleistungsuntersuchung
Standardisierung der
Durchführungsbedingungen bei PISA
neben den formellen Regelungen
auch Qualitätskontrollen durch SQMs
(school quality monitors)
 bislang größter Aufwand

27
Schulleistungsuntersuchung
kulturell bedingte Antworttendenzen
z.B. Testmotivation

es wurde des öfteren die Vermutung
geäußert, dass kulturelle Unterschiede im
Hinblick auf die Motivation bestehen

Keitel, Kilpatrick, Haenisch:
mittelmäßige Ergebnisse der Achtklässler in
TIMMS sind auf mangelnde Motivation
zurückzuführen, da sie unbenotete Tests
nicht ernst nehmen
28
Schulleistungsuntersuchung
kulturell bedingte Antworttendenzen
z.B. Testmotivation

Baumert und Demmrich (2001)
SchülerInnen der 9. Klassenstufe
Hauptschulen und Gymmnasien
bearbeiteten nationale PISAMatheaufgaben; 4 verschiedene
Instruktionsbedingungen
(Studie, Rückmeldung, Noten, Geld)
 wichtigster Befund: experimentelle
Bedingungen haben keine Effekt auf
Leistung

29
Schulleistungsuntersuchung
Vertrautheit mit der Testsituation

„vielleicht waren die Ergebnisse der
deutschen Schüler in TIMMS so
enttäuschend, weil sie wenig
Erfahrung mit dieser Art von Tests
hatten“
• multiple- choice
• standardisierte Testsituation an sich
• in authentische Kontexte eingebettete
Aufgaben
30
Schulleistungsuntersuchung
Bewertung offener Aufgaben
mehr und mehr offene Fragen (bei PISA2000 35- 45%)
 früher nur Interraterreliabilität innerhalb
eines Staates bestimmt
 PISA
 erstmals zwischen Staaten
 in mehr als 90% der untersuchten Fälle
keine nennenswerten Abweichungen

31
Schulleistungsuntersuchung
3 Empirische Befunde


auch bei nominell identischer Metrik sind die Kennwerte
über Studien hinweg nicht vergleichbar
Vergleiche über Studien hinweg nur grob anhand relativer
Positionen (!)
Hauptergebnisse:
 Niveau und Variabilität von Leistungen
 Ausmaß der Entkopplung von
Hintergrundmerkmalen der SchülerInnen
 nationale Leistungsprofile
 bei PISA auch Trendindikatoren
32
Schulleistungsuntersuchung
Schlussbemerkung

wünschenswert wäre eine bessere Verknüpfung
einzelner Studien für den größeren Überblick
Kluft zwischen Mikro- und Makroebene schließen

zukünftige Forschung:

• Methodenoptimierung
• Benchmarking auf zusätzliche Bereiche und
Populationen ausdehnen
• aber: für besseres Ursachenverständnis sollte an
Konzepten gearbeitet werden, die sich stärker an
Theorien und Ergebnissen der Grundlagenforschung
orientieren
33
Schulleistungsuntersuchung
Literatur



34
Baumert, J. (2001). Internationale Schulleistungsvergleiche.
In D.H. Rost (Hrsg.), Handwörterbuch pädagogische
Psychologie (S. 294-303). Weinheim: Beltz.
Baumert, J., Stanat, P. & Demmrich, A. (2001). Theoretische
Grundlagen der Studie. In J. Baumert, E. Klieme, M.
Neubrand, M. Prenzel, U. Schiefele, W. Schneider, P.
Stanat, K.-J. Tillmann & M. Weiß (Hrsg.), PISA 2000.
Basiskompetenzen von Schülerinnen und Schülern im
internationalen Vergleich (S. 15-68). Opladen: Leske +
Budrich
Stanat, P. & Lüdtke, O. (in Druck). Internationale
Schulleistungsvergleiche. In G. Trommsdorff & H.-J. Kornadt
(Hrsg.), Enzyklopädie der Psychologie: Kulturvergleichende
Psychologie, Band 2 Kulturelle Determinanten des Erlebens
und Verhaltens. Göttingen: Hogrefe
Schulleistungsuntersuchung