Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen

Anette Hiemisch Institut für Psychologie

„Teaching is Touching the Future – Emphasis on skills.”

Die Validität selbsteingeschätzter Kompetenzen

Shift from teaching to learning: →

Ökonomische und valide Ermittlung erworbener Kompetenzen

Spezifische methodische Probleme :

 Validität der Instrumente  Angemessene Evaluationseinheit  Geeignete Validierungskriterien

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Die Validität selbsteingeschätzter Kompetenzen

Selbsteingeschätzte Kompetenzen:

Ökonomische Möglichkeit der Bewertung im Studium erworbener Kompetenzen

Mit einer Reihe von Problemen verbunden:

 BTA-Heuristik  Wahrgenommene Schwierigkeit der Kompetenz  „Unskilled but unaware“

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Unskilled but Unaware

Mangelnde „Meta-kognitive“ Skills

 wenn Menschen eine Kompetenz nicht im hinreichenden Umfang besitzen,  fehlen die meta-kognitiven Fertigkeiten zur Einschätzung eben dieser Kompetenzen  Neigung, sich dann zu gut einzuschätzen

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Unskilled but Unaware

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

(Krueger & Dunnig, 1999)

Die Validität selbsteingeschätzter Kompetenzen

Konsequenzen für die Evaluation:

 Systematische Verzerrung der Messungen in Abhängigkeit von dem zu messenden Merkmal  Mittelwerte ungeeignet zum Vergleich von Lehreinheiten

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Evaluationseinheit & Validierungskriterium

Evaluationseinheit

Lehr/Lerneinheiten, in denen bestimmte Kompetenzen vermittelt werden: z.B. Rhetorikkurs

Modul

Validierungskriterien

Kompetenzmessung

Modulnote?

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Modul „Methodenlehre“

3 Semester  4 Vorlesungen  3 Tutorien  1 Seminar  1 Praktikum

Seminar „Einführung in die Allgemeine Psychologie“

Einführungskurs 1. Semester Validierungskriterium

Modulnote

Validierungskriterium

Klausurergebnis

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Berliner Evaluations Instrument für selbsteingeschätzte

studentische Kompetenzen ( Braun, Gusy, Leidner, & Hannover, 2008)  Fachkompetenz (6 Items)  Methodenkompetenz (3 Items)  Präsentationskompetenz (2 Items)  Kommunikationskompetenz (5 Items)  Kooperationskompetenz (5 Items)  Personalkompetenz (5 Items)

Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Stichprobe Modul:

Kohorte 2010:

56 Studierende im Alter von 20 bis 37 (M = 22.8, w = 50). 52 Prüfungs anmeldungen, 41 Teilnehmende.

Kohorte 2011:

59 Studierende im Alter von 19 bis 42 (M = 22.3, w = 54). 53 Prüfungs anmeldungen, 25 Teilnehmende.

Stichprobe Seminar: 15 Studierende

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methode

Ablauf Modulevaluation:

 Evaluation

Modul „Methodenlehre“

eine bzw. drei Wochen vor der Prüfung (Code)  Aushändigung eines Bogens mit Code- und Notenabfrage nach Abschluss der Prüfung  Mögliche Noten: 1.0, 1.3, 1.7, 2.0 bis 4.0, 5.0

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Methoden

Ablauf Seminarevaluation:

 Evaluation vier Wochen vor Semesterende  Freiwillige Klausur in der letzten Seminarsitzung  15 Multiple-Choice Fragen zu Konzepten und Grundlagen der Allgemeinen Psychologie  3 Fragen zu Techniken wissenschaftlichen Arbeitens

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Hypothesen

H1: Konvergente und divergente Korrelationen Modulnote

Konvergent:

Fachkompetenz, Methodenkompetenz, Kommunikationskompetenz, Personalkompetenz

Divergent:

Präsentationskompetenz, Teamkompetenz

H2: „Unskilled but unaware“:

Die konvergenten Korrelationen sind höher, wenn weniger kompetente Studierende aus der Berechnung ausgeschlossen werden.

H3: Vergleich Modul und Seminar bezüglich Fach-und Methodenkompetenz

Die konvergenten Korrelationen fallen im Seminar kleiner aus.

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Ergebnisse

20 18 16 2 0 6 4 14 12 10 8 1,0 1,3 1,7 2,0 2,3 2,7 3,0 3,3 3,7 4,0 5,0 Frequency of grades Frequency of grades in the study Abbildung 1: Verteilung Noten

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Ergebnisse

Kompetenzen

Fachkompetenz

r (N = 66) sample 123

-.37** Methodenkompetenz -.10

Kommunikationskompetenz Personalkompetenz -.10

-.30* Präsentationskompetenz .05

Teamkompetenz

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

.01

r (N = 51) sample 12

-.41** -.26*

r (N = 39) sample 23

-.01

.20

-.23(*) -.27* -.10

-.01

.01

-.25* .05

.02

Ergebnisse

Tabelle 3: Validierung Seminar

M SD

Fachkompetenz Methodenkompetenz Personalkompetenz Test Wissen Test Methode 1.79

2.11

1.62

25.33

9.93

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

.57

.73

.54

6.59

3.63

Test Wissen Test Methode -.24

-.29

-.20

-.58* .02

.56*

Diskussion

Modul

Valide Erhebung der Skalen Fach- und Personalkompetenz

ABER

Kompetenzniveau beeinflusst Validität

→

Ergebnisse sprechen für „unskilled-unaware“-Hypothese

→

Selbsteingeschätzte Kompetenzen nicht geeignet für Evaluation

Seminar

Keine sinnvollen Zusammenhänge zwischen selbst eingeschätzten Kompetenzen und Klausurergebnissen

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Diskussion

Ausblick

 Ökonomische Methode der Kompetenzmessung  Modelle des Kompetenzerwerbes und der Kompetenzmessung  Aus Modellen des Kompetenzerwerbes Merkmale von Lehrveranstaltungen und Modulen ableiten, die Kompetenzerwerb fördern  diese Merkmale ermitteln

→ Kompetenzorientierte Modularisierung

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Diskussion

 

Kritik

 Note geeignetes Validierungskriterium?

Keine Kontrolle von möglichen Moderatorvariablen (Interesse, Motivation, usw.) Kleine Stichprobe

Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“

Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen

Anette Hiemisch Institut für Psychologie

Vielen Dank für Ihre Aufmerksamkeit

Ergebnisse

1,5 1 0,5 0 3,5 3 2,5 2 Systematic competence Communication competence Group 1 Group 2

Outcome groups

Group 3 Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten

Ergebnisse

1,5 1 0,5 0 3,5 3 2,5 2 Knowledge processing Personal competence Group 1 Group 2 Group 3

Outcome groups

Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten

Ergebnisse

Tabelle 1: Deskriptive Statistik

Kompetenzen

Fachkompetenz Methodenkompetenz Kommunikationskompetenz Personalkompetenz Präsentationskompetenz Teamkompetenz

M

2.56

2.35

1.74

2.37

1.48

3.07

SD

.68

.92

.94

.89

1.11

.82

α

.85

.83

.90

.87

.90

.89