Transcript Methoden der Reliabilitätsschätzung

Analyse
BA/MA-Konzeption
UF und Gestaltung
Einführung
(28.10.2011)
1
1. Themen
2. Verfahren und Methoden
3. Gütekriterien
Prof. Dr. Heiner Dunckel
WS 2011
Themen Arbeitsanalyse und –gestaltung (1)










Arbeitsanalyse in der Produktion
Arbeitsanalyse in Büro und Verwaltung
Arbeitsanalyse in der Dienstleistung („Lehrerarbeit“)
Arbeitsanalyse im Krankenhaus
Arbeitsanalyse im Haushalt
Gefährdungsanalyse und -beurteilung
Arbeits- und Zeitstudien nach REFA
Analyse von Gruppenaufgaben
Analyse der Mensch-Maschine-/Rechner-Schnittstelle
...
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
2
Themen Arbeitsanalyse und –gestaltung (2)









Gestaltung der Arbeitsumgebung (Räume, Gebäude etc.)
Arbeitsplatz- und Arbeitsmittelgestaltung
Aufgabengestaltung (Aufbau- und ablauforg. Gestaltung)
Gestaltung der zeitlichen und organisatorischen
Bedingungen
Gestaltung von Mensch-Rechner-Dialogen
Teilautonome Arbeitsgruppen
Telearbeit
Arbeit im Callcenter
...
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
3
Themen Organisationsanalyse und -gestaltung
















Altersstrukturanalyse
Analyse der Organisations-/Unternehmenskultur
Analyse der Organisationsstruktur
Analyse des Führungsverhaltens
Analyse von Gruppenprozessen/Gruppenleistung
Analyse von Qualität (TQM)
Anforderungsanalyse
Mitarbeiter(innen)befragung
PPM (Beteiligungsorientierte Leistungsbewertung)
...
Evaluation von OE-Maßnahmen
Gesundheitsschutz/Gesundheitsförderung
Gruppenarbeit/Teamentwicklung
Organisationsberatung
Qualitätszirkel
...
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
4
Verfahren und Erhebungsmethoden
 Das Verfahren umfasst das im einzelnen
festgelegte Vorgehen, mit dem Merkmale von
Arbeitstätigkeiten in standardisierter Weise
protokolliert werden.
 Die Erhebungsmethode betrifft die Art und Weise,
wie Informationen erhoben werden, z.B. durch
Fragebögen, Interviews, Beobachtungen,
Arbeitstagebücher, Fehleranalysen.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
5
Bedingungsbezogene und personenbezogene Verfahren
 Bedingungsbezogene Verfahren richten sich
auf eine allgemeine Kennzeichnung der
Arbeitsbedingungen. Von den Besonderheiten
der aktuell unter den Bedingungen arbeitenden
Person wird abstrahiert.
 Personenbezogene Verfahren richten sich auf
die individuelle Besonderheiten der arbeitenden
Personen, etwa unterschiedliche Vorgehensweisen, subjektive Bewertungen usw.)
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
6
Erhebungsmethoden: unstandardisiert




(Frieling, 1975, verändert)
Vorhandene Arbeitsplatzbeschreibungen
Freie Berichte der Beschäftigten
Ausbildungsberichte
Dokumentanalyse

Formulare, Akten, Ordnungssysteme,
„persönliche“ Dokumente der Arbeitenden,
„literarische“ Berichte
 Arbeitsausführung durch ArbeitsanalytikerIn
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
7
Erhebungsmethoden: halbstandardisiert (1)
(Frieling, 1975, verändert)
 Critical Incident Technique
 Arbeitstagebuch (Selbstaufschreibung)
 Beobachtung (globale Vorgaben)
 Multimomentaufnahme, Dauerbeobachtung
 Interviews der Arbeitenden
 Einzelbefragung, Gruppenbefragung, Konferenz
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
8
Erhebungsmethoden: halbstandardisiert (2)
(Frieling, 1975, verändert)
 Interviews betrieblicher ExpertInnen
Vorgesetzte, BetriebsärztInnen, AusbilderInnen
usw.
 Analyse betrieblicher Daten
Leistungsdaten, Krankenstandsdaten,
Unfallstatistiken, Fluktuationsanalyse usw.
 Fehleranalyse
 Prototyping
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
9
Erhebungsmethoden: standardisiert
(Frieling, 1975, verändert)




Fragebogen
Beobachtungsinterviews (exakte Vorgaben)
Checklisten
Psychophysiologische Messmethoden
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
10
Beobachtungsinterview



Das Beobachtungsinterview beruht auf einer
strukturierten Beobachtung des Arbeitsablaufes und
eines darauf bezogenen Interviews mit der arbeitenden
Person am Arbeitsplatz.
Vor der Anwendung eines entsprechenden Verfahrens
muss sich ein(e) Untersucher(in) mit den theoretischen
Grundlagen und den Erläuterungen vertraut machen.
Die in Fachsprache formulierten Fragen sind
ausschließlich an den oder die Untersucher(in) gerichtet.
Der oder die Untersucher(in) beschafft sich die nötigen
Informationen zur Beantwortung durch Beobachtung und
(freier) Befragung des oder der Arbeitenden.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
11
Anforderungen an Verfahren
 Theoretische Fundierung
 Objektivität und Zuverlässigkeit („Reliabilität“)
Konsistenzanalyse, Retest-Rel., Paralleltest-Rel.,
Untersucher-Übereinstimmung
 Gültigkeit („Validität“)
Inhaltsval., Konstruktval, Kriteriumsval.
 Ökonomie
 Robustheit
 Zugänglichkeit
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
12
Axiome der klassischen Testtheorie
1.
2.
3.
4.
5.
Das Testergebnis setzt sich additiv aus dem „wahren Wert“
und dem Messfehler zusammen.
Bei wiederholten Testanwendungen kommt es zu einem
Fehlerausgleich, d.h. der Mittelwert der Messfehler ist Null.
Wahrer Wert und Fehlerwert sind unkorreliert.
Höhe des Messfehlers ist unabhängig vom
Ausprägungsgrad anderer (Persönlichkeits-)Merkmale.
Die Messfehler verschiedener Testanwendungen (bei
verschiedenen Personen oder Testwiederholungen) sind
voneinander unkorreliert.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
13
Gütekriterien
(Bortz & Döring, 2005, 193ff.)
Objektivität

Ausmaß, indem Testergebnisse vom Testanwender unabhängig sind
(Durchführungs-, Auswertungs-, Interpretationsobjektivität)
Reliabilität

Grad der Genauigkeit, mit dem ein Merkmal gemessen wird bzw. Grad
der Genauigkeit, mit dem zwei Anwender eines Tests zu einem
gleichen Ergebnis kommen.
Validität

Ausmaß, wie gut ein Test in der Lage ist, genau das zu messen, was er
zu messen vorgibt.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
14
Methoden der Reliabilitätsschätzung

Test-retest


Parallel-Test


Zwei parallele (vergleichbare) Tests werden der gleichen Gruppe
von Personen gegeben.
Inter-rater


Der gleiche Test wird der gleichen Gruppe von Personen zu
verschiedenen Zeitpunkten gegeben.
Prozentsatz der Beurteilungs-Übereinstimmung des gleichen
Gegenstandes (z.B. Arbeitsplatz) durch zwei oder mehr
Untersucher/Rater.
Split-half und Konsistenz

Teilung eines Tests in zwei Hälften und Vergleich (Korrelation) der
beiden Hälften.
 Cronbach‘s alpha (häufig verwendete Statistik zur Bestimmung
der Reliabilität): Durchschnittliche Korrelation aller denkbaren
Testhälften.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
15
Methoden der Reliabilitätsschätzung
bei bedingungsbezogenen Verfahren
 Unabhängige Doppelanalyse
(Mindestens) zwei Untersucher(innen) beobachten und
befragen unabhängig voneinander verschiedene Arbeitende,
die die gleiche Arbeitstätigkeit ausführen.
 Unabhängige Wiederholungsanalyse
Die Arbeitstätigkeit derselben Person wird durch verschiedene
Untersucher(innen) wiederholt analysiert.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
16
Unabhängige Doppelanalyse
Untersucher I
Arbeitende(r) A
Gleiche
Arbeitsaufgabe/
Arbeitstätigkeit
Beobachten und befragen
unabhängig voneinander
Untersucher II
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
Arbeitende(r) B
17
18
Methoden der Reliabilitätsschätzung bei bedingungsbezogenen
Verfahren (mit beschränkter Gültigkeit)
 Abhängige Doppelanalyse
Die Arbeitstätigkeit derselben Arbeitenden wird durch
verschiedene Untersucher(innen) gleichzeitig analysiert.
 Abhängige Wiederholungsanalyse
Die Arbeitstätigkeit derselben Person wird durch denselben
Untersucher wiederholt analysiert.
 Simulierte Doppelanalyse
Verschiedene Untersucher(innen) analysieren Darstellungen
von Fallbeispielen.
 Simulierte Wiederholungsanalyse („Konsistenzanalysen“)
Mehrere Personen (Untersucher) beantworten eine Reihe von
Fragen, die alle dasselbe Merkmal betreffen (z.B.
Entscheidungsspielraum).
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
Reliabilitätsanforderungen
 Test, der nicht nur zu explorativen
Zwecken verwendet wird: Reliabilität
mindestens 0,80
 Mittelmäßige Reliabilität: 0,80 bis 0,90
 Hohe Reliabilität: über 0,90
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
19
Methoden der Validitätsschätzung
 Inhaltsvalidität (Augenscheinvalidität, Face
Validity)
 Test ist augenscheinlich valide (z.B. Arbeitsprobe)
 Kriteriumsvalidität
 Test korreliert mit einem anderen Merkmal (Kriterium;
z.B. beruflicher Erfolg)
 Konstruktvalidität
 Aus Zielkonstrukt werden Hypothesen abgeleitet, die
anhand der Testwerte bestätigt werden können.
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
20
Methoden der Validitätsschätzung bei
bedingungsbezogenen Verfahren
 Experimentelle oder Längsschnittuntersuchungen, in
denen der Nachweis erzielt wird, dass Merkmale der
Arbeit Auswirkungen auf andere Merkmale (z.B.
Gesundheitsindikatoren) haben.
 Querschnittsuntersuchungen zum Nachweis des
Zusammenhanges von Merkmalen der Arbeit mit
anderen Merkmalen
 Korrelation eines Verfahrens mit ähnlichen
Verfahren
 Validität über Expertenurteile
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
21
Validitätsanforderungen
 Mittelmäßige Validität: 0,40 bis 0,60
 Hohe Validität: über 0,60
 Maximale Validität: Wert des
geometrischen Mittels der Reliabilitäten
von Test und Kriterium
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
22
Multitrait-Multimethod-Methode (MTMM)
(Bortz & Döring, 2005, S. 202)
MTMM überprüft, mit welcher Überein–
stimmung verschiedene Methoden das–
selbe Konstrukt erfassen (konvergente
Validität) und wie gut verschiedene Kon–
strukte durch eine Methode differenziert
werden (diskriminante Validität).
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
23
Grundstruktur einer MTMM-Matrix
(Bortz & Döring, 2005, S. 204)
Kollege
Koop
Kollege
Chef
Chef
Kreat
Koop
Koop
Kreat
0,44
Koop
0,63
0,19
Kreat
0,14
0,83
Prof. Dr. Heiner Dunckel
Fachgebiet Arbeits- und Organisationspsychologie
0,41
Kreat
24