Transcript Unterscheidungskriterien für Befragungen

Prof. Donsbach
www.donsbach.net
Philosophische Fakultät – Institut für Kommunikationswissenschaft
Ringvorlesung
Methoden der empirischen
Sozialforschung II
Sommersemester 2010
www.donsbach.net
Ablauf
Sommersemester 2010
4. Komplex Durchführung von Befragungen
2
16
13.04.10
Hagen
Inhaltsanalysen I
17
20.04.10
Hagen
Inhaltsanalysen II
18
27.04.10
Donsbach
Einführung in die standardisierte Befragung
19
04.05.10
Donsbach
Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft
20
11.05.10
Donsbach
Spezielle Verfahrensformen bei persönlichen, telefonischen und
schriftlichen Umfragen
21
18.05.10
Donsbach
Neuere Formen der quantitativen Befragung
22
01.06.10
Gastvorlesung (Thema ist noch offen)
Prof. Donsbach
www.donsbach.net
Vorlesung 21
Einführung in die
standardisierte Befragung
Prof. Dr. Wolfgang Donsbach
Institut für Kommunikationswissenschaft
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
4
www.donsbach.net
5
www.donsbach.net
6
www.donsbach.net
7
www.donsbach.net
Öffentliche Meinung bei Habermas: Grundannahmen
Ende 16. Jhd./17. Jhd.
Merkantilismus,
Kapitalismus
Aufstrebendes
Bürgertum
Legitimiert sich
gegen Autorität
unpolitische
Öffentlichkeit
(noch)
politische
Themen
(dann)
Kaffeehäuser/Salons
Gemeinwohl
Rational
8
Denaturierung/
Strukturwandel
Egalitär
„topics of government“
England: frühes18. Jhd
www.donsbach.net
9
www.donsbach.net
Öffentliche Meinung bei Luhmann: Grundannahmen
Hoher
Entscheidungsbedarf von
Gesellschaften
Gesellschaften
sind komplex
Aufmerksamkeitsregeln
Reduktion von
Komplexität durch
die öffentliche
Meinung
Aufmerksamkeit
des Bürgers ist ein
knappes Gut
10
Meinungsbildung, u.a. in
den entscheidungsbefugten Instanzen
www.donsbach.net
11
www.donsbach.net
Definition der öffentlichen Meinung bei Noelle-Neumann
"Unter öffentlicher Meinung versteht man wertgeladene,
insbesondere moralisch aufgeladene Meinungen und
Verhaltensweisen, die man – wo es sich um festgewordene
Übereinstimmung handelt, zum Beispiel Sitte, Dogma –
öffentlich zeigen muss, wenn man sich nicht isolieren will;
oder bei im Wandel begriffenem ‚flüssigen‘ Zustand
öffentlich zeigen kann, ohne sich zu isolieren."
Noelle-Neumann 1996
12
www.donsbach.net
Person A
Andere
Eigene Meinung
zu Thema X
konsonant
Keine
Isolationsfurcht
Reden
dissonant
Isolationsfurcht
Schweigen
Wahrnehmung der
Umweltmeinung zu
Thema X
Direkte
Umweltwahrnehmung
13
Wahrnehmung
der Umweltmeinung zum
Thema X
aktuell
Zukunft
Wahrnehmung
aus Medien
Zeitpunkt t1
Zeitpunkt t2
Quelle: Donsbach 1987, 327
www.donsbach.net
14
www.donsbach.net
Dimensionen in den Definitionen von öffentlicher
Meinung
1. Any opinion held by a majority of citizens
2. The opinion of elites, with intellectual capacity or powers
to influence society
3. Any opinion concerning public affairs (definition by object
of opinion)
4. An opinion reached through a public process of learning
and consensus
5. Any opinion allowed to be expressed in public without fear
of social isolation
Schönbach and Becker (1995)
15
www.donsbach.net
Demoskopie als Streitpunkt
 Ist Demoskopie = öffentliche Meinung?
 Was ist öffentliche Meinung?
 Normative Konzepte
 Funktionale Konzepte
 Soziologische und Sozialpsychologische Konzepte
 Demoskopische Konzepte: Öffentliche Meinung = das,
was die Demoskopie misst?
 Trotz Definitions-Wirrwarr: Öffentliche Meinung ist
Kernelement der Demokratie
 Zwar: In repräsentativer Demokratie folgt aus Mehrheitsmeinung des
Volkes kein direkter Auftrag an die Regierung
16
 Aber: Indikator für Loyalitäts-Niveau für Regierung zwischen Wahlen
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
17
www.donsbach.net
Elemente der modernen Meinungsforschung?
Menschen
zählen
Denken in
Variablen
Menschen
befragen
Moderne
Umfrageforschung
18
Repräsentativität
www.donsbach.net
19
www.donsbach.net
Menschen
zählen
Frühformen von Erhebungen
Altertum: bereits erste zahlenmäßige Erhebungen
• Babylonien, Assyrien, Ägypten, Indien, China, Persien, Israel,
Griechenland und das römische Reich: Volkszählungen (lat. census)
König David (um 1000 v. Chr.) Volkszählungen, (deswegen angeblich
von Gott mit Pestepidemie bestraft, Samuel 24)
seit Servius Tullius (Wende zum 5. Jhd. v. Chr.):
• Aufstellung von Bürgerlisten alle fünf Jahre
• Zweck: Vermögensschätzungen, Wehrfähigkeit, Steuerkraft der Bürger
•

Mittelalter:
• vereinzelte Volkszählungen in Städten
20
www.donsbach.net
Menschen
zählen
21
Denken in
Variablen
Menschen
befragen
Repräsentativität
www.donsbach.net
22
22
www.donsbach.net
Denken in
Variablen
„Politische Arithmetik“
17.Jhd. Durchführung bevölkerungspolitischer Studien basierend auf Londoner
Sterberegister
1662:
„Natural and Political Observation upon the Bills of Mortality“ →
Berechnung erster Sterbetafeln
Benutzung statistischer Daten (Sekundäranalysen, Primärerhebungen)
1676:
Petty (engl. Arzt): „The Political Anatomy of Ireland“ → erste
systematisch empirische Soziographie (über irische Bevölkerung)
basierend auf Reisebeobachtung
1741:
Johann Süßmilch (Feldprediger, 1707-1767): „Die göttliche Ordnung in
den Veränderungen des menschlichen Geschlechts“
systematische Untersuchung von Heirats- und Geburtsraten, Fertilität und
Mortalität im Verhältnis zur Bevölkerungsgröße
 Quantifizierung von Menschen nach bestimmten Merkmalen
23
www.donsbach.net
Denken in
Variablen
Moralstatistik
•
•
•
•
•
•
Begründer: Belgier Adolphe Quételet (1796-1874)
numerische Erfassung persönlicher Eigenschaften und
sozialer Verhaltensweisen
Übertragen mathematischer Erkenntnisse auf Studium der
Bevölkerung (z.B. Kriminalität)
Anwendung Wahrscheinlichkeitstheorie
Anwendung multivariater Tabellen
„l`homme moyen“
 menschliches Verhalten in Zahlen ausdrücken
24
www.donsbach.net
Einbettung in Geschichte der empirischen Sozialforschung
Friedrich Jonas (Geschichte der Soziologie):
"Quetelet gibt damit die Zielvorstellung oder das Ideal für die
empirische Sozialforschung, wie sie sich im 19. und
beginnenden 20. Jhd. ausbreitet. Die vorurteilslose Erfassung
und Beschreibung von Sozialtatsachen soll die
Gesetzmäßigkeiten offenbaren, die hinter den Werten und
Institutionen die menschlichen Gesellschaften
zusammenhalten"
25
www.donsbach.net
Denken in
Variablen
Aber Streit: Darf man Statistik auf Menschen anwenden?
PRO
CONTRA
26
Adolph Wagner (1864): Statistischanthropologische Untersuchung der
Gesetzmäßigkeit in den scheinbar willkürlichen
menschlichen Handlungen. Hamburg 1864
Wilhelm Drobisch (1867): Die moralische
Statistik und die menschliche Willensfreiheit.
Leipzig
Vgl. Noelle-Neumann & Petersen 2000: Einleitung; Oberschall, A. (1997): Empirische
Sozialforschung in Deutschland 1848-1914. Freiburg & München: Alber
www.donsbach.net
Denken in
Variablen
Adolph Wagner (1864) erklärt den Unterschied zwischen
normativen und statistischen Gesetzen
Wenn wir die Heiraten, die Selbstmorde, die Verbrechen untersuchen und ihre
Gesetze entwickeln, so können wir ebenfalls mit großer Genauigkeit
vorherbestimmen, wie viele Heiraten, Ehescheidungen, Selbstmorde,
Verbrechen werden im nächsten Jahr stattfinden, und wie werden sie sich
verteilen. Und die Resultate dieses Jahres werden bei der späteren Prüfung
ebenso genau zutreffen, als wenn wir uns in jenem fremdartigen Staatswesen
befänden. Das Merkwürdigste dabei aber bleibt, daß wir in dieser Weise als
dienende Glieder eines großen Mechanismus fungieren, dennoch aber eine
ganz unbeschränkte freie Bewegung besitzen, welche diesen Mechanismus
nicht in seinem vorgezeichneten Gang stört“ (S.44ff.)
27
www.donsbach.net
28
www.donsbach.net
Menschen
befragen
(747-814): Karl der Große erste auf Fragebögen beruhende
Umfragen,
verschickte einheitliche Fragebögen an Bischöfe des Reiches
(Vergleich ihrer Auffassung zu kirchlichen Streitfragen)
1558 – 1565: zweite bekannte Umfrage in Mexiko (span.
Franziskanermönch Fray Bernadino de Sahagún)
• Bericht über Sprache und Sitten der Azteken
• standardisierte Gespräche mit Einheimischen
 „das erste Projekt empirischer Sozialforschung in der
Geschichte“ (Noelle-Neumann, Petersen 2000, S.39)
29
www.donsbach.net
Menschen
befragen
•
Ab Ende 18. Jhd.: Sozialumfragen zur Lage der Arbeiter durch
einzelne Forscher
•
1787: systematische Untersuchung mittels Fragebogen zum
Budget der Landarbeiter durch Engländer David Davies
•
Demokratisierung → wachsende Öffentlichkeit → Wahl- und
Parteiprogramme wurden mithilfe von Sozialumfragen an die
Wählerschaft angeglichen
•
19. Jhd.: Interesse an sozialen Problemen und politischen
Einstellungen der gewöhnlichen Leute durch Regierung,
Intellektuelle
•
19./20. Jhd.: Bildung, Wahlrecht, Konsum → Zeitungen
konkurrierten um Festlegung der öffentlichen Meinung
•
Werbetreibende: Informationen zu Vorlieben, Bedürfnisse,
Konsumverhalten
•
30
→ Markt-, Zielgruppen- und Meinungsumfragen
www.donsbach.net
Menschen
befragen
1909-1911: Max Weber – Umfrage über physiologische Eigenschaften der
Industriearbeiter in Dtl. („Nach wie vielen Stunden werden Sie müde?“)
1912: Adolf Levenstein – erste große Einstellungsumfrage in
Deutschland:
• 8000 schriftliche Fragebögen an Gruben-, Stahl- und
Textilarbeiter in Deutschland
• Schneeball – Auswahlverfahren
• 63% Rücklauf
1920er USA: Gründung von 60 Umfrageinstituten (1916-1926)
31
www.donsbach.net
Menschen
zählen
32
Denken in
Variablen
Menschen
befragen
Repräsentativität
www.donsbach.net
33
www.donsbach.net
34
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
35
www.donsbach.net
Geburt der modernen Demoskopie: George Gallup
„In 1933, the young George Gallup, who earned a PhD in psychology from
a small mid-western university and who combined careers in academia and
market research, decided to draw on both these fields to create public
opinion polling. He collected and studied detailed voting records for the
U.S. over a century, and sent out ballots to a small but carefully selected
group of voters in each state based on his analysis of past electoral
behavior. He estimated results for the 1934 congressional elections with
great accuracy. He continued to experiment with these hybrid methods of
choosing purposive samples of voters based on political geography, and
founded the American Institute of Public Opinion (AIPO) in 1935 whose
goal was “impartially to measure and report public opinion on political and
social issues of the day without regard to the rightness and wisdom of the
views expressed.” AIPO conducted national public opinion surveys using
Gallup’s method of combining purposive sampling with quotas for relatively
small sizes …whose results he distributed to subscribing newspapers in the
form of press releases.“
Oberschall, A. (2008). The Historical Roots of Public Opinion Research. In: Donsbach, W. & Traugott,
M.W. (eds.): The Sage Handbook of Public Opinion Research. Los Angeles, London, New Delhi,
36Singapore: Sage Publications, pp.
www.donsbach.net
Durchbruch: Gallup versus Literary Digest
Literary Digest
Gallup
• 10 Mio Fragebögen versandt
• 3000 persönl. Interviews
• 2,3 Mio zurück
• Richtige Voraussage
• Landon:
55%,
Ursachen:
• Roosevelt:
41%
• Niedrige Ausschöpfung: 25 %
Tatsächliches Ergebnis:
37
Roosevelt:
61%
Landon:
37%
Squire, P. (1988): Why the 1936 Literary
Digest was wrong. POQ 52, 125-33
• Verzerrte Ausschöpfung
• Verzerrte Ausgangsstichprobe:
Basierten auf eigenen Abonnenten
sowie Adressen von Telefon- und
Autobesitzern 
unterrepräsentierten ärmere
Bevölkerungsschichten (mehr
Wähler der Demokraten)
• 1938: LD eingestellt
www.donsbach.net
Stationen
 Pioniere: George Gallup, Elmor Roper, Archibald Crossley: seit
20ern Marktforschung, seit 30ern politische Themen
 1937 Paul Lazarsfeld: Office of Radio Research, später Bureau of
Applied Social Research
 1941 National Opinion Research Center (NORC) U of Chicago
 1944: Lazarsfeld, Paul F., Bernard Berelson & Hazel Gaudet: The
People's Choice. New York
 1946: American Association for Public Opinion Research (AAPOR)
 1946 Survey Research Center U of Michigan
 1947: World Association for Public Opinion Research
 1947: Institut für Demoskopie Allensbach
 1948: Public Opinion Quarterly
38
www.donsbach.net
Accumulation of Countries in Gallup International
Association 1947-2004
1940s
North
America
50s
70s
80s
90s
2000s
Argentina
Uruguay#
Colombia#
Mexico#
Puerto Rico*
Venezuela#
Ecuador#
Peru#
Costa Rica*
Bolivia
Chile*
Dominican
Rep.
Bosnia
Bulgaria
Croatia
Czech
Rep
Estonia
Latvia
Poland
Rumania
Russia
Ukraine
Georgia
Macedonia
Serbia &
Montenegro
Canada#
USA#
Latin
America
Brazil*
Europe
Austria
Czechoslovakia
Denmark
Finland
France#
Italy
Netherlands
Norway
Sweden
UK*
Asia
Australia/
Oceania
Countries
added
Germany
Switzerland
Ireland
Portugal#
India#
Japan
Lebanon*
Israel#
Korea
UAE
Hong Kong#
Pakistan
Taiwan#
Turkey
Singapore
Thailand
Vietnam
Philippines
New Zeeland
Malaysia
Indonesia
Egypt
Nigeria
Zimbabwe
Cameron
Kenya
13
16
8
Australia
Ivory Coast*
South Africa
*Not member 2004
14
Belgium
Greece
Hungary
Iceland
Spain#
Belgium
Luxembourg
Africa
39
60s
3
#Original member firm exchanged
9
10
Membership 2004
64
www.donsbach.net
Geschichte in Deutschland
 Gesellschaft für Konsumforschung (GfK) 1935,
aber erste Repräsentativbefragungen in den
50ern
 EMNID 1945, aber anfangs nur
Adressensammlung von Vertriebenen, erste
Umfragen 1948/49
 1945 erste Repräsentativbefragungen in
Deutschland durch OMGUS (Office of Military
Government US).
 1947 Institut für Demoskopie Allensbach erstes
deutsches Umfrageinstitut (aber eben nicht das
älteste Institut unter denjenigen, die heute
Umfragen durchführen
40
www.donsbach.net
Anwendungen
41
www.donsbach.net
42
www.donsbach.net
Und in den Medien
Veröffentlichung von Umfragedaten vor
Bundestagswahlen
12 Wochen vor Wahltermin - vier überregionale Zeitungen
800
700
651
600
500
400
328
300
168
200
100
65
0
1980
33
1983
Quelle: Brettschneider 2004
43
94
83
1987
1990
1994
1998
2002
www.donsbach.net
44
www.donsbach.net
45
www.donsbach.net
46
www.donsbach.net
47
www.donsbach.net
48
www.donsbach.net
49
www.donsbach.net
Heute: Entwickelter Wissenschaftsbereich
50
www.donsbach.net
51
www.donsbach.net
52
www.donsbach.net
Simone Wack (1998): Die Branchenstruktur der Markt- und
Meinungsforschung in der Bundesrepublik Deutschland von 1986 bis 1996.
53Eine deskriptive Analyse
www.donsbach.net
Markt- und Meinungsforschungsinstitute in Deutschland
Jahr
54
Anzahl Institute
Umsatz in Mio DM
1987
100
717
1988
111
782
1989
117
899
1990
123
1009
1991
128
1123
1992
156
1284
1993
158
1365
1994
168
1496
1995
178
1625
Quelle: Alexander Gallus & Marion Lühe (1998): Öffentliche Meinung und Demoskopie
www.donsbach.net
Standortbestimmung
"Survey research is not itself an academic discipline,
with a common language, a common set of principles for
evaluating new ideas, and a well-organized professional
reference group. Lacking such an organization, the field
of survey research has evolved through the somewhat
independent an uncoordinated contributions of
researchers trained as statisticians, psychologists,
political scientists, and sociologists. These brief
encounters between survey method and bodies of theory
have produced what we know about survey quality
today"
Robert M. Groves (1987): Research on Survey Data Quality. POQ 51, S156-172, S156
55
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
56
www.donsbach.net
Nomenklatur
amerikanischer Sozialforscher (Stuart Dodd)
schlug den Begriff 1946 vor
Demoskopie
Das Volk messen: quantitative Bevölkerungsumfragen
Meinungsforschung
Unspezifischer, kann auch durch andere,
nicht-quantitative Methoden geschehen
Umfragen
Wahlumfragen
Impliziert wiederum das quantitative Element
Spezielles Anwendungsgebiet
Momentaufnahmen
Tracking polls
Wahlprognosen
Exit Polls
Hochrechnungen
57
Keine Voraussage, nur aktueller Stand
Kontinuierliche, jeweils aggregierte Umfragen
Prognosen über Wahlausgang auf Umfragebasis
Umfragen auf Basis des stattgefundenen Verhaltens
Prognose auf Basis echter Wahlergebnisse
„Prognosen sind schwierig, vor allem, wenn sie die Zukunft betreffen“...
www.donsbach.net
Nomenklatur
58
Englisch
Demoskopie
Survey/opinion research
Meinungsforschung
Public opinion research
Umfragen
Surveys/polls
Wahlumfragen
Election surveys/polls
Momentaufnahmen
Current state of opinion
Tracking polls
Tracking polls
Wahlprognosen
Election predictions/forecasts
Exit Polls
Exit Polls
Hochrechnungen
Projection
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
59
www.donsbach.net
Unterscheidungskriterien für sozialwissenschaftliche Befragungen
Grad der Ausschöpfung
der Population
Grad der Standardisierung des Stimulus
Vollerhebung
Random
Stichprobe
Quota
IntensivInterview
offene Fragen
demoskopisches Interview
geschlossene
Face-to-face
Modus der Befragung
schriftlich
CAPI
Paper &
Pencil
CASQ
telefonisch
CATI
Email, Internet
Einmal-Befragung
Zeitliche Abfolge
60
Trend
Mehrfach-Befragung
Panel
www.donsbach.net
61
www.donsbach.net
62
www.donsbach.net
Stichprobenverfahren
S tich prob en
e instufig
E infache
S tich prob en
63
m eh rstu fig
Z u falls-
S yste m a tische
stich prob en
V erfahren
g e sch ich te te
S tich prob en
Vorsortierung nach einem
Merkmal („Schicht) um
über alle Schichten
repräsentative Aussagen
machen zu können (Bsp.
Bundesländer –
große/kleine)
K lum p en
S tich prob en
Q u ote nv erfahren
Auswahl von Sample
Points („Klumpen“),
um nicht
flächendeckend
vorgehen zu müssen
S yste m a tische
A uswa hl
www.donsbach.net
Die ADM-Stichproben (F2F)
Dreistufiges Stichprobensystem bestehend aus:
 Ca. 60.000 Flächen
 Basis: statistische Bezirke (feinste Gliederungsebene der amtlichen Statistik
 Daten aus Volkszählung und Bevölkerungsfortschreibung
 abgegrenzt durch digitalisierte Straßenkarten
 bilden Auswahlgrundlage der F2F-Stichproben
 den für Random-Walk notwendige Startadressen und Vorgaben, wie
Adressen der zu befragenden Privathaushalte auszuwählen sind
 der Vorschrift für Auswahl der Zielperson im Haushalt (Schwedenschlüssel“
oder „next/last birthday“)
Zusätzlich: Design-Gewichtung: Ausgleich unterschiedlicher Auswahlchancen
(Haushaltsgrößen)
64
www.donsbach.net
Die ADM-Stichproben für Telefon-Umfragen
Auswahlgrundlage für Telefonstichproben:
 „Nummernraum“ aller möglichen Festnetznummern, der auch nicht
eingetragenen Telefonnummern berechenbare Auswahlchance gibt,
 „Verortung“ aller Nummern durch Zuordnung der
Gemeinde/Stadtteilkennziffern, in denen diese Nummern mit
bestimmbarer Wahrscheinlichkeit liegen, so dass feinste
Regionalschichtungen möglich sind.
Institute
 ziehen daraus die für ihre konkreten Projekte notwendigen
Telefonstichproben und ermitteln im Kontakt, ob die Nummer existiert
und einem Privathaushalt zugehört,
 wählen mittels „Schwedenschlüssel“ oder „next/last birthday“ die zu
befragenden Personen aus
 Gleichen unterschiedliche Auswahl-Wahrscheinlichkeiten
(Haushaltsgröße) in Datenanalye aus
65
www.donsbach.net
66
www.donsbach.net
67
www.donsbach.net
Unterscheidungskriterien für sozialwissenschaftliche Befragungen
Grad der Ausschöpfung
der Population
Grad der Standardisierung des Stimulus
Vollerhebung
Random
Stichprobe
Quota
IntensivInterview
offene Fragen
demoskopisches Interview
geschlossene
Face-to-face
Modus der Befragung
schriftlich
CAPI
Paper &
Pencil
CASQ
telefonisch
CATI
Email, Internet
Einmal-Befragung
Zeitliche Abfolge
68
Trend
Mehrfach-Befragung
Panel
www.donsbach.net
69
www.donsbach.net
Ebene der theoretischen Konstrukte
Wahl von
Indikatoren
Ebene der Messung
70
www.donsbach.net
71
www.donsbach.net
72
www.donsbach.net
Unterscheidungskriterien für sozialwissenschaftliche Befragungen
Grad der Ausschöpfung
der Population
Grad der Standardisierung des Stimulus
Vollerhebung
Random
Stichprobe
Quota
IntensivInterview
offene Fragen
demoskopisches Interview
geschlossene
Face-to-face
Modus der Befragung
schriftlich
CAPI
Paper &
Pencil
CASQ
telefonisch
CATI
Email, Internet
Einmal-Befragung
Zeitliche Abfolge
73
Trend
Mehrfach-Befragung
Panel
www.donsbach.net
Lazarsfeld et al. 1944
74
www.donsbach.net
Trend versus Panel: Was das Panel kann
1. Erfassen von Veränderungen: Netto vs. individuelle
Veränderungen
2. Ursachen für Wandel: individuelle Veränderungen können
auf Ursachen verfolgt werden
3. Menge der gemessenen Eigenschaften: Zusätzliche Fragen
möglich, da dieselben Personen
4. Daten zu Vergangenheit und Zukunft: Beim Panel nicht auf
Erinnerungsvermögen und eigene Kausal-Attributionen des
Befragten angewiesen
5. Verlässlichkeit der Ergebnisse: Bei Trend addiert sich
Zufallsfehler von zwei Stichproben auf, beim Panel nicht
75
www.donsbach.net
76
www.donsbach.net
77
www.donsbach.net
78
www.donsbach.net
79
www.donsbach.net
80
www.donsbach.net
Stoiber verliert stärker als Schröder
Tabelle 3: Fluktuation in der Wahrnehmung des Siegers
Einige Tage später
Direkt nach
dem ersten
Duell
Schröder
Unentschieden
Stoiber
Schröder
70%
24%
6%
Unentschieden
24%
54%
22%
Stoiber
15%
17%
68%
Lesebeispiel: 70 Prozent derer, die Schröder direkt nach dem TV-Duell
als Sieger identifizierten, waren wenige Tage später noch immer
dieser Meinung, während 24 Prozent sich nicht mehr sicher waren
bzw. 6 Prozent nun Stoiber den Sieg zusprachen.
81
www.donsbach.net
82
www.donsbach.net
83
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
84
www.donsbach.net
Fehlerarten der Umfrageforschung
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
2.1 Validität
2.2 Reliabilität
85
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51,
S156-S172
www.donsbach.net
Fehlerarten der Umfrageforschung
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
Diskrepanz zwischen Ergebnis einer
Umfrage und Ergebnis einer Vollerhebung
einer bestimmten Einheit, die dadurch
zustandekommt, dass bestimmte
Mitglieder der Grundgesamtheit durch das
Stichprobenverfahren nicht abgedeckt
werden
1.2.1 Interviewer
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
z.B. Repräsentativ für alle Dresdner
Studenten: Sampling über LV-Besuch:
Doktoranden, Urlaubssemester etc. nicht
dabei
2 Validität und Reliabilität
2.1 Validität
z.B. Telefonumfragen: nur Telefonbesitzer
2.2 Reliabilität
86
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51,
S156-S172
www.donsbach.net
Fehlerarten der Umfrageforschung
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
1.2.2 Befragter
Diskrepanz zwischen Ergebnis
und...Grundgesamtheit..., die dadurch
zustandekommt, dass bestimmte
Mitglieder der GG nicht antworten, nicht
mitmachen bei Umfrage
d.h. zwar theoretisch in Stichprobendesign
enthalten, aber aus bestimmten Gründen
nicht befragt
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
Nonresponse wird zu immer größerem
Problem
2.1 Validität
2.2 Reliabilität
87
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51,
S156-S172
www.donsbach.net
Begriffsklärung „Non-Response“
Das Fehlen von Daten eines Teils oder aller Variablen für die
ausgewählten Einheiten einer Stichprobe (Schnell, 1997, S. 17)
NonResponse
ItemNonresponse
Nicht-Erreichte
88
UnitNonresponse
Verweigerer
Befragungsunfähige
www.donsbach.net
89
www.donsbach.net
90
www.donsbach.net
91
www.donsbach.net
92
www.donsbach.net
Fazit Curtin et al.
 Response rate on the Survey of Consumer Attitudes has declined
dramatically over the past quarter century, averaging roughly one percentage
point a year.
 Moreover, the decline has accelerated in the last few years. In contrast to
an average annual decline in response rate of 0.74 percentage points from 1979
to 96, the yearly decline averaged 1.50 points between 1997 and 2003.
 Refusals increased an average of 0.21 percentage points per year between 1979
and 2003, whereas noncontacts increased by 0.63 points.
 Thus, the perception that it has become increasingly difficult to contact
households by telephone, and that noncontacts have become a more
substantial part of nonresponse, is borne out by these data.
!
!
93
However, the relative role of noncontacts and refusals has recently reversed.
Although the growth in nonresponse from 1979 to 1996 was driven mainly by
rising noncontacts, the even steeper nonresponse rise after 1996 was due
mainly to a rise in refusals.
www.donsbach.net
Entwicklung von Response Rates (persönlich-mündlich)
Rückgang der
Ausschöpfungsquoten um ca. 5%
Beginn 90er:
Ausschöpfungsquoten im Mittel
noch über 70%
Unterschiede zw.
Instituten
94
Schnell, 1997, S. 76ff.
www.donsbach.net
Entwicklung von Response Rates (persönlich-mündlich)
Verweigerungs-
rate Ende 60er
Jahre bei 10%,
Anfang 90er bei
19%
Zunahme
Streuung der
Verweigerungsrate pro
Erhebungsjahr
95
Schnell, 1997, S. 84ff.
www.donsbach.net
Ursachen?
Seitens Befragter
–
–
–
–
„Oversurveying“
Angst vor Kriminalität
Datenschutz
Negative Erfahrungen
Seitens Umfrageinstitute
– Motivation der Interviewer
– Zeitdruck
– Zunehmend aufwändigere
Befragungsdesigns
The most promising explanation to account for the SCA increase in
both refusals and noncontacts over the past 25 years may be the
rapid growth in sales and survey phone calls during the period,
though further work is required to document this.
Curtin et al. 2005
96
www.donsbach.net
ZUMA-Nachrichten 57, November
2005
97
www.donsbach.net
98
www.donsbach.net
99
www.donsbach.net
100
www.donsbach.net
101
www.donsbach.net
ZUMA-Nachrichten 57, November
2005
102
www.donsbach.net
103
www.donsbach.net
104
www.donsbach.net
105
www.donsbach.net
*
* „keine Zeit“, „krank“, „alt etc.
106
www.donsbach.net
Erklärung?
• Motivation gestärkt? (Commitment)
• Selbstvertrauen, dass man Fragen beantworten kann?
107
www.donsbach.net
Fehlerarten der Umfrageforschung
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
Diskrepanz zwischen ...., die dadurch
zustande kommt, dass bestimmte
Mitglieder der GG ganz bewusst
ausgeklammert wurden, weil man ein
Subset, eben eine Stichprobe gezogen hat
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
2.1 Validität
2.2 Reliabilität
108
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51,
S156-S172
www.donsbach.net
109
Quelle: tns emnid
www.donsbach.net
Gliederung
 Demoskopie und öffentliche Meinung
 Ursprünge
 Beginn und Entwicklung der modernen Demoskopie
 Nomenklatur
 Unterscheidungskriterien für Befragungen
 Fehlerquellen
 Literatur
110
www.donsbach.net
Literatur
Abschnitte aus allgemeiner Methoden-Literatur
Atteslander, P. (2000), Methoden der empirischen Sozialforschung,
Berlin/New York: de Gruyter.
Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für
Sozialwissenschaftler: Berlin: Springer.
Brosius, H.B., Koschel, F. (2003). Methoden der empirischen
Kommunikationsforschung. Opladen: Westdeutscher Verlag.
Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt.
Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen:
Westdeutscher Verlag.
Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen
Sozialforschung, München: Oldenbourg.
111
www.donsbach.net
Einführung in die standardisierte Befragung
Donsbach, W. & Traugott, M.W. (eds.): The Sage Handbook of Public Opinion Research. Los
Angeles, London, New Delhi, Singapore: Sage Publications, 2008
Groves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52 (4). 156172.
Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-Verlag.
Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften als
Telefonumfrage. ZUMA-Arbeitsbericht 98(04).
Price, V. & Neijens, P. (1997). Opinion quality in public opinion research. International
Journal of Public Opinion Research 9, 336-360.
Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die Methoden der
Demoskopie. Berlin.: Springer.
Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist:
Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen.
ZUMA-Nachrichten, 22(42).
Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung der
Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein Literaturbericht. ZUMAArbeitsbericht 98(07).
112