Methoden der empirischen Sozialforschung und ihr Einfluss auf Web Surveys. Die Wirkung von Fragebogenelementen

Gliederung

1. Einleitung

2. Erwartungen an die Fragebogen- und Aufgabenlänge

3. Wirkung von Bildern und Farben

4. Design: Gruppierung der Fragebogenelemente mit Blick auf die Gestaltungspsychologie

5. Unterschiedliches Skalenlayout und dessen Wirkung

6. Fazit

7. Literaturverzeichnis

1. Einleitung

Eine Möglichkeit (und die wohl bedeutsamste der Sozialwissenschaften) repräsentative, wissenschaftliche Aussagen über Phänomene in der Bevölkerung, oder in Teilen von ihr treffen zu können, ist die Statistik. Die von ihr gelieferten Ergebnisse sind nicht nur für die Weiterentwicklung der Wissenschaft, sondern auch für die Wirtschaft und Gesellschaft (bspw. „Markt-,Meinungs-,Wahl- und Medienforschung“ (Diekmann 2009: 12)) und Teilen von ihr, wie „Parteien, Verbände, Gewerkschaften“ (ebd.) von erheblicher Bedeutung.

Jedoch nicht nur in den Medien, oder in der öffentlichen Meinung treten immer wieder Probleme der Glaubwürdigkeit und Genauigkeit der Ergebnisse und ihrer Interpretation auf (hauptsächlich wegen unsauberer Arbeit, z.B. durch Werturteilen (Diekmann 2009: 72)), auch die Wissenschaft beschäftigt sich zur Erklärung und anschließendem Vermeiden von beeinflussenden Faktoren mit den Methoden der Statistik. Der Zugriff auf zweifelhafte Statistiken scheint einfacher, als der zu seriösen, weshalb Sprüche wie „glaube nur der Statistik, die du selbst gefälscht hast“ Anklang finden. Hinzu kommt auch, dass wissenschaftliche Methoden für das Durchführen oft nicht bekannt sind, oder beachtet werden (dies z.T. sogar zielgerichtet), weder von Autoren, noch den Konsumenten der Statistiken.

Befragte können durch eine Vielzahl von Faktoren beeinflusst werden (Engel 2012: 286), weshalb die Methoden bei der Umfragedurchführung, je nach Fall, auch eine entscheidende Rolle für die Umfrageergebnisse spielen können. Nicht nur der Befragende, oder (andere) Befragte, auch die Wahrnehmung(en) der Frageformulierung und -reihenfolge, Fragebogenelemente und die Skalierung, bzw. das Antwortformat, oder allgemein das Umfrageklima nehmen Einfluss auf das Antwortverhalten und/oder Abbruchquoten des Umfrageteilnehmers (Engel 2012: 68,69, 305-310). Dieser Einfluss kann ausschließlich individueller Natur sein und sich durch irrational erscheinende Handlungen (bzw. Antwortverhalten/Abbruch der Umfrage) äußern, deren mögliche Ursache in der psychosoziale Disposition (Huinink 2008: 37), oder dem Habitus, nach Pierre Bourdieu (Huinink 2008: 170- 171) des Individuums liegt, oder zu einem allgemein zutreffenden und somit messbaren Phänomen werden. Die Hausarbeit wird anhand von bereits durchgeführten und ausgewerteten online Umfragen die Effekte von Erwartungen an die Fragebogen- und Aufgabenlänge, von Layout und Bildern, Farbwirkung, Gruppierung von Fragebogenelementen und Skalenlayout skizzieren.

2. Erwartungen an die Fragebogen- und Aufgabenlänge

Da die heutige Technik eine Vielzahl von Möglichkeiten zum Erstellen, Durchführen und Auswerten von Web Surveys (als eine immer beliebtere, vorteilsbehaftete Umfrageart (Diekmann 2009: 520-525)) bietet, ist es schwierig allgemeingültige Aussagen über das Antwortverhalten im Allgemeinen zu treffen. Andererseits gibt es bereits einige Studien, die sich mit unterschiedlichen Methoden der Sozialforschung und speziellen, methodisch bedingten Effekten in Umfragen beschäftigen.

Eine besonders wichtige Konstante für Sozialforscher ist die Abbruchquote in Umfragen, welche die Ergebnisse stark beeinträchtigen kann und somit möglichst niedrig gehalten werden sollte. Möglichkeiten um Anreize für das Starten und auch Beenden einer Umfrage zu generieren sind Incentives, wie Geld und Gutscheine (nach Weber wert-/ zweckrationale Handlung (Abels 2002: 129) des zu Befragenden) oder das Wecken von Interesse, oder Unterstützungswillen (nach Weber traditionelle / affektuelle Handlung (Abels 2002: 129-130) des zu Befragenden), die durch eine Kontaktaufnahme (Email, Brief, Telefonat) ermöglicht werden können (Engel 2009: 56-57, 67-68, 160-164). Nichtsdestotrotz besteht eine größere Abbruchwahrscheinlichkeit, wenn die Dauer des Fragebogens und der Aufgaben bei der Bearbeitung unterschätzt wird. Genauso hat die Erwartung an die Länge Einfluss auf die Zahl derer, die eine Umfrage beginnen und auch beenden (Yan, Conrad, et al 2010: 132-133). Das lässt vermuten, dass je länger die Bearbeitungsdauer des Fragebogens ist, desto geringer ist auch die Zahl der Teilnehmer und Abbrechenden (Yan, Conrad, et al 2010: 133).

Hinzu kommt, dass Umfrageteilnehmer beim Unterschätzen der Dauer der Aufgaben weniger Zeit zum Erledigen solcher und beim Überschätzen mehr Zeit als erwartet brauchen (Yan, Conrad, et al 2010: 132). Aus diesem Grund werden Progress Indicators eingesetzt, die den Fortschritt beim Beantworten (meist als Prozentzahl) anzeigen und solche Effekte (zumindest bedingt) steuern können (Yan, Conrad, et al 2010: 134). Progress Indicators führen jedoch, besonders in den ersten 5 Minuten der Umfrage, nicht zwangsläufig zu verminderten Abbruchquoten (siehe Anhang Abb.1). Wird der Fortschritt bedingt durch Progress Indicators unterschätzt (z.B. durch eine frühe Rückmeldung), führen solche sogar zu höheren Abbruchquoten (Yan, Conrad, et al 2010: 132, 134-135). Progress Indicators verstärken oder vermindern also die Abbruchquote, je nach mitgeführten Informationen, was allgemein jedoch keine Auswirkung auf die Abbruchquote in langen Umfragen haben sollte (Yan, Conrad, et al 2010: 143-146; siehe Anhang Abb.2).

Somit stellen Progress Indicators eine von vielen Möglichkeiten dar Einfluss auf Abbruchquoten und Bearbeitungszeiten zu nehmen, zu denen noch unzählige multiple Faktoren hinzukommen, die jedoch nicht (oder nur unbewusst) unter der Kontrolle der Befragenden stehen (ebd.). Allgemein ist mit Informationen über Aufgaben- und Fragebogendauer also vorsichtig umzugehen, da sie sich (von Progress Indicators ausgehend eher in kuren Umfragen) auf das Ergebnis der Umfrage auswirken können und somit ein nicht zu vernachlässigender Einflussfaktor für das Verhalten von Umfrageteilnehmern sind.

3. Wirkung von Bildern und Farben

Nachdem der Einfluss von Erwartungen an die Aufgaben- und Fragebogenlänge angedeutet wurde, soll nun das Layout des Fragebogens (also enthaltene Bilder und Farben), als eine anderweitig beeinflussende Konstante, im Mittelpunkt der Betrachtung stehen.

Genau wie Informationen über den Fortschritt der Befragten, können auch Bilder Beginnende- und Abbruchquoten beeinflussen. Beim Testen des Effektes von Bildern ergab sich, dass eine online Umfrage mit Bildern den Befragten entspannter vorkam, als die selbe Umfrage ohne Bilder (Couper, Toepoel 2011: 1). Besonders abstrakte Bilder können systematisch die Antworten einer Umfrage beeinflussen, da Befragte dazu neigen, Gestaltungsmittel als relevant für die Fragestellung einzuordnen (Couper, Toepoel 2011: 1,3). Für die Fragebogenteilnehmer vermitteln Bilder nämlich eine Nachricht, ihre Platzierung sagt etwas über ihre Bedeutung in Bezug auf die Frage aus (Couper, Toepoel 2011: 16). So werden beispielsweise Bilder, die nach der Fragestellung und vor der Antwort platziert werden, von Befragten als Verständnisinstrument der Frage verstanden (ebd.).

Der Kontext einer Frage kann durch Bilder verändert und die Bearbeitungsdauer von Fragebögen, durch eine verkürzte Lesedauer, gesenkt werden (Couper, Toepoel 2011: 3). Auch können solche die Interpretation von Fragen beeinflussen, wenn sie zur Erklärung einer Frage verwendet werden (Tourangeau, Couper, Conrad 2007: 94). Bilder haben jedoch, je nach der Häufigkeit ihrer Nutzung, unterschiedliche Bedeutungen. Somit ist die Reaktion auf häufig genutzte Bilder, die bestimmte Bedeutungen implizieren (Bsp.: Totenkopf, Rotes Kreuz) höher, als auf Bilder (wie ein Kreis, oder eine einzelne Linie), die nicht direkt Assoziationen wecken (Couper, Toepoel 2011: 15).

Trotz des erkennbaren Einflusses von Bildern, werden verbale Hinweise eher beachtet als visuelle, wenn solche sich voneinander unterscheiden (Couper, Toepoel 2011: 1). Ein möglicher Grund könnte sein, dass verbale Anweisungen i.d.R. Bildern vorausgehen (Couper, Toepoel 2011: 16). Zu beachten ist hierbei, dass einschränkende verbale Anweisungen (wie „beachte nicht...“) einen größeren Einfluss als einschließende verbale Anweisungen (wie „beachte alle...“) haben und den Effekt von Bildern stärker reduzieren, als genannte einschließende verbale Anweisungen (ebd.).

Um visuelle Kontexteffekte zu vermeiden ist es wichtig, dass die Frage klar und deutlich, sowie effektiv (bzw. sparsam mit Wörtern) formuliert ist, visuelle, wie verbale Hinweise übereinstimmen und eine eindeutige Botschaft vermitteln (Couper, Toepoel 2011: 17).

Wenn die einzelnen Optionen in einer Antwortskala unterschiedlich gefärbt und/oder schattiert sind (Bsp.: dunkelrot bis -blau), dann wird der Blick des Befragten, eher als bei gleichfarbigen Skalenenden (Bsp.: dunkel- bis hellblau), auf das hohe Ende der Skala (bei einer Skala von 0 bis 10, also zur 10) gelenkt (Tourangeau, Couper 2007: 91). Die Farbeffekte entfallen jedoch, wenn jeder Skalenpunkt eine wörtliche Beschriftung trägt (Tourangeau, Couper 2007: 92).

Aus diesem Kapitel wird deutlich, dass eine einheitliche, logisch nachvollziehbare Form im Fragebogen unabdingbar für unverfälschte Ergebnisse ist. Je klarer die Aufgabenstellung formuliert und mit passenden Bildern untermalt wird, desto größer ist die Wahrscheinlichkeit, dass der Spielraum für Interpretationen von Befragten abnimmt. Hier wird wichtig, dass die Frage nicht zu kompliziert gestellt wird und die Bilder inhaltlich zu der Aufgabenstellung (und Intention der Aufgabenausführung) passen, da sonst mit zusätzlich gezogenen Schlüssen der Umfrageteilnehmer gerechnet werden muss, welche nicht im beabsichtigten Rahmen derer, welche die Umfrage durchführen liegen, da sie Einfluss auf das Antwortverhalten haben können.

[...]