Die Effektstärke unterschiedlicher grafischer Darstellungsarten

Zusammenfassung

Die Effektstärkeneinschätzung anhand graphischer Darstellungen nimmt in alltäglichen und wissenschafts-psychologischen Kontexten eine vermehrte Relevanz zur Abbildung zentraler Inhalte ein. Jedoch zeigen die vor allem zu linearen Trends erhobenen Untersuchungen (z.B. Peebles, 2008), dass hierbei keine Objektivität vorliegt aufgrund subjektiver Urteilsverzerrungen in Abhängigkeit vom Design. 231 Probanden, mehrheitlich Frauen (Durchschnittsalter 36 Jahre) nahmen an einem Online-Experiment mit einem 4 (Domänen: Sozialpsychologie, Medizin, allgemeine Psychologie, Geschlechtsunterschiede) x 3 within-subject-Design (Darstellungsarten: Punktdiagramm, Boxplot, Normalverteilungskurve) der FernUniversität in Hagen teil, bei dem die ermittelten absoluten Abweichungen der subjektiven Schätzungen von cohens d und den tatsächlichen Werten von d analysiert wurden. Die domänenspezifische Auswertung (Geschlechtsunterschiede) stellte einen signifikanten Effekt der Einschätzungen von Überlappungen anhand von Normalverteilungen fest, zeigte aber anhand dieser Diagrammart keine exaktere Schätzung von numerischen Werten und hierbei auch keinen hoch signifikanten Wert auf Grundlage von Punktdiagrammen. Gemäß vorheriger Forschung (z.B. Godau, Vogelsang & Gaschler, 2016) steht die Diagrammlesbarkeit in Abhängigkeit vom Aufgabentyp und bedarf einer verantwortungsvollen Konzeption. Hieran anknüpfend sind bei zukünftigen Replikationen eine ausgewogene Stichprobe (z.B. höhere Probandenanzahl, mehr Männer, Differenzierung von Personenmerkmalen) und eine Überarbeitung des Settings (z.B. verbesserte Lesbarkeit durch visuelle Marker / Dreidimensionalität) angemessen, um verifizierte Implikationen für den Alltags- und den wissenschaftlichen Nutzen grafischer Effektstärken zu erhalten.

Einschätzungen der Effektstärke anhand unterschiedlicher grafischer Darstellungsarten

Die visuelle Darstellung statistischer Werte basiert auf einer langen Tradition und wurde aktuell dank wissenschaftlicher Publikationen vermehrt in den Fokus der Bedeutsamkeit gerückt. Datengraphiken eignen sich, um komplexe Relationen adressatengerecht zu veranschaulichen und indizieren einen Wissenschaftsgehalt (Friendly, 2008; Godau, Vogelsang & Gaschler, 2016). Im psychologischen Forschungsfeld werden vor allem Inferenzstatistiken genutzt, die Wahrscheinlichkeitsaussagen in Bezug auf Populationswerte treffen. Diese Stichprobenverteilung gilt als Basis für inferenzstatistische Verfahren und Methoden. Für die Relevanz von Studienresultaten ist nicht nur die statistische Signifikanz bedeutsam, sondern ebenfalls Größenrelationen und richtungsweisende Tendenzen (z.B. Mittelwert, Standardabweichung, Zusammenhang) (Nachtigall & Wirtz, 2013). Die American Psychological Association (APA, 6th edition, 2009) spricht sich neben dem Bericht von Resultaten empirischer Erhebungen für die Darstellung letzterer in graphischer Form aus, um die inhaltliche Relevanz adäquat visuell zu veranschaulichen. Letztendlich können so unter anderem Effekte der Wirksamkeit bzw. Reichweite von Interventionen / Gegebenheiten interpretiert werden. An dieser Stelle ist zu beachten, dass Effektgrößen nicht nur bei der Datenauswertung, sondern auch schon bei der Studienplanung relevant sein können; u.a. bei der Ermittlung der Stichprobengröße und des Alpha-Fehlers. Ein frequent verwendetes standardisiertes Maß ist cohens d, das Unterschiede zwischen zwei Gruppen quantifiziert. Somit ist es ein Zusammenhangsmaß zwischen zwei Variablen und kann sowohl für abhängige als auch für unabhängige Stichproben definiert werden. Hierbei kann zunächst der Unterschied zwischen den Gruppen als Differenz ermittelt werden und im Anschluss eine Division durch die Standardabweichung erfolgen (Cohen, 1988; Sedlmeier & Renkewitz, 2008; Abbildung 1).

Zum Ablesen der Effektstärke grafischer Darstellungen liegen empirische Befunde vor, die sich zumeist auf lineare Graphiken fokussieren. Die Wahrnehmung nicht-linearer Zusammenhänge ist bis dato nur vereinzelt in Studien analysiert worden (Peebles, 2008; Doherty & Anderson, 2009). Neben der klassischen Darstellung als absolute Normalverteilungskurve ist die Wahl eines Balkendiagramms oder Boxplots sowie eines Streudiagramms / Punktdiagramms möglich. Die Abbildung 2 veranschaulicht zwei überlappende Normalverteilungskurven. Dabei zeigt die blaue Kurve die Gruppe ohne Behandlung (Kontrollgruppe) und die orange Kurve die Probanden mit Behandlung (Experimentalgruppe). Der Wert für cohens d quantifiziert hier den Abstand der Normalverteilungen, d.h. die Unterschiede zwischen den Gruppen in Einheit ihrer gemeinsamen Standardabweichung. Zudem wird das Ausmaß der Überlappung beider Verteilungen ersichtlich. Statt d als Glockenkurve abzubilden, können zwei Punkte in der grafischen Darstellung verwandt und die Abweichungen zwischen den Gruppen quantitativ beschrieben werden (Abbildung 3). Die jeweilige Farbe weist wieder auf die Experimental-oder Kontrollbedingung hin. Das Punktdiagramm gilt als die am meisten verwandte Diagrammart in der Statistik und ist im Allgemeinen als adäquat für eine anschauliche Datenabbildung zu verstehen (Cleveland & McGill, 1984a). Darüber hinaus kann die Wahl eines Boxplots neben der Quantifizierung von d die Streuung der Werte mit abbilden um darauf hinzuweisen, dass nicht alle Probanden einer Gruppe niedrigere Werte als die anderen erzielen (Abbildung 4). Neben den relevanten quantifizierenden Werten zum Gruppenvergleich können in Diagrammen weitere Informationen hinzugefügt und die Vielzahl der visualisierten Aspekte letztendlich erhöht werden (ebd.).

Zur Einschätzung der Größe eines Effekts wurden konkrete Richtlinien aufgestellt. Dabei gilt, dass ein Wert von cohens d= 0.2 als klein, ein Resultat von d= 0.5 als mittelgroß und ein Ergebnis von d= 0.8 als großer Effekt einzustufen ist (Cohen, 1988). Trotz der beschriebenen

Gesetzmäßigkeiten resultiert die Interpretation der Effektstärke anhand von Graphiken aus einer subjektiven Wahrnehmung, welche in Abhängigkeit vom Design (z.B. Diagrammgröße, geometrische Illusionen, Vorhandensein einer Regressionsgeraden) systematischen Verzerrungen unterliegen kann und dementsprechend nicht mit objektiven statistischen Resultaten gleichzusetzen ist (Godau, Vogelsang & Gaschler, 2016; Doherty & Anderson, 2009). In diesem Kontext offenbarten empirische Erhebungen verschiedene Resultate zum Ablesen von Effektgrößen anhand visueller Darstellungen. Harrison et. al. (2014) konnte bei Einschätzungen anhand von linearen Streudiagrammen, welche in psychologischen Kontexten verwandt werden, um u.a. Regressions- und Korrelationszusammenhänge abzubilden, keine Abweichungen in Wahrnehmungen des steigenden oder fallenden Verlaufs erkennen. Eine andere wissenschaftliche Studie von Doherty et. al. (2007) entdeckte bei der Einschätzung von Korrelationen anhand von Streudiagrammen zum Teil charakteristische Fehlerauffälligkeiten, d.h., dass niedrige Korrelationen auf Basis dieser Diagrammart systematisch schlechter wahrgenommen werden konnten. In einer ähnlichen Untersuchung wurden entsprechende Diagramme mit einer steilen Regressionsgerade als systematisch tiefer liegend empfunden (Meyer, Taieb & Flascher, 1997). Resultate weiterer Studien legen nahe, dass bei der Ablesung des Mittelwerts Punktdiagramme gegenüber Balkendiagrammen im Vorteil sind, da dieser bei letzteren eher unterschätzt wird und durch den Ursprung der Balken an der x-Achse die Wertepaare insgesamt größer erscheinen (Jarvenpaa & Dickson, 1988; Peebles, 2008). Trotzdem lag hier bei Punktdiagrammen eine leichte Überschätzung der Mittelwerte vor (ebd.). Darüber hinaus weist die Studie von Peebles (ebd.) darauf hin, dass die korrekte Analyse des Diagramms ebenfalls abhängig vom Aufgabentyp sein kann. Beispielsweise erweist sich ein lineares Diagramm bei der Schätzung von Mittelwerten als hilfreich im Kontrast zu der Auswahl einzelner Itemstufen anhand des Diagramms. Zu dieser Annahme gelangt auch die Untersuchung von Godau et. al. (2016), die Balkendiagramme zum Ablesen von Mittelwerten nicht empfiehlt, sondern als Darstellung für die Beziehung mehrerer Variablen als vorteilhaft interpretierbar ansieht. Als Resultat dieser Erhebung wird an einen bewussten Einsatz und Gebrauch von Graphen je nach Zielindikation appelliert (Godau, Vogelsang & Gaschler, 2016). Da bislang in der psychologischen Forschung ausgewählte visuelle Darstellungen in limitierten Kontexten auf ihre Lesbarkeit untersucht wurden, wird die bisherige Studienlage aufgenommen und an den Bedarf weiterer experimenteller Erhebungen zur Wahrnehmung von Effektstärken angeknüpft. Insbesondere die hier ausgewertete Domäne Geschlechtsunterschiede gilt in der Gesellschaft als ein tief verankertes Gesprächsthema, das mit zahlreichen Klischees und Vorurteilen versehen ist. Zwar existieren inzwischen zum Beispiel in Bezug auf die mentale Rotation oder auf die sprachliche Kognition fundierte empirische Belege, die sich jedoch zumeist nicht mehrheitlich im Alltagsdenken behaupten und somit viele Geschlechtsstereotype bestehen bleiben (Hausmann, Lautenbacher & Güntürkün, 2007; Neyer & Asendorpf, 2017). Gerade deshalb wird in diesem Bereich ein exaktes Verständnis von Effektstärken als relevant angesehen. Die hier rekrutierten Probanden sind insofern begründbar, als dass sie unterschiedliche Altersstufen mit und ohne statistisches Vorwissen zu einem festgelegten Untersuchungszeitpunkt abbilden, d.h. einer Querschnittstudie mit der Messung zuvor definierter Parametern entsprechen (Dietz, 2006).

Gemäß des ausstehenden Forschungsbedarfs lauten die zentralen Hypothesen der empirischen Erhebung, dass der numerische Wert von Gruppenunterschieden auf Basis von Punktdiagrammen genauer eingeschätzt wird als anhand von Boxplots und überlappenden Normalverteilungskurven (H1). Die Überlappung in den Werten zweier Gruppen wird auf Grundlage von Normalverteilungskurven und Boxplots exakter eingeschätzt als mithilfe von Punktdiagrammen (H2).

Methoden

Stichprobe und demographische Informationen

Im Rahmen der Studienvorbereitung, d.h. zur Planung des Stichprobenumfangs, damit inhaltlich relevante Aspekte sowie Effekte nicht unterschätzt und weniger bedeutsame Punkte überschätzt werden, wurde eine Teststärkenanalyse mit G*Power für eine einfaktorielle Messwiederholungs-ANOVA mit drei Faktorstufen realisiert (Erdfelder et. al., 2007). Hierbei wurde für beide der Studie zugrunde liegenden Hypothesen eine mittlere Effektstärke f (U) = .05 angenommen, die angesteuerte Teststärke auf .80 gesetzt, der Alphafehler wie in den folgenden Analysen .05 (einseitig) und Sphärizität eingestellt. Auf dieser Grundlage erfolgten die Einstellungen: Test familiy: F tests, Statistical test: ANOVA: Repeated measures, within factors, Options: Effect size specification as in SPSS. Die Präregistrierung ergab, dass insgesamt Effektstärken von 163 Probanden für eine valide Interpretation notwendig sind.

Die Studierenden des Moduls empirisch-experimentelles Praktikum des Studiengangs B. Sc. Psychologie der FernUniversität in Hagen waren angehalten, jeweils mindestens fünf Probanden zu rekrutieren, deren Daten über das QuestBack-System Unipark erhoben wurden. Die Teilnehmenden konnten nach der erfolgreichen Partizipation eine Versuchspersonen-Bescheinigung erwerben. Als Ausschlusskriterien galten unter anderem ein Abbruch der Bearbeitung, eine nicht ernsthaft durchgeführte Bearbeitung (z.B. stetige Angabe derselben bzw. keiner Werte bei allen Items oder Angabe einer nicht adäquat durchgeführten Bearbeitung am Studienende bei n =56) eine unvollständige Bearbeitung der Items, so dass fehlende Werte im experimentellen Part vorhanden waren (n =168), sowie eine Ablehnung der Datenverwendung (bei n =9) (Reips, 2002). Letztendlich ergab sich unter Ausschluss von 233 Fällen nach Bereinigung der Daten eine Stichprobengröße von n =231. Die Probanden wurden nach ihrem Geschlecht, Alter sowie dem statistischen Vorwissen befragt. In der Stichprobe überwog der Frauenanteil mit 61.0% (n =141). Das Durchschnittsalter lag bei 36.36 Jahren (SD =13.146). In einer sechsstufigen Likert-Skala stuften die meisten Personen (45%) ihr Wissen als mittelmäßig ein; 35.9% als eher gut. 68.8 % der Teilnehmenden hatten bereits einen Statistikkurs auf Hochschulniveau besucht; davon absolvierten 35.5% erfolgreich eine Prüfung. 55% der Probanden hatten bereits von dem Effektstärkenmaß cohens d gehört und 10.8% von ihnen konnten das Maß schon aufgrund ihres Vorwissens definieren.

[...]