Die Rolle der Stichprobe im internationalen Vergleich

Inhalt

1.) Einleitende Worte und Vorgehensweise

2.) Was hat man unter (internationalem) Vergleich zu verstehen?
2.1.) Versuch einer Definition
2.2.) Schwächen und Probleme des internationalen Vergleichs

3.) Probleme bei der Auswahl der Untersuchungseinheiten
3.1.) Stichprobenauswahl im internationalen Vergleich
3.2.) Systematische Verzerrungen bei der Auswahl („Selection Bias“)
3.3.) Zensierte Daten

4.) Die Problematik der kleinen Fallzahlen („Small N“-Problem)
4.1.) Welche Schwierigkeiten bringt das „Small N“-Problem mit sich?
4.2.) Umgang mit „Small N“-Problemen – Vergrößerung der Stichprobe
4.3.) Umgang mit „Small N“-Problemen – Möglichkeiten des Untersuchungsdesigns

5.) Das „Galton“-Problem
5.1.) Definition und Konsequenzen
5.2.) Lösungsansätze

6.) Conclusio

7.) Literaturverzeichnis

1.) Einleitende Worte und Vorgehensweise

Der internationale Vergleich hat in den letzten Jahren enorm an Bedeutung gewonnen, was die sukzessiv steigende Zahl vergleichender Studien eindrucksvoll belegt (vgl. Øyen 1990 S. 1). Doch ebenso eindrucksvoll wie der Bedeutungsgewinn sind auch die Probleme und Meinungsverschiedenheiten rund um dieses Thema. Wie kaum ein anderes Untersuchungsdesign leiden ländervergleichende Studien unter unklaren Definitionen, Kontroversen und potentiellen Fehlerquellen.

Zunächst versuche ich, eine Definition des internationalen Vergleichs aufzustellen, wobei sich dies aufgrund der wissenschaftlichen Uneinigkeit nicht leicht darstellt. Es wird allerdings schnell klar, dass sich diesbezüglich weniger die Wissenschaftler nicht einigen können, sondern dass das ganze Konstrukt viele Möglichkeiten offen lässt. Entsprechend hielt ich es für sinnvoller, zu Beginn einige dieser Möglichkeiten und potentiellen Interpretationen vorzustellen.

Insbesondere die Stichprobe und deren Auswahl ist sehr fehleranfällig. Zufallsstichproben sind nur selten erwünscht und noch seltener überhaupt adäquat durchführbar. Dies kann eine Reihe von Fehlern provozieren und begünstigt auch bewusste Manipulationen. Weiter sind die Möglichkeiten, eine angemessen große Stichprobe zu erhalten aufgrund der kleinen Grundgesamtheit und theoretischer Beschränkungen äußerst restringiert. Dies verursacht unter anderem, dass Modelle in der Vergleichsforschung häufig überdeterminiert sind, bzw. erhöht Gefahr laufen, dies zu werden. Und selbst dann, wenn man diese zwei elementaren Probleme überwunden haben sollte, bleibt immer noch die Frage nach den Interdependenzen zwischen den Untersuchungseinheiten. Kann man diese in Zeiten der Globalisierung noch überwinden?

Die drei Problempunkte werde ich in eben dieser Reihenfolge bearbeiten und dabei auch stets Lösungsansätze anbieten. Selbstverständlich gibt es in der Vergleichsforschung noch weitere Schwachstellen fernab der Rolle der Stichprobe, doch war ich aufgrund der Komplexität dieser Methode gezwungen, mein Themengebiet sinnvoll einzuschränken.

Die Auswahl der Stichprobe gibt den Ausgangspunkt vor, wobei der eigentliche Startpunkt genau genommen schon vor der Ziehung stattfindet. Dies ist in der Sozialforschung natürlich stets der Fall, doch beim internationalen Vergleich sind Vorüberlegungen diesbezüglich wesentlich spezieller und situationsabhängiger. D.h. während es bei Querschnittserhebungen und Experimenten viele Orientierungspunkte bei der Stichprobenziehung gibt, existiert eine solche mehr oder weniger grobe Mechanik in Vergleichsstudien nur rudimentär bis gar nicht. Wichtige Unterpunkte sind hierbei der „Selection Bias“ und Datenzensierung, wobei es mir wichtig war, beide Aspekte getrennt zu betrachten, weil diese – trotz grundsätzlicher Parallelen – unterschiedlichen Mechanismen unterliegen. Soll heißen: Man darf sich nicht in Sicherheit wiegen, wenn man die Stichprobe auf Basis wohlüberlegter Entscheidungen ausgewählt hat, denn es können noch außerhalb der eigentlichen Auswahlmethodik Fehlerquellen lauern. Direkt daran schließen das „Small N“- und das „Galton-Problem“ an, wobei diese Reihenfolge keine besondere Bedeutung hat. Das Galton-Problem ist bei der Stichprobenziehung ebenso von Bedeutung wie beim Umgang mit kleinen Fallzahlen.

Wichtig ist es mir, insbesondere die Kontroversen in der Forschung aufzuzeigen, bezüglich denen oftmals sehr konträre Positionen existieren. Ich habe mich hierbei stets für die für mich und meine Ziele plausibelsten Positionen entschieden, selbstverständlich auf Basis einer gemeinsamen Logik. Die strittigsten Punkte habe ich zumeist in Fußnoten vermerkt, um den Lesefluss nicht allzu sehr zu behindern. Die oberste Prämisse dieser Arbeit ist es also, die allgemeinen Unstimmigkeiten zu entwirren und Licht in das Pandämonium der zahllosen Positionen zu bringen.

2.) Was hat man unter (internationalem) Vergleich zu verstehen?

2.1.) Versuch einer Definition

Für die Methode des Vergleichs gibt es keine einheitliche und allgemein anerkannte Definition. Im Grunde kann man sagen, dass Sozialwissenschaften immer in irgend einer Form Vergleiche beinhalten.^[1] Wenn man beispielsweise Normen und normatives Verhalten untersucht, so muss man auch wissen, wie Normabweichungen aussehen. Kein soziales Phänomen kann untersucht werden, ohne es mit anderen sozialen Phänomenen zu vergleichen (vgl. Øyen 1990 S. 4).

Wenn man die vergleichende Methode behandelt, darf man auf keinen Fall zu dem Schluss kommen, dass es sich hierbei um eine sehr spezifische Technik oder gar eine Methode zur Datenerfassung handelt. Viel eher stellt sie eine weit gefasste, allgemeine und grundlegende wissenschaftliche Methodik dar (vgl. Lijphart 1971 S. 683). Tatsächlich kann man in der vergleichenden Forschung praktisch alle Daten und Untersuchungsdesigns anwenden: So kann man beispielsweise (Quasi-)Experimente oder Inhaltsanalysen durchführen, Längs- oder Querschnittsdaten, qualitative oder quantitative Daten etc. miteinander vergleichen.

Ziel der Vergleichsforschung ist es, allgemeine, möglichst weit gefasste Regeln für soziale Phänomene und menschliches Verhalten aufzustellen^[2] (vgl. Przeworski und Teune 1970, S. 4). Man versucht, die „richtigen Namen“ der untersuchten Systeme durch Variablen zu ersetzen, also zu „substituieren“. D.h. man fixiert sich nicht auf die spatiotemporalen Parameter (z.B. „Adolf Hitler konnte während der Krisenzeit der Weimarer Republik zum Führer aufsteigen“), sondern stellt theoretische Verallgemeinerungen auf, die probabilistische Schlussfolgerungen zulassen (z.B. „Krisenzeiten begünstigen den Aufstieg charismatischer Führungspersönlichkeiten“). Um solche Gesetzmäßigkeiten aufstellen zu können, muss man die spatiotemporalen Eigenheiten wie Residuen von Variablen ansehen und behandeln (vgl. Przeworski und Teune 1970, S. 25). Natürlich hat diese Verallgemeinerung seine Grenzen; man kann nicht alle Phänomene in einer Theorie erfassen und erklären. Es gilt also, sich sinnvoll zu beschränken.

Solche, nach verallgemeinernde Theorien strebenden Ansätze, nennt man auch „variablenorientiert“ (siehe z.B. Goldthorpe 1997, S. 2). Eine alternative Form stellt der fallorientierte Vergleich dar. Hier geht es nicht darum, die Namen der Systeme durch Variablen zu ersetzen, sondern die Fälle holistisch, also in ihrer Gesamtheit und als Kombination bestimmter Eigenschaften, zu betrachten. Ziel ist es, spezifische Fälle intensiv miteinander zu vergleichen und ihre Ähnlichkeiten bzw. Differenzen kausal zu erklären (vgl. Ragin 1989, S. 35f). Dies verleiht solchen Ansätzen häufig einen heuristischen Charakter. In der Regel sind ihre Schlussfolgerungen deterministischer und nicht probabilistischer Natur, sowie weniger generalisierbar als bei variablenorientierten Vergleichen (ebenda, S. 51f). Die folgenden Ausführungen werden sich vorwiegend auf variablenorientierte Herangehensweisen fokussieren, wobei der Großteil problemlos auf beide Ansichten zutrifft.

Aufgrund dessen, dass die vergleichende Methode sehr weit gefasst ist, haben sich unterschiedliche Forschungsstränge entwickelt: Einige Forscher vergleichen Religionen, Kulturen, Gesellschaften, Normen oder Volkswirtschaften mit einander. Die Methodik dieser Richtungen ist sich in vielerlei Hinsicht sehr ähnlich, doch je nach Untersuchungskonzept gibt es Besonderheiten und spezifische Probleme zu beachten. So kann es sein, dass selbst ein sehr homogenes Land in unterschiedliche Subkulturen unterteilt ist, so dass die Variation innerhalb der Länder größer ist als zwischen ihnen (vgl. Øyen 1990, S.7). Internationaler Vergleich ist demnach also nicht zu verwechseln mit der vergleichenden Methode im Allgemeinen; es kommt darauf an, was man miteinander vergleicht. In der Regel sind dies im internationalen Vergleich Länder oder Nationen.

Hieran schließt sich die nächste Unterscheidung an, nämlich die zwischen synchronen und diachronen Vergleichen. Bei ersteren handelt es sich um Vergleiche mehrerer Merkmalsträger zum selben Zeitpunkt, bei letzteren um Vergleiche einer oder mehrerer Einheiten über die Zeit hinweg (vgl. Gerring 2001, S. 222). Nun würde man intuitiv annehmen, dass international vergleichende Studien eher synchroner Natur sind, doch dies ist nicht im Geringsten der Fall: 52 % aller makrokomparativer Studien verwenden zusätzlich zu ihren Querschnittsdaten auch noch Längsschnittdaten, 15 % der Studien verwenden sogar ausschließlich diachrone Datensätze (vgl. Bollen et al. 1993, S. 337).

Die Attraktivität von Vergleichen derselben Einheiten über die Zeit hinweg, liegt auf der Hand: Zum einen erhöht man so die Anzahl der verfügbaren Fälle (da ja ein Land alleine schon zu zwei Zeitpunkten zwei Fälle ergibt), zum anderen sind diese Fälle sehr gut miteinander vergleichbar (vgl. Gerring 2001, S. 224). Weiter gibt dies dem Vergleich einen quasiexperimentellen Charakter: Man kann ein Land nach einem bestimmten Ereignis (z.B. einer Revolution, einem Regierungswechsel, etc.) mit sich selbst vor eben diesem Ereignis vergleichen, was die Ziehung kausaler Schlussfolgerungen erleichtert.

2.2.) Schwächen und Probleme des internationalen Vergleichs

Die Vergleichsforschung leidet unter vielen Problemen und Schwächen. Fast ein wenig desillusioniert stellt Else Øyen schon auf der ersten Seite ihres Bandes fest: „all the eternal and unsolved problems inherent in sociological research are unfolded when engaging in cross-national studies“ (Øyen 1990, S.1). In der Tat muss man sagen, dass die internationale Vergleichsforschung unter erheblichen Problemen leidet; einige dieser Schwächen teilt sie mit anderen Methoden, einige sind systemimmanent. Folgende Punkte sind zu betonen:

(1) Ein großes Problem ist, dass man praktisch keine Zufallsstichproben ziehen kann. Einerseits kommt dies daher, dass es von der Theorie nicht immer gewünscht ist, andererseits ist dies auch nicht immer möglich. So ist es der Fall, dass weniger als 10 % aller international vergleichenden Untersuchungen zufällig ausgewählte Stichproben verwenden (vgl. Bollen et al. 1993, S. 331). Überhaupt unterliegt die Auswahl der Untersuchungseinheiten etlichen Problemen.
(2) Ein weiteres, enorm wichtiges Problem offenbart sich bezüglich der geringen Größe der Stichproben in („Small N“-Problem). Gerade in variablenorientierten Ansätzen hat man damit zu kämpfen, dass die Grundgesamtheit in der Regel keine größeren Stichproben zulässt.
(3) Zuletzt, vor und nach der Stichprobenziehung, ist das so genannte Galton-Problem ein oft etwas unterschätztes, aber nicht minder wichtiges Thema für den internationalen Vergleich. Aufgrund der Ernsthaftigkeit dieser Problematik, wirkt ihre Minderbeachtung in der Literatur oftmals gar wie ein Zeugnis über die Verlegenheit oder Ratlosigkeit der Forscher diesbezüglich.

In den folgenden beiden Abschnitten werden diese zentralen Schwachpunkte näher beschrieben, sowie Lösungsmöglichkeiten aufgeführt.

[...]

^[1] Dieser Meinung sind unter anderem auch King et al., 1994.

^[2] King et al. sehen dieses Bestreben allerdings etwas kritischer, das sie eher als „schwammig“ und für die komplexe Realität als unangemessen ansehen; sie plädieren eher für konkretere Theorien und Ansätze, die möglichst sparsam, aber dennoch aussagekräftig sind (Siehe King et al. 1994, S. 20f).