Probleme der Inhaltsanalyse

Inhaltsverzeichnis:

1. Einleitung

2. Gütekriterien
2.1 Objektivität
2.2 Reliabilität
2.3 Validität

3. Schluss

4. Literaturverzeichnis

1. Einleitung

Das vorliegende Essay ist als eine Art Wertung der im Seminar durchgeführten Inhaltsanalyse zu verstehen und versucht mit diesem Anliegen zweierlei zu leisten.

Einerseits soll es eine kurze, abschnittsweise Wiedergabe der Projektarbeit sein und unter diesem Gesichtspunkt als eine Art Protokoll verstanden werden.

Andererseits soll es eine allgemeine Beschreibung von Problemen bei der Inhaltsanalyse liefern, diese Probleme auf unser Projekt fokussierend diskutieren und dadurch Konsequenzen, in bezug auf die Aussagekraft unserer erhobenen Daten und den daraus gewonnenen Inferenzen, angeben.

Der Schwerpunkt meiner Arbeit wird dabei auf den Gütekriterien einer (unserer) empirischen Untersuchung bzw. Messung liegen.

Neben dieser Betrachtung möchte ich aber auch auf das „Kernstück jeder Inhaltsanalyse – das Kategoriensystem –“ (Diekmann 2004) eingehen und speziell die an ein solches gestellten Anforderungen berücksichtigen.^[1]

Die Forschungsfrage dieser Ausarbeitung zielt somit darauf ab, ob die Ergebnisse aus dem Proseminar „Inhaltsanalysen zum Image der Bundespolizei (früher Bundesgrenzschutz) in den Medien“ brauchbar sind (im Sinne der Gütekriterien) und ob eine gültige Aussage über das theoretische Konstrukt (Image der Bundespolizei), welches gemessen werden sollte, wirklich getroffen werden kann.

Aus Platzgründen verzichte ich auf eine einleitende Beschreibung der Vor- und Nachteile der Inhaltsanalyse und setze sie als gegeben voraus, möchte aber dennoch auf einen der schwerwiegenden Nachteile zu sprechen kommen.

Ein großes Problem liegt in der Datenerhebung selbst. Es ist kaum objektiv bestimmbar, welches die repräsentativen Quellen sind, um Rückschlüsse auf die Realität zuzulassen. Speziell mit Bezug auf die Medien ist somit immer zu fragen, ob die Stichprobe den Untersuchungsgegenstand oder die (selektive) Berichterstattung über diesen abbildet. Weitere Probleme, zum Beispiel den Interpretationsspielraum der Kodierer („Inter-Coder-Reliabilität“) oder Lerneffekte während des Kodierens („Intra-Coder-Reliabilität“), werde ich unter Bezugnahme unseres Projektes in den entsprechenden Punkten behandeln.

Die Inhaltsanalyse der Artikel verschiedenster Zeitungen erlaubt Rückschlüsse auf die Meinung über- und das Image der Bundespolizei^[2] seitens des Senders. Dieser wiederum spiegelt – je nach Zeitung – bestimmte gesellschaftliche Gruppen und in diesen Gruppen – quasi der Leserschaft der Zeitung – das vorherrschende Meinungsklima wider. Es wird davon ausgegangen, dass in der Mehrheit der präsentierte Einstellungsindex der Zeitung mit dem seiner Leserschaft korreliert.

Um einen ersten Überblick über die Ergebnisse zu erlangen, ziehen wir an dieser Stelle die Variable “Gesamteindruck des Artikels“ heran. Es wird vorausgesetzt, dass bei einem positiven Gesamteindruck auch ein positives Image vermittelt wird. 150 Artikel wurden von uns insgesamt kodiert. Lässt man die 58 Artikel außer acht, in denen keine Angabe möglich war^[3], als auch die 8 Artikel, die positiv als auch negativ kodiert wurden, so haben wir 63 positive (>positiv< als auch >eher positiv<) gegenüber 21 negativen (>eher negativ<, >negativ< und >sehr negativ<), was einem Verhältnis von 3/1 entspricht. Es wird also dreimal mehr mit einem positiven Gesamteindruck als mit einem negativen berichtet.

Daraus lässt sich augenscheinlich schlussfolgern, dass das Image der BP wohl eher positiv als negativ sein wird.

Ob dieses Urteil über das Image der BP in den Medien nun mit dem wirklichen Image der BP in den Medien übereinstimmt oder nicht, sei dahingestellt, und es ist nicht Anliegen dieses Essays, diese Frage zu beantworten. Vielmehr soll darauf eingegangen werden, welche Probleme diesem Resultat in der Erhebung der Daten innewohnen und wodurch es zu Fehlschlüssen im Bezug auf die Auswertung unserer Analyse kommen kann.

© Ralph Paschwitz

2. Gütekriterien

Unter die sogenannten Gütekriterien eines Messinstrumentes fallen die Objektivität, die Reliabilität und die Validität, wobei die drei Kriterien in einem hierarchischen Verhältnis zueinander stehen. Validität baut dabei auf Reliabilität und Reliabilität auf Objektivität auf (Diekmann 2004). Valide Messinstrumente setzen als Mindestanforderungen also Reliabilität und Objektivität voraus, um mit ihnen valide Daten erhalten zu können, aus denen sich Schlussfolgerungen, Hypothesen oder Theorien entwickeln lassen.

Das Messinstrument in unserem Projekt war das erarbeitete Kategoriensystem.

Neben Objektivität, Reliabilität und Validität gilt es das Augenmerk allerdings auch auf ein weiteres Kriterium zu legen und zwar- auf die Repräsentativität. Nachdem geklärt wurde, nach welchen Merkmalen unseres theoretischen Konstruktes genau gesucht werden sollte (Operationalisierung des Image der BP), galt es festzulegen, in welchen Medien dies zu geschehen hatte. Wir entschieden uns für Printmedien^[4].

Allerdings blieben gewisse Einstellungslinien der verschiedenen Zeitungen (FAZ eher konservativ – SZ eher liberal) oder andere Aspekte in diesem Zusammenhang^[5] von vornherein unberücksichtigt, wodurch ein Medienbias zumindest denkbar wird. Vielmehr ging es uns in unserem Projekt, aus verständlichen Gründen, um die Verfügbarkeit der zu analysierenden Medien und um die größtmögliche Auflagenquote. Auch eine metaphorische Repräsentativität^[6] ist damit, unter dem Verweis auf die gemachten Ausführungen, allerdings nicht erreicht.

Gütekriterien gelten allerdings nicht nur für das Messinstrument im speziellen, sondern auch für dessen Variablen. Diekmann beschreibt die Anforderungen an das Kategoriensystem in Analogie zu den Anforderungen an Kategorien von Variablen in Befragungen. Die Kategorien sollen sich ausschließen, ein Konstrukt erschöpfend abbilden und präzise formuliert sein. Dass es einige Probleme mit unseren Kategorien/Variablen gegeben hat, machte nicht zuletzt der miserable Pretest deutlich, auf den ich weiter unten noch zu sprechen kommen werde, doch denke ich, dass durch die Überarbeitungen, die danach und wiederholt vorgenommen wurden, diese Kriterien im groben erfüllt worden sind^[7].

2.1 Objektivität

Wir befinden uns nun in dem Projektstadium, in dem das Kategoriensystem formal erstellt ist und die “Vorarbeiten“, wie Operationalisierung des Image der BP oder die Festlegung der zu analysierenden Medien, abgeschlossen sind.

Der Fokus sollte jetzt auf Objektivität, Reliabilität und Validität des Messinstrumentes liegen.

Die Objektivität einer Messung meint den Grad an Übereinstimmung der Ergebnisse, der erreicht wird, wenn mehrere Personen mit ein und demselben Messinstrument an dem gleichen Untersuchungsgegenstand arbeiten. Um die Objektivität zu bestimmen, können wir an dieser Stelle den Pretest heranziehen, der wie schon erwähnt, deutlich schlechter als gewünscht ausfiel. Ca. 20 Kodierer hatten bei dem gleichen Artikel keine einzige, alle Kategorien umfassende Übereinstimmung erreicht. Der Korrelationskoeffizient dürfte also nahe 0 gelegen haben. Etwas differenzierter gesehen, ließ speziell unsere Auswertungsobjektivität zu wünschen übrig. Dieses Faktum kann zum Beispiel an einer schlechten Kodiererschulung liegen, welche ich für unseren höchstwahrscheinlich schlechten Korrelationskoeffizienten verantwortlich mache. Unser Pretest offenbarte also eine sehr geringe Objektivität der Messung. Als Konsequenz dieses “Fehlschlags“ wurde das Kategoriensystem überarbeitet und vor allem durch genauere Anweisungen für die Kodierer erweitert. Auch eine Diskussion über “besonders schwierig zu kodierende Variable“^[8] schloss sich unserem Pretest an und kann in diesem Kontext als Kodiererschulung bezeichnet werden, doch war diese bei weitem nicht ausreichend und konnte aus Zeitgründen auch nicht alle unterschiedlich kodierten Variablen beinhalten. Als eine ausreichende Kodiererschulung kann man es darum nicht bezeichnen, und dem Test folgte auch kein weiterer, was ich bei einem solchen Resultat als durchaus notwendig erachtet hätte, um die Ergebnisse der Überarbeitung zu überprüfen. © Ralph Paschwitz

2.2 Reliabilität

Die Reliabilität ist ein stärkeres Kriterium als die Objektivität eines Messinstrumentes und meint die Zuverlässigkeit der Messung, also ob bei gleichem Analysematerial und gleichem Kategoriensystem die gleichen Ergebnisse erzielt werden. Reliable wissenschaftliche Resultate sind demzufolge frei von Zufallsfehlern.^[9] Doch genau das war bei unserer Analyse nicht der Fall. Generell lassen sich zwei Arten der Reliabilität unterscheiden, zum Einen die Interkoderreliabilität^[10] und zum Anderen die Intrakoderreliabilität^[11]. Beide Typen lassen sich testen, und deren Güte kann durch Korrelationskoeffizienten bestimmt werden. Unser Pretest kann als ein Test auf die Interkoderreliabilität verstanden werden, und anhand des Ergebnisses lässt sich demzufolge feststellen, dass unsere Interkoderreliabilität sehr schlecht war. Hätten wir einen Korrelationskoeffizienten berechnet, hätte dieser, wie weiter oben schon erwähnt, nahe null gelegen. Einen Test zur Bestimmung der Intrakoderreliabilität haben wir nicht durchgeführt, doch postuliere ich, dass dieser ebenso unbrauchbar ausgefallen wäre wie die Reliabilität zwischen den Kodierern. Als einen Grund möchte ich an dieser Stelle vor allem die unkontrollierbare Kodierersituation^[12], als auch die mangelnde Kodiererschulung nennen. So bleibt also festzuhalten, dass neben der mangelnden Objektivität auch eine geringe Reliabilität unsere Analyse auszeichnete. Da eine hohe Reliabilität Objektivität voraussetzt, war dies aber auch zu erwarten. © Ralph Paschwitz

2.3 Validität

Als letztes Gütekriterium möchte ich die Validität etwas näher betrachten, auch wenn eine (hohe) Validität, schon durch die nicht hinreichenden Gütekriterien der Objektivität und Reliabilität, nicht gewährleistet ist. Allerdings ist an dieser Stelle anzumerken, dass objektive und reliable Messinstrumente nicht notwendigerweise valide sein müssen. Das Problem bei der Validität liegt darin, auch wirklich gültige Messinstrumente zu erstellen.

Die Validität trifft Aussagen über die Messgenauigkeit eines Tests im Hinblick auf das theoretische Konstrukt und gibt demnach den Grad der Genauigkeit an, mit dem ein Test auch wirklich dasjenige Merkmal, das er messen soll – oder was er zu messen vorgibt – auch wirklich misst.

Wie bei der Reliabilität wird auch die Validität in mehrere Aspekte unterteilt, um sie präziser bestimmen zu können. Unterschieden werden drei Formen der Validität^[13]. Wie beschrieben lassen sich alle drei Validitätstypen prüfen, doch in nicht einem einzigen Fall haben wir es in unserem Projekt getan. Eine nachträgliche Beurteilung meinerseits kann bei weitem nicht in gleichem Maße hinreichend sein, wie eine Überprüfung anhand der kumulierten Ideen aller beteiligten Kursteilnehmer, doch möchte ich eine solche trotzdem versuchen.

Ich halte unsere im Proseminar durchgeführte Analyse nach ersten Überlegungen für durchaus Inhaltsvalide, da ich der Meinung bin, dass die getroffene Operationalisierung unseres theoretischen Konstrukts „Image der BP in den Medien“ eine ausreichende Itemauswahl widerspiegelt. Ein jedes Image besitzt drei Dimensionen: eine affektive, eine kognitive und eine konative Dimension. Diese Trennung von Wissen, Bedeutung und Handlungstendenzen wurde erschöpfend in unser Kategoriensystem übernommen und alle drei Dimensionen durch eine Vielzahl von Variablen dargestellt. Eine Inhaltsvalidität ist durch diesen erschöpfenden Charakter der drei Dimensionen und der Auswahl entsprechender Items gegeben.

Bei weitem schwieriger verhält es sich mit den zwei anderen Ebenen der Validität.

Trotzdem sich die Kriteriumsvalidität mit einem Korrelationskoeffizienten angeben lässt – sofern ein Test für die Erhebung eines solchen durchgeführt wird – ist diese Erfassung nicht einfach durch Überlegungen zu tätigen, sondern erfordert aufwendige neue Forschung. Ein Test der Übereinstimmungsvalidität könnte darin bestehen, die Zeitungen anhand dessen Berichterstattung in eher positive Imagevermittlung oder eher negative Imagevermittlung der BP einzuteilen und mit dem Klientel zu vergleichen, welches die verschiedenen Zeitungen kauft.^[14] Ein Test auf Vorhersagevalidität könnte ähnliche Dinge beinhalten und bei vorheriger Einstufung der Medien deren Kaufchancen, bspw. in der Gewerkschaft der Polizei, vorhersagen.

Konstruktvalidität ließe sich ebenfalls testen. Konvergente Validität wäre gegeben, sofern bei der Auswertung der Daten die Inferenzen zwischen den Werten einer Inhaltsanalyse und einer telefonischen Befragung zum Thema „Image der BP in den Medien“ stark korrelieren. Diskriminante Välidität hätte in unserer Inhaltsanalyse vorgelegen, wenn mit unserem Kategoriensystem noch bspw. das „Image der Medien innerhalb der BP“ gemessen worden wäre. Diese Korrelation hätte gering ausfallen müssen.

Die Validität besitzt bei weitem die vielschichtigsten Dimensionen gegenüber den anderen Gütekriterien und ist damit am kompliziertesten zu überprüfen oder nachzuweisen. Es ist mir allerdings wichtig zu sagen, dass die besten methodischen Ergebnisse in unserem Projekt, nach meiner Einschätzung, im Bereich der Validität erzielt wurden. Ich hoffe, neben diesem Postulat zumindest die Inhaltsvalidität ausreichend belegt zu haben.

Auch wenn die beiden anderen Formen der Validität wahrlich schwieriger zu analysieren sind, denke ich, dass unter methodischen Gesichtspunkten die Gütekriterien in unserer Inhaltsanalyse am ehesten im Bereich der Validität eingehalten wurden, obgleich auch an dieser Stelle keineswegs ausreichend, da die Vorbedingungen der Objektivität und Reliabilität nicht hinreichend erfüllt wurden. © Ralph Paschwitz

3. Schluss

Wie in der Einleitung dargelegt, bildete die Betrachtung der Gütekriterien einer Inhaltsanalyse den Hauptteil meiner Arbeit. Daneben wurden die Variablen im Rahmen der Darstellung des Kategoriensystems behandelt. Als Resümee ist herauszustellen, dass die Gütekriterien der Objektivität und Reliabilität nicht eingehalten wurden,^[15] wodurch keine genügend validen Resultate zu verzeichnen sind, obgleich in diesem Projektabschnitt die besten methodischen Ergebnisse erzielt werden konnten.

Wie oben beschrieben, mussten u.a. durch unzureichende Kodiererschule und eine unkontrollierbare Kodierersituation starke Einbußen in bezug auf Objektivität und Reliabilität in Kauf genommen werden. Neben diesen Problemen ist es wichtig, dass es keinerlei Anreize für die Kodierer gab, reliabel oder objektiv zu arbeiten. So makaber wie es unter dem Hintergrund eines Projektes in einem studentischen Proseminar auch klingen mag, sind bspw. finanzielle Anreize sonst bei jedem anderen Forschungsprojekt in der Wirtschaft gegeben. Innerhalb unserer Analyse fehlte ein solcher oder ähnlicher Anreiz völlig. Wenn ein(e) Student(in) nicht zuverlässig gearbeitet hat, verzerrte dies die Daten unseres Forschungsprogramms, aber hatte ansonsten keinerlei Auswirkungen. Mir ist es wichtig, diese Dinge zu benennen, da es um eine kritische Bewertung geht. Inwiefern solche Probleme – im Kontext von universitärer Lehre und Ausbildung – behoben oder kontrolliert werden können und/oder müssen, ist nicht Anliegen dieser Arbeit und würde hier bei weitem den ohnehin schon knappen Rahmen überfordern. Unter Bezugnahme der verschiedenen Zeitungen und Zeitschriften, jedoch vor allem derjenigen, welche nicht in die Analyse mit einflossen, stellt sich die Frage, ob es sich bei den Resultaten um ein getreues Abbild der Wirklichkeit handelt, oder lediglich um ein quantifiziertes und schematisiertes Abbild eines bestimmten Teils der Medienberichterstattung. Ein weiteres Problem liegt in der Zeit der Berichterstattung. Zur Zeit der Fußball-WM dürften Polizei als auch BP überproportional rezipiert worden sein. In direktem bezug zu den erhobenen Daten möchte ich auf zwei weitere Besonderheiten aufmerksam machen: Bei „Frankfurter Rundschau“, „Die Welt“ und vor allem „Berliner Morgenpost“ konnten fast nie Angaben zu der Variablen „Gesamteindruck des Artikels“ gemacht werden. Bei „Die Welt“ war das sogar in 100% der Kodierungen (allerdings nur 6 Artikel kodiert) der Fall. In den Fällen, in denen noch weitere Angaben möglich waren, wurde in jeder Erhebung eine positive Variable kodiert. Welche Aussagen lassen sich zu diesem Sachverhalt nun treffen? Es ist hier nicht festzustellen, was oder wer für diese Art der Kodierung verantwortlich ist. Hat der Kodierer eine von vornherein positive Grundeinstellung zur BP, welche ihn bei seiner Kodierung beeinflusst und wurden die Artikel aus diesem Grund so einseitig erfasst? Liegt es an der Zeitung selbst und ihrer “Stellungnahme“ zu Gunsten der BP? Hat der Kodierer ungewissenhaft gearbeitet, oder sich nur bestimmte Artikel herausgesucht? Wurde in allen Punkten nach Anweisung gearbeitet und sind trotz dieser aufkommenden Fragen die Artikel sogar richtig kodiert worden? Ein weiterer Punkt, der zur Skepsis anregt, ist die Kodierung von lediglich zwei Artikeln, welche mit „sehr negativer Gesamteindruck“ bewertet wurden (Süddeutsche Zeitung). Bei näherer Betrachtung lässt sich nachvollziehen, dass unter 150 kodierten Artikeln diese beiden einzigen „sehr negativen“ von ein und dem selben Kodierer kodiert wurden. Liegt dieser Fakt nun an der negativen Grundeinstellung der „Süddeutschen Zeitung“, am Kodierer, oder ist es einfach eine gültige Kodierung wie jede andere auch, welche aufgrund der geringen Stichprobenzahl so einen Ausreißer darstellt?

Wie auch immer die Antworten auf diese Fragen ausfallen – sofern sie sich überhaupt beantworten lassen – war es mir wichtig, produktive Kritik im Bezug auf Ablauf und Auswertung unserer Inhaltsanalyse zu geben.

Das Anliegen unseres Seminars war es, eine Inhaltsanalyse mit den Studenten durchzuführen und uns so einen Einblick in dieses schwierige Feld der empirischen Sozialforschung zu verschaffen. Dass aus Gründen der Kosten, Machbarkeit und den zeitlichen Schranken, die eine solche Veranstaltung an die Durchführung einer Forschungsarbeit stellt, breite Kritik an dieser ausgeführt werden kann und solche Anmerkungen absolut nötig sind, um der Bildungsaufgabe gerecht zu werden, muss ich nicht weiter begründen, denn gerade dieser Aspekt ist der Sinn der Ausbildung, in einer idealtypischen Denkrichtung.

Durch das Erkennen der nötigen und nicht veränderbaren Differenzen zwischen Lehre und bezahlter Forschung werden die unvermeidbaren und wichtigen Fehler innerhalb der Ausbildungssituation realisiert und können dadurch in späterer Arbeit vermieden werden.

© Ralph Paschwitz

4. Literaturverzeichnis

- Diekmann, Andreas: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Rowohlt Taschenbuch Verlag, Reinbek bei Hamburg, 2004

- Schnell, Rainer/ Hill, Paul B./ Esser, Elke: Methoden der empirischen Sozialforschung. Oldenbourg, München, 1995

[...]

^[1] „Die Aussagekraft einer Inhaltsanalyse steht und fällt mit der sorgfältigen Konstruktion des Kategoriensystems“ (Diekmann 2004 S. 490) Allerdings ist ein unter methodischer Kontrolle und mit Bedacht erstelltes Kategoriensystem bei weitem nicht hinreichend, um brauchbare Daten aus der Erhebung entnehmen zu können.

^[2] Im Folgenden mit BP abgekürzt

^[3] Bei diesen Artikeln wird es sich in grober Mehrheit um bloße Meldungen ohne jegliche Wertung oder Einschätzung seitens des Verfassers handeln, in denen keinerlei positive oder negative Handlungen bzw. Tätigkeiten kommentiert wurden. Beispielsweise: „Die BP hat teilgenommen... ; nimmt Untersuchungen auf... ; wird mit der Verfolgung beauftragt...“ etc. In diesen Fällen wird – nach Kodierereinschätzung – nichts berichtet, dass auf das Image von Leser oder Sender eine Auswirkung haben könnte. Deutlich wird diese Einschätzung daran, dass nur in einer vernachlässigbaren Häufigkeit der Gesamteindruck des Artikels nicht bestimmt werden konnte, wenn über die Variablen „Kontaktaufnahme“, „Auftreten“, „Arbeitsweise“, „Struktur“, „Befugnisse“ und „Aufgabenbereiche“ berichtet wurde. Bei den Variablen „Verbrechensbekämpfung“, „Sicherstellung/Verwahrung“, „Freiheitsentzug“, „Gewaltanwendung“, „Erfolg/Zielerreichung“ und „(angemessene/unangemessene) Gewaltanwendung“ lag die Korrelation sogar bei 100%. D.h., dass in diesen Fällen nicht über entsprechende Variablen berichtet wurde und zur Variable „Gesamteindruck des Artikels“ >>keine Angabe möglich<< kodiert worden ist, oder wie bei „Erfolg/Zielerreichung“ ebenfalls – wie bei „Gesamteindruck des Artikels“ – keine Angabe möglich war.

^[4] Idealerweise müsste man ein Universum inhaltsanalytisch relevanter Quellen bestimmen und aus diesem eine Zufallsauswahl treffen, doch wurde das nicht nur in unserem Projekt nicht getan, sondern ist aus Gründen der Machbarkeit auch im Allgemeinen nicht gängige Praxis.

^[5] Ein weiteres Beispiel ist in diesem Kontext die Frage nach „Seriosität“ bzw. „Unseriosität“. Beide Charakteristika der Medien müssen meines Erachtens zu gleichen Teilen in die Stichprobe einfließen. D.h. in gleicher Menge „seriöse“ als auch „unseriöse“ Zeitungen/Zeitschriften. Aus einem ganz einfachen Grund: Es ist nicht zu erwarten, dass jeder Mensch die gleichen Anforderungen und Wünsche im Bezug auf die Berichterstattung hegt. Nicht anders ist es zu erklären, dass sich „seriöse“ sowie „unseriöse“ Zeitungen auf dem Markt befinden. Bspw. ist die von vielen zögernd belächelte „Bild“, mit einer Auflage von ca. 3.7 Mio. Exemplaren täglich, die meistgelesene Zeitung Deutschlands und hätte damit die Auflagenzahl aller weiteren von uns analysierten Tageszeitungen zusammen übertroffen, sofern sie in unserer Stichprobe berücksichtigt worden wäre. Welcher Leser bzw. welches Medienumfeld (und vorausgesetzt damit einhergehend, welches vermittelte Image über die BP ) wird in unserer Studie dadurch wohl verstärkt einbezogen?

^[6] „Die Redeweise von der <<repräsentativen Stichprobe>> ist nicht mehr als eine Metapher, eine bildhafte Vergleichung“ (Diekmann 2004 S. 368)

^[7] Sofern nicht einfach ein bewährtes Kategoriensystem übernommen wird, schlägt Diekmann eine Teilstichprobe vor, um die gebildeten Kategorien zu überprüfen und anhand der Ergebnisse weiterzuentwickeln. Diese Stichprobe sollte selbst nicht Gegenstand der Haupterhebung sein. Ältere Zeitungsartikel oder Zeitungen und Zeitschriften, welche nicht in unserer Hauptauswahl vorkommen, wären hier denkbar gewesen.

^[8] Gemeint sind die Fälle, in denen es am Häufigsten zu unterschiedlichen Kodierungen gekommen ist.

^[9] Bei Wiederholung der Messung unter gleichen Rahmenbedingungen würden also die gleichen Befunde vorliegen. „Reliabilität [...] ist ein Maß für die Reproduzierbarkeit von Messergebnissen“ (Diekmann 2004)

^[10] Unter Interkoderreliabilität werden die Unterschiede zwischen mindestens zwei verschiedenen Kodierern verstanden. Die Interkoderreliabilität hängt von der Anzahl der Ausprägungen eines Merkmals, der Kodiererschulung, der Sorgfalt der Kodierung und der Güte des Kategoriensystems und seiner Definitionen ab.

^[11] Unter Intrakoderreliabilität werden die Unterschiede zwischen derselben kodierenden Person verstanden. Sie wird von den gleichen Merkmalen wie die Interkoderreliabilität beeinflusst. Dazu kommen allerdings noch Lerneffekte. Zur Messung wird der gleiche Text mit dem gleichen Kategoriensystem von derselben Person zweimal oder öfter in einem zeitlichen Abstand kodiert.

^[12] Durch unkontrollierte Kodierersituationen schleusen sich Zufallsfehler ein, da sich die Lage, in welcher der Kodierer kodiert, unter Umständen bei jeder neuen Variablen ändert. Er wird abgelenkt, bleibt im Bezug auf stetige Sorgfalt unkontrolliert oder unterbricht evtl. seine Kodierung. Zufallsfehlern wird dadurch Platz geboten.

^[13] 1. Inhaltsvalidität: Messinstrumente gelten dann als inhaltsvalide, wenn die Eigenschaften des zu messenden theoretischen Konstruktes, welches gemessen werden soll, in hohem Maße durch die Kategorien des Messinstrumentes repräsentiert werden. Sofern es sich um eine enorm hohe Anzahl von verschiedenen Möglichkeiten handelt, die bei weitem nicht vollständig abgedeckt werden kann, schlägt Diekmann eine möglichst >>repräsentative Itemstichprobe<< aus einem >>hypothetischen Universum<< möglicher Items vor.

2. Kriteriumsvalidität: Unter der Kriteriumsvalidität wird die Korrelation mit anderen empirisch gemessenen (Außen-) Daten verstanden. Diese Erkenntnisse werden als Außenkriterien bezeichnet und müssen mit einem separaten Erhebungsinstrument gewonnen werden. Weiterhin unterscheidet man bei der Kriteriumsvalidität die Übereinstimmungsvalidität (bei einem gesonderten Test eines Außenkriteriums, welcher zeitgleich durchgeführt wird) und die Vorhersagevalidität (bei einem Test, der zu einem späteren Zeitpunkt getätigt wird und bei dem die Ergebnisse anhand des ersten Tests vorhergesagt werden).

3. Die dritte Unterteilung wird als Konstruktvalidität umschrieben. Sofern sich aus dem gemessenen Konstrukt Hypothesen ableiten und sich diese wiederum durch neue empirische Tests belegen lassen, ist Konstruktvalidität gegeben. Auch die Konstruktvalidität wird unterteilt. Ihre Unterarten sind die konvergente und die diskriminante Validität. Wenn ein bekannter Test das zu messende Konstrukt bereits misst und konstrukt-valide ist, dann müssten die Ergebnisse beider Tests stark korrelieren. In einem solchen Fall würde eine konvergente Validität vorliegen. Ein und dasselbe theoretische Konstrukt wurde in diesem Fall mit zwei verschiedenen Messinstrumenten erfasst. Bei der diskriminanten Validität ist es hingegen umgekehrt. Hierbei wird dasselbe Messinstrument für zwei inhaltlich verschiedene Konstrukte verwandt. Die Korrelation der konvergenten Validität sollte in diesem Falle weit über der Korrelation der diskriminanten Validität liegen. Um einen vollständigen Nachweis über die Konstruktvalidität zu gewährleisten, müssen beide – sowohl konvergente als auch diskriminante Validität – gegeben sein.

^[14] Dabei müssten natürlich schon Informationen (Einstellung in bezug auf die BP) über die Käuferschaft anhand anderer Erhebungsinstrumente – bspw. Befragung – gewonnen worden sein.

^[15] An dieser Stelle sei noch einmal auf den im Seminar durchgeführten Pretest hingeweisen.