Testtheorie. Validität der Skala bei Extraversion

Inhaltsverzeichnis

1. Einleitung

2. Testtheoretische Grundlagen des Begriffs Validität und das methodische Vorgehen

3. Beschreibung und Begründung des eigenen Vorgehens

4. Darstellung der Ergebnisse

5. Möglichkeiten und Kritik der eigenen Skala

6. Literatur

1. Einleitung

Ein psychologischer Test ist ein Verfahren, um psychologisch definierte Fähigkeiten, Fertigkeiten, oder Eigenschaften anhand reflektiver Indikatoren zu messen (Bühner, 2011). Dabei gibt es verschiedene Testarten. Es gibt die Gruppe der Leistungstests zur Ermittlung der Intelligenz, der allgemeinen Leistungsfähigkeit, der Entwicklung oder auch Eignung. Des Weiteren werden Persönlichkeitsentfaltungstests anhand von Formdeuteverfahren, verbal-thematischen Verfahren, oder Gestaltungverfahren, sowie Psychometrische Tests unterschieden. Psychometrische Tests werden als wissenschaftliche Routineverfahren zur Untersuchung empirisch abgrenzbarer Persönlichkeitsmerkmale bezeichnet. Das Ziel ist es, möglichst quantitative Aussagen über den relativen Grad individueller Merkmalsausprägungen zu erhalten (Lienert & Raatz, 1998, zitiert nach Bühner, 2011). Zu den Psychometrischen Persönlichkeitstests gehören nach Bühner (2011) Persönlichkeitsstrukturtests, Einstellungs- und Interessenstests, als auch klinische Tests. So bedienen sie ein breites Spektrum an Anwendungsbereichen wie die Arbeitspsychologie hinsichtlich der Erfassung von Eigenschaften bezüglich einer Eignung (Selektionsdiagnostik), oder die Klinische Psychologie zum Erfassen störungsspezifischer Eigenschaften und Verhaltensweisen. Psychometrische Persönlichkeitstests finden in der Psychologie als empirische Wissenschaft überall dort Anwendung, wo es das Ziel ist, konstruktorientierte Persönlichkeitsmerkmale zu erfassen. Da es sich bei dieser Testart um Selbsteinschätzungen von Probanden handelt, ist ein konstruktorientiertes Erfassen von Persönlichkeitsmerkmalen, dass Rückschlüsse auf ein tatsächliches Verhalten zulässt, nur möglich, wenn der Test auch tatsächlich die Konstrukte misst, die er vorgibt zu messen. Des Weiteren sollten die Konstrukte auch repräsentativ für die jeweiligen Eigenschaften, oder das vorherzusagende Verhalten sein.

Diese Hausarbeit behandelt die Thematik der Validität hinsichtlich eines selbstkonstruierten Psychometrischen Persönlichkeitstest. Die Testkonstruktion fand im Zusammenhang des Seminars „Testtheorie und Testkonstruktion“ unter Leitung von Herrn Mutz statt. Nachfolgend wird zunächst der theoretische Hintergrund des Begriffs der Validität geklärt, welchem sich die Darlegung der methodischen Vorgehensweise zur Berechnung der Validität, für die Skala „Extraversion“ anschließt. Zuletzt werden die Ergebnisse der Berechnungen und eine abschließende kritische Evaluation der als positiv und negativ zu bewertenden Aspekte dargestellt.

2. Testtheoretische Grundlagen des Begriffs Validität und das methodische Vorgehen

Um bestehende diagnostische Verfahren beurteilen sowie neue Verfahren wissenschaftlich fundiert entwickeln zu können, braucht es einen theoretischen Rahmen zur Festlegung eines Standards (Bühner, 2011). Ein solcher Rahmen wurde unter anderem durch die Definition von testtheoretischen Haupt- und Nebengütekriterien gestaltet. Neben der Objektivität und der Reliabilität, stellt die Validität ein testtheoretisches Hauptgütekriterium dar. Bei Mängeln der Objektivität geht es um das Auftreten von Fehlern verschiedenster Art. Diese treten bei der Durchführung eines Test, dessen Auswertung und/oder der Interpretation auf. So kommt es zu einem Folgeprozess. Dieser kann sich in negativer Weise auf die Reliabilität und so auch auf die Validität auswirken. Dies liegt daran, dass die Validität dann nur noch ungenau geschätzt werden kann, da die Validität mit der Kriteriumsreliabilität zusammenhängt (Lienert, 1989, zitiert nach Amelang & Schmitz-Atzert, 2006). Die Validität gilt daher auch als „das Maß der Güte“, denn sie ist gibt Aufschluss darüber, ob ein Test überhaupt das misst, was er zu messen vorgibt. Lässt sich für einen Test eine hohe Validität ermitteln, kann angenommen werden, dass der Test eine hohe Generalisierung bzw. Übertragbarkeit von dem numerischen Relativ der Testskalen auf das empirische Relativ des interessierenden Zielmerkmals zulässt. Wenn dieser Sachverhalt vorliegt, lassen die erfassten Testwerte Vorhersagen auf das zu erwartende Verhalten außerhalb der Testsituation zu (Amelang & Schmitz-Atzert, 2006).

Abgesehen von diesen Grundsatzüberlegungen unterscheidet Bryant (2000, zitiert nach Bühner, 2011) drei grundsätzliche Validitätsarten, erstens die Inhaltsvalidität, zweitens die Kriteriumsvalidität und drittens die Konstruktvalidität. Die Inhaltsvalidität lässt darüber Aussage zu, ob ein Test und somit jedes Item aus dem der Test konzipiert ist, das zu ermittelnde Zielmerkmal ausreichend genau abbildet. Außerdem zeigt sie an, ob sich das Konstrukt von anderen Konstrukten abgrenzt. Des Weiteren spielt auch die Itemmenge eine wesentliche Rolle, denn auch diese hängt damit zusammen, wie genau das Konstrukt abgebildet wird und muss daher repräsentativ sein. Daher bezeichnen Michel und Conrad (1982, zitiert nach Bühner, 2011) dies auch als Repräsentationsschluss. So ist die leitende Fragestellung, ob die gewählten Aufgaben in ihrer Menge und Formulierung die optimale Operationalisierung darstellen. Aufgrund dieser Erklärung wird die Gewährleistung einer hohen Inhaltsvalidität als wichtigster, aber auch als schwieriger Schritt der Testkonstruktion angesehen. Die Schwierigkeit dabei, so postulieren Michel und Conrad (1982, zitiert nach Bühner, 2011), ist die enorm hohe Variabilität an Verhaltensweisen, welche eine Fähigkeit oder Eigenschaft ausmachen. Ein Vorschlag zur Erfassung der Inhaltsvalidität wurde von Murphy und Davidshofer (2001, zitiert nach Bühner, 2011) vorgenommen.

Sie empfehlen als erstes Vorgehen die Inhaltsebene des Konstrukts zu definieren (Fähigkeit, Eigenschaft) und zum anderen festzulegen, welche der generierten Items welche Inhaltsbereiche abdecken. Abschließend soll eine Abstimmung zwischen Teststruktur und der Struktur des Konstrukts vorgenommen werden.

Markus Bühner (2011) findet letztlich auch deutlich kritische Worte im Umgang mit der Inhaltsvalidität. Für sein Empfinden, wird der Inhaltvalidität hinsichtlich der zuvor benannten Schwierigkeiten deutlich zu wenig Berücksichtigung geschenkt. Dies geht auf Kosten des zu validierenden Tests und dessen theoretischer Fundierung.

Bei der Kriteriumsvalidität geht es um die Klärung, ob das gewählte Kriterium, oder auch mehrere gewählte Kriterien das Konstrukt und somit die Testleistung in optimaler Weise wiederspiegelt. Liegt dies so vor, sollte eine hohe Korrelation zwischen den Testkennwerten und den jeweiligen Kriterien vorliegen. Man benennt dies auch als Korrelationsschluss (Bühner, 2011). Als Kriterien können Binnenkriterien sowie Außenkriterien herangezogen werden. Das Binnenkriterium misst den Zusammenhang mit einem anderen bereits validierten Test, der das Konstrukt ebenfalls erfasst. Außenkriterien sind zum Beispiel Vorgesetztenbefragungen, oder Expertenrankings, die mit den Testkennwerten in Zusammenhang gesetzt werden (Amelang & Schmitz-Atzert, 2006). Für den von uns im Seminar konstruierten psychometrischen Test wurde als Binnenkriterium das bereits validierte Freiburger Persönlichkeitsinventar (FPI-R) herangezogen. Die Kriteriumsvalidität selbst, umfasst weitere Arten der Validität, welche Bühner (2011) in seinem Werk benennt. Dazu gehört die Differentielle Validität, bei welcher ein Test zwischen verschiedenen Merkmalen differenzieren kann, wie zum Beispiel die SKID-Tests, oder das FPI-R. Außerdem gibt es auch Vorgehensweisen für den Fall, dass sich beim Festlegen von Kriterien im Vornherein Schwierigkeiten ergeben. Man unterscheidet dann vorläufige Kriterien, Zwischenkriterien und endgültige Kriterien. Zudem gibt es zeitliche Aspekte der Validität. Die prädiktive Validität, die konkurrente Validität, die retrospektive Validität und die inkrementelle Validität. Die prädiktive Validität wird auch als Vorhersagevalidität oder prognostische Validität bezeichnet, da sie als Test zur Prognose von Kriterienwerten, die zeitlich sehr viel später anfallen, anzusehen ist. So wird zum Beispiel die Leistung in einem Intelligenztest vor Beginn des Studiums, als Prädiktor herangezogen und mit der späteren Abschlussnote korreliert. Die konkurrente Validität bezeichnet eine Korrelation mit zeitlich annähernd simultan erhobenen Kriterien. Möglich wäre zum Beispiel die Korrelation eines Arztberichtes einer medizinischen Untersuchung als Außenkriterium und die direkt darauffolgende Beantwortung von Testfragen eines klinischen Tests. Bei der retrospektiven Validität wird eine Korrelation zwischen schon zurückliegenden Kriterien, also Kriterien die schon vorher ermittelt wurden, wie zum Beispiel der Abschlussnote der zehnten Klasse und einem Intelligenztest während des Abiturs, vorgenommen. Die Inkrementelle Validität befasst sich mit dem wissenschaftlichen Nutzen eines weiteren Tests, denn sie betrachtet das Ausmaß, indem eine Verbesserung der Vorhersage eines Tests durch Hinzunahme eines weiteren Tests erfolgt.

Abschließend bleibt noch die Konstruktvalidität zu erwähnen. Durch die Konstruktvalidität soll ermittelt werden, ob ein Test theoretisch tatsächlich die Eigenschaften oder Fähigkeiten misst, die er im Rahmen des Zielkonstrukts messen soll. Das heißt, es werden Hypothesen generiert und überprüft, welches einem deduktiven Vorgehen entspricht. Daher wird die Konstruktvalidität auch oftmals als die übergeordnete Validität angesehen. Bühner (2011) beschreibt zur Ermittlung der Konstruktvalidität mehrere Ansatzmöglichkeiten. Eine davon stellt neben der faktoriellen Validität, die divergente oder auch diskriminante und konvergente Validität dar. Bei der divergenten Validität sollte der Zusammenhang gering ausfallen, oder nicht vorhanden sein, da der Test ein anderes Konstrukt messen soll als der Ausgangstest. Bei der konvergenten Validität hingegen sollten die beiden Tests hoch miteinander korrelieren, da sie das gleiche Konstrukt zu messen beanspruchen. Ein Problem kann jedoch entstehen, wenn der Vergleichstest selbst eine unzureichende Inhaltsvalidität hat. Eine Lösung des Problems kann der zwar aufwendige aber auch gründlich vorgehende Multitrait-Multimethod-Ansatz sein. Bei ihm geht es darum das Konstrukt durch eine Systematisierung von Korrelationen von mehreren Seiten her einzukreisen. Es gilt als Grundsatz, je mehr Methoden zur Absicherung der Konstruktvalidierung, desto besser. Das Vorgehen wäre im ersten Schritt eine Korrelation des Tests mit mehreren Außenkriterien. Im zweiten Schritt würde man Korrelationen des Tests mit Innenkriterien vornehmen. Anschließend korreliert man den Test mit Tests, die andere Persönlichkeitsmerkmale messen, woraufhin man dann eine Faktorenanalyse des Tests mit den drei zuvor genannten Aspekten durchführt. Nachfolgend analysiert man die interindividuellen Unterschiede der Testresultate und die intraindividuellen Differenzen bei Messwiederholung mit und ohne systematischer Variation der Durchführungsbedingungen. Letztlich folgt noch eine Inhaltlich-logische Analyse der einzelnen Testelemente.

[...]