Die Anwendbarkeit probabilistischer Modelle im Rahmen der Wissensraumtheorie

Inhaltsverzeichnis

1 EINLEITUNG

2 WISSENSRAUMTHEORIE
2.1 EINFÜHRUNG
2.2 BEGRIFFSERKLÄRUNGEN
2.2.1 WISSENSZUSTAND (KNOWLEDGE STATE)
2.2.2 WISSENSSTRUKTUR (KNOWLEDGE STRUCTURE)
2.2.3 WISSENSRAUM (KNOWLEDGE SPACE)
2.2.4 VERMUTUNGSRELATION (SURMISE-RELATION)
2.2.5 BASIS EINES WISSENSRAUMS
2.2.6 ÄQUIVALENTE ITEMS
2.2.7 VERMUTUNGSSYSTEME (SURMISE SYSTEMS)
2.3 ERWEITERUNGEN DER WISSENSRAUMTHEORIE
2.3.1 PROBABILISTISCHE WISSENSSTRUKTUREN
2.3.2 FERTIGKEITEN (SKILLS)
2.4 ZIELE UND PROBLEME DER WISSENSRAUMTHEORIE
2.4.1 ZIELE
2.4.2 PROBLEME
2.5 KONSTRUKTION VON WISSENSSTRUKTUREN
2.5.1 EXPERTENBEFRAGUNGEN
2.5.2 ANNAHME VON DEN AUFGABEN ZU GRUNDE LIEGENDEN FERTIGKEITEN
2.5.2.1 Das disjunktive Modell
2.5.2.2 Das konjunktive Modell
2.5.2.3 Das Kompetenz-Modell
2.5.2.4 Die Komponentenanalyse
2.5.3 GENERIERUNG DER WISSENSSTRUKTUR MITTELS DATENANALYSE
2.5.3.1 Item Tree Analysis (ITA)
2.5.3.2 Kritische Antwortmusterhäufigkeiten (Knowledge State Frequency Analysis)
2.6 STATISTISCHE MAßE FÜR DIE ANPASSUNGSGÜTE VON WISSENSRÄUMEN AUF DATEN
2.6.1 SYMMETRISCHE DISTANZEN
2.6.1.1 Kritik an den mittleren symmetrischen Distanzen
2.6.2 DISTANCE AGREEMENT COEFFICIENT (DA)
2.6.2.1 Kritik am DA Koeffizient
2.6.3 CORRELATIONAL AGREEMENT COEFFICIENT (CA)
2.6.3.1 Kritik am CA Koeffizient
2.6.4 VIOLATIONAL COEFFICIENT (VC)
2.6.5 APP
2.6.5.1 Kritik am APP

3 WISSENSRAUMTHEORIE UND LATENT CLASS ANALYSE
3.1 DIE LATENT CLASS ANALYSE FÜR DICHOTOME DATEN
3.2 GEGENÜBERSTELLUNG
3.3 ALLGEMEINE PROBLEME BEI DER KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN
3.4 DIE ANWENDBARKEIT DER LCA IM RAHMEN DER ITA
3.4.1 MODELLAUSWAHL UND -EVALUIERUNG
3.4.2 DIE ITEM TREE LATENT CLASS ANALYSE (ITLCA)
3.4.3 VERGLEICH DER VERFAHREN ZUR KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN
3.4.4 ERGEBNISSE
3.4.5 VERGLEICH DER ITLCA UND DER KSFA
3.5 KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN MITTELS RESTRINGIERTER LCA
3.6 EINFLUSS DER STICHPROBENGRÖßE AUF DIE RESULTATE DER LATENT CLASS AANALYSE
3.7 DISKUSSION DER ERGEBNISSE

4 WISSENSRAUMTHEORIE UND RASCH MODELL
4.1 DAS ISOP- MODELL VON SCHEIBLECHNER
4.1.1 MODELLTESTS
4.1.2 INDEX DER ISOTONIE
4.2 VERMUTUNGSRELATION, ITEMSCHWIERIGKEITEN UND STOCHASTISCHE DOMINANZ
4.2.1 STOCHASTISCHE DOMINANZ
4.2.1.1 Stochastische Dominanz und Rasch Modell
4.2.1.2 Stochastische Dominanz und ISOP Modell
4.2.1.3 Stochastische Dominanz und Wissensraumtheorie
4.2.2 HERLEITUNGEN UND BEWEISE
4.2.2.1 Nomenklatur und allgemeine Annahmen
4.2.2.2 Dominanz zweier Items, die von einem dritten Item gleich dominiert werden
4.2.2.3 Dominanz zweier Items, die von einem dritten Item unterschiedlich stark dominiert werden
4.2.3 GEGENÜBERSTELLUNG DER DREI MODELLE UNTER VERWENDUNG DER STOCHASTISCHEN DOMINANZEN
4.3 DIE BEDEUTUNG DER VERTEILUNG DER WISSENSZUSTÄNDE FÜR DIE ANNAHME DER EINDIMENSIONALITÄT DER ITEMS
4.4 RE-ANALYSE PUBLIZIERTER DATENSÄTZE
4.4.1 DARSTELLUNG DER REANALYSIERTEN DATENSÄTZE
4.4.2 ERGEBNISSE DER ISOP MODELLKONTROLLEN
4.5 EIGNUNG DER MITTELS RASCH MODELL GESCHÄTZTEN ITEMSCHWIERIGKEITEN ZUR ERSTELLUNG VON WISSENSSTRUKTUREN
4.5.1 WAHRSCHEINLICHKEITSAUFGABEN (HELD, 1993)
4.5.1.1 Ergebnis der Rasch Analyse
4.5.1.1.1 Rasch Analyse des ursprünglichen Datensatzes (WK1) (Held, 1993)
4.5.1.1.2 Raschanalyse des neuen Datensatzes (WK2)
4.5.1.2 Ergebnisse der ISOP Analyse
4.5.1.3 Gegenüberstellung der aus Datensatz WK1 resultierenden Strukturen
4.5.1.4 Gegenüberstellung der aus Datensatz WK2 resultierenden Strukturen
4.5.2 ZAHLENREIHEN ERGÄNZEN
4.5.2.1 Ergebnis der Modellkontrollen zum ISOP Modell
4.5.2.2 Ergebnis der Rasch Analyse
4.5.2.3 Ergebnis der ITA, der ITA* und der KSFA
4.5.2.4 Gegenüberstellung der resultierenden Strukturen
4.5.3 RE-ANALYSE DES DATENSATZES VON BAHRICK AND HALL
4.5.3.1 Ergebnis der unrestringierten LCA
4.5.3.2 Ergebnis der restringierten LCA und ITLCA
4.5.3.3 Ergebnis der Raschanalyse
4.5.3.4 Ergebnis der Modellkontrollen zum ISOP Modell
4.5.3.5 Ergebnis der ITA, der ITA* und der KSFA
4.5.3.6 Gegenüberstellung der resultierenden Strukturen
4.6 SIMULATIONEN ZUR STABILITÄT DES DA UND APP KOEFFIZIENTEN
4.7 DISKUSSION DER ERGEBNISSE DER RE-ANALYSEN

5 GEGENÜBERSTELLUNG VON SKILL - ANSATZ UND LLTM
5.1 DAS LINEAR LOGISTISCHE TEST MODELL
5.2 BESCHREIBUNG DES WMT
5.3 BESCHREIBUNG DER STICHPROBE
5.4 ERSTELLUNG VON WISSENSSTRUKTUREN
5.4.1 MODELL 1
5.4.2 MODELL 2
5.4.3 MODELL 3
5.4.4 MODELL 4
5.5 ERGEBNISSE FÜR 24 ITEMS
5.5.1 WISSENSSTRUKTUREN UND ERGEBNISSE FÜR ALLE ITEMS DES WMT
5.5.2 MODELL 5
5.6 ERGEBNISSE FÜR DIE 15 LLTM KONFORMEN ITEMS DES WMT
5.7 DISKUSSION DER ERGEBNISSE

6 DISKUSSION

7 ZUSAMMENFASSUNG

8 LITERATURVERZEICHNIS

9 ANHANG
9.1 ANHANG A
9.2 ANHANG B
9.3 ANHANG C
9.4 ANHANG D
9.5 ANHANG E
9.6 ANHANG F
9.7 ANHANG G
9.8 ANHANG H

Danksagung

Ich möchte mich an dieser Stelle bei all jenen Menschen bedanken, die mich in den letzten Jahren beim Schreiben dieser Arbeit immer wieder motiviert und auf unterschiedliche Weise unterstützt haben.

An erster Stelle seien Prof. Dr. Anton Formann und Dr. habil. Jürgen Heller genannt. Beide hatten immer wieder ein offenes Ohr, wenn es darum ging, meine Ideen und Gedankengänge zu diskutieren. Diese Diskussionen haben viel dazu beigetragen, Schwachstellen in der Argumentation aufzudecken, aus gedanklichen Sackgassen herauszufinden und die eigene Argumentation zu festigen.

Besonderer Dank geht auch an Manuela. Ihr ist es zu verdanken, dass die Zahl der Tippfehler in dieser Arbeit auf ein Minimum reduziert werden konnte und auch die Beistriche größtenteils an den richtigen Stellen gelandet sind. Nicht zuletzt möchte ich mich bei meiner Familie und meinen Freunden dafür bedanken, dass sie mich in den für ich besonders schwierigen Phasen immer wieder motiviert und mir so aus so manchem „Tief“ herausgeholfen haben.

Abbildungsverzeichnis

Abbildung 2.1 Hasse-Diagramm der Vermutungsrelation des in Bsp. 2.1 beschriebenen quasi-ordinalen Wissensraums

Abbildung 2.2 Aufgaben- und Attributsstruktur

Abbildung 2.3 Vier-Felder-Tafel für 2 Items

Abbildung 2.4 „Gelöst/Nicht-gelöst“-Matrix für k Items

Abbildung 2.5 Hasse-Diagramm der Vermutungsrelation der 5 Items des Beispieldatensatzes

Abbildung 2.6 Hasse-Diagramm der Vermutungsrelation dreier Items sowie die Auftrittswahrscheinlichkeiten der daraus resultierenden Wissenszustände

Abbildung 3.1 Hasse-Diagramm der Vermutungsrelation und Wissenszustände des Wissensraums A

Abbildung 3.2 Hasse-Diagramm der Vermutungsrelation und Wissenszustände des Wissensraums B

Abbildung 3.3 Hasse-Diagramme dreier unterschiedlich stark verbundener Vermutungsrelationen für 4 Items

Abbildung 3.4 Hasse-Diagramm der Vermutungsrelation eines Wissensraumes mit zwei unverbundnen Itemmengen

Abbildung 3.5 Hasse-Diagramme der 5 verschiedenen Vermutungsrelationen

Abbildung 3.6 Wissenszustände der 5 Strukturen

Abbildung 3.7 Verteilung der von den einzelnen Verfahren falsch klassifizierten Antwortmuster

Abbildung 3.8 Hasse-Diagramm der Vermutungsrelation der 5 Items

Abbildung 3.9 Verteilung der Anzahl der von KSFA und LCA falsch klassifizierten Antwortmuster

Abbildung 4.1 Kontingenztafel aller möglichen Antwortkombinationen zweier Items

Abbildung 4.2 Hasse-Diagramm der Vermutungsrelation dreier Items und die Wissenszustände des resultierenden Wissensraums

Abbildung 4.3 Vier-Felder-Tafeln für 3 dichotome Items

Abbildung 4.4 Hasse-Diagramm der Vermutungsrelation der Struktur 5

Abbildung 4.5 Beschreibung der für die Konstruktion der Schachaufgaben verwendeten Motive

Abbildung 4.6 Beispiel für ein Schachproblem mit den Motiven „Gabel“, „Pin“ und „Deckung“

Abbildung 4.7 Aufgaben zum „Zahlenreihen Ergänzen“ sowie deren Komponenten und Attribute

Abbildung 4.8 Elementarkompetenzen der Geometrieaufgaben

Abbildung 4.9 Typisches Beispiel für die „Geometrieaufgaben“ aus dem Wissensbereich um die Satzgruppe des Pythagoras

Abbildung 4.10 Aufgaben zur Teilbarkeitslehre

Abbildung 4.11 Die von Held und Korossy ausgewählten Aufgaben zur elementaren Algebra

Abbildung 4.12 Beschreibung der für die Konstruktion der Schachaufgaben verwendeten Motive 102

Abbildung 4.13 Beispiel für ein Schachproblem mit den Motiven „Elimination“, „Deckung“ und „Patt“

Abbildung 4.14 Beispiele für die von Wesiak verwendeten vier Aufgabentypen

Abbildung 5.1 Typisches Beispiel des WMT

Abbildung 5.2 Rohscoreverteilung des WMT

Abbildung 5.3 Ordnung der Attribute der 3 Faktoren 145

Tabellenverzeichnis

Tabelle 2.1 Ergebnisse der ITA Analysen

Tabelle 3.1 Auftrittswahrscheinlichkeiten der Antwortmuster in Abhängigkeit von der Wissenszustandsverteilung des Wissensraums A sowie den itemspezifischen Fehlerwahrscheinlichkeiten

Tabelle 3.2 Auftrittswahrscheinlichkeiten der Antwortmuster in Abhängigkeit von der Stateverteilung des

Wissensraums B sowie den itemspezifischen Fehlerwahrscheinlichkeiten

Tabelle 3.3 Wissenszustände und deren Auftrittswahrscheinlichkeiten in der High- und Low Score Variante

Tabelle 3.4 Scoreverteilung der Normalverteilungsbedingung

Tabelle 3.5 Vergleich der 4 Verfahren hinsichtlich der Zahl korrekt reproduzierter Wissensstrukturen und falsch klassifizierter Antwortmuster

Tabelle 3.6 Ergebnis des Friedman Tests zum Vergleich der 4 Methoden hinsichtlich der Anzahl falsch klassifizierter Antwortmuster

Tabelle 3.7 Ergebnisse der Friedman Tests zum Vergleich der 4 Methoden pro Verteilung

Tabelle 3.8 Ergebnisse der Wilcoxon Tests zum Vergleich von KSFA und ITLCA pro Verteilung

Tabelle 3.9 Ergebnisse der 4 Methoden pro Simulationsbedingung

Tabelle 3.10 Ergebnisse der Kruskal Wallis Tests zum Vergleich der Strukturen

Tabelle 3.11 Ergebnisse der Kruskal Wallis Tests pro Verfahren hinsichtlich der Zahl der falsch klassifizierten Antwortmuster pro Verteilung

Tabelle 3.12 Mittelwerte der absoluten Abweichungen der mittels ITLCA geschätzten von den in der Simulation verwendeten Fehlerwahrscheinlichkeiten

Tabelle 3.13 LCA Ergebnis für ITA Lösung mit 28 Wissenszuständen

Tabelle 3.14 Ergebnisse der Pearson-F² und Likelihoodquotiententests (L²)

Tabelle 3.15 LCA Ergebnisse für ITA Lösungen mit 36 und 16 Wissenszuständen (States)

Tabelle 3.16 Ergebnisse der F² und Likelihoodquotiententests (L²)

Tabelle 3.17 Ergebnisse der ITLCA für Datensatz 1

Tabelle 3.18 Ergebnisse der ITLCA für Datensatz 2

Tabelle 3.19 Wissenszustände der Strukturen 6 und 7 und deren Auftrittswahrscheinlichkeiten

Tabelle 3.20 Einfluss der Stichprobengröße auf die Zahl der pro Methode und Struktur falsch klassifizierten

Antwortmuster

Tabelle 3.21 Einfluss der Stichprobengröße auf die Zahl der pro Methode falsch klassifizierten Antwortmuster

Tabelle 3.22 Einfluss der Stichprobengröße auf die Zahl der pro Methode und Simulationsbedingung falsch klassifizierten Antwortmuster

Tabelle 3.23 Wilcoxon Tests zum Vergleich der Anzahl von ITLCA und der KSFA pro Struktur falsch klassifizierter Antwortmuster (N= 150) 74

Tabelle 3.24 Wilcoxon Tests zum Vergleich der Zahl von ITLCA und KSFA pro Verteilung falsch klassifizierten Antwortmuster (N= 150)

Tabelle 3.25 Vergleich der für jede der vier Methoden falsch klassifizierten Antwortmuster getrennt nach Verteilung und Wissenszuständen

Tabelle 4.1 Modellkonforme Auftrittswahrscheinlichkeiten der Antwortmuster

Tabelle 4.2 Auftrittswahrscheinlichkeiten der Antwortmuster in Abhängigkeit von der Verteilung der Wissenszustände sowie der itemspezifischen Fehlerwahrscheinlichkeiten

Tabelle 4.3 Ergebnisse der ISOP Modellkontrollen

Tabelle 4.4 Ergebnis der Rasch Modellkontrollen für Datensatz 13 („Aufgaben zur induktiven Problemlösung“) ..

Tabelle 4.5 Geschätzte Leichtigkeitsparameter der „Wahrscheinlichkeitsaufgaben“ für die Datensätze WK1, WK2 und die Gesamtdaten

Tabelle 4.6 Ergebnis der ISOP Modellkontrollen

Tabelle 4.7 Wissenszustände der 4 anhand von Datensatz WK1 konstruierten Wissensstrukturen

Tabelle 4.8 Vergleich der Methoden zur Konstruktion von Wissensstrukturen (Datensatz WK1)

Tabelle 4.9 Die vier häufigsten Antwortmuster der Datensätze WK1 und WK2

Tabelle 4.10 Wissenszustände der 4 anhand von Datensatz WK2 konstruierten Wissensstrukturen

Tabelle 4.11 Vergleich der Methoden zur Konstruktion von Wissensstrukturen (Datensatz WK2)

Tabelle 4.12 Ergebnis der ISOP Modellkontrollen

Tabelle 4.13 Ergebnis der Modellkontrollen zum Rasch Modell

Tabelle 4.14 Vergleich der Methoden zur Konstruktion von Wissensstrukturen für die Aufgaben des Tests „Zahlenreihen Ergänzen“

Tabelle 4.15 Ergebnisse der 5 Klassenlösung der unrestringierten LCA

Tabelle 4.16 Ergebnis der Modellkontrollen zum Rasch Modell und Itemschwierigkeitsparameter

Tabelle 4.17 Ergebnis der ISOP Modellkontrollen

Tabelle 4.18 Itemschwierigkeitsparameter geschätzt anhand von Datensatz 1

Tabelle 4.19 Wissenszustände der für die einzelnen Methoden resultierenden Wissensstrukturen

Tabelle 4.20 Vergleich der zur Konstruktion von Wissensstrukturen verwendeten Methoden

Tabelle 4.21 Wissensstrukturen bei Verwendung der ITA für die unterschiedlichen Datensätze

Tabelle 4.22 Wissensstrukturen bei Verwendung der ITA* für die unterschiedlichen Datensätze

Tabelle 4.23 Wissensstrukturen bei Verwendung der Itemschwierigkeiten für die unterschiedlichen Datensätze

Tabelle 5.1 Ergebnis des Andersen Tests (N= 381)

Tabelle 5.2 Ergebnis des Martin Löf Tests (N= 381)

Tabelle 5.3 Ergebnisse des t-Tests für den Vergleich von Datensatz 1 und 2

Tabelle 5.4 Ergebnis des Andersen Tests (N= 521)

Tabelle 5.5 Ergebnisse der Modelltests zur Gültigkeit des LLTM für k=15 Items

Tabelle 5.6 Q-Matrix der 24 Items des WMT

Tabelle 5.7 Items des WMT mit den ihnen zugeordneten Attributen laut Modell 1

Tabelle 5.8 Items des WMT mit den ihnen zugeordneten Attributen laut Modell 4

Tabelle 5.9 Vergleich der Wissensstrukturen für 24 Items mittels DA Koeffizient

Tabelle 5.10 Vergleich der mittleren minimalen Distanzen der für 24 Items erzielten Wissensstrukturen mit denen von Zufallsstrukturen

Tabelle 5.11 Median und Quartile der pro Wissenszustand gelösten Aufgaben

Tabelle 5.12 Items des WMT mit den ihnen zugeordneten Attributen laut Modell 5

Tabelle 5.13 Vergleich der Wissensräume anhand des CA und VC

Tabelle 5.14 Vergleich der Wissensstrukturen für 15 Items mittels DA und DA*

Tabelle 5.15 Vergleich der DA Koeffizienten der erzielten Wissensstrukturen für 15 Items mit denen von gleich großen Zufallsstrukturen

Tabelle 5.16 Vergleich der Wissensräume anhand des CA und VC 147

1 Einleitung

Psychologische Tests sind wesentliche Bestandteile des Berufsalltags vieler Psychologinnen und Psychologen und finden nach wie vor im Rahmen der Selektionsdiagnostik (z.B. zur Personalauslese) Verwendung. Zunehmend gewinnt jedoch die „sequentielle Diagnostik“ (siehe z.B. Kubinger, 1995) an Bedeutung. Durch das Feststellen individueller Stärken und Schwächen einer Person ist es möglich, entsprechend abgestimmte Förderungsprogramme anzubieten. Das steigende Angebot an Lernsoftware und die dadurch entstehende Vielzahl an neuen Möglichkeiten erlaubt es, der vermehrten Nachfrage nach einer individuell abgestimmten Leistungsförderung nachzukommen. Zur Entwicklung von sogenannten tutoriellen Systemen, die entsprechend dem jeweiligen Wissensstand einer Person individuelles Lernen ermöglichen, ist es vor allem notwendig zu wissen, über welche Fertigkeiten eine Person verfügt und welche sie benötigt, um sich weiter entwickeln zu können. Weiters ist es im Sinne der Testgütekriterien „Zumutbarkeit“ und „Ökonomie“ wünschenswert, die Vorgabe der Testung adaptiv gestalten zu können. Adaptive Tests ermöglichen einen maximalen diagnostischen Informationsgewinn bei gleichzeitig minimaler Beanspruchung einer Testperson im Hinblick auf zeitliche, physische und psychische Komponenten.

Lange Zeit war adaptives Testen unmittelbar mit der Forderung nach Raschhomogenität der Items verbunden. Doignon und Falmagne (1985) formulierten mit der Wissensraumtheorie einen neuen testtheoretischen Ansatz, in dessen Rahmen sowohl die Bestimmung der individuellen Fertigkeiten als auch adaptives Testen ermöglicht wird, ohne die Items den strengen Forderungen des Rasch-Modells (z.B. Eindimensionalität oder Parallelität der Item-Charakteristik- Kurven) auszusetzen. Diese, neben der klassischen und der modernen Testtheorie, dritte Theorie psychologischer Tests basiert auf der Mengenlehre. Im Zentrum steht die Annahme der Existenz von Relationen zwischen Items, welche es ermöglichen, von der Lösung einer Teilmenge von Items auf die Lösung einer weiteren Teilmenge von Items zu schließen. Das primäre Problem der Wissensraumtheorie stellt der deterministische Ansatz dar. Ein deterministisches Testmodell bietet zwar denkbar einfache Möglichkeiten der Modelltestung, stellt jedoch für die praktische Anwendung unrealistische Anforderungen und kann daher höchstens von akademischem Interesse sein. Somit war es unerlässlich, Überlegungen für mögliche probabilistische Varianten der Wissensraumtheorie zu entwickeln. Diese Annahmen führen in dem ursprünglich deterministisch formulierten Modell zu einer Charakterisierung von Personengruppen anhand latenter Antwortmuster. Diese Art der Charakterisierung findet sich jedoch bereits in der von Lazarsfeld und Henry (1968) dargestellten Latent Class Analyse (LCA).

Im Rahmen der vorliegenden Arbeit werden nun erstmals die beiden Zugänge gegenüber gestellt, um Parallelen und Unterschiede herauszuarbeiten. Die Probabilisierung der Wissensraumtheorie stellt zwar eine deutliche Verbesserung für die Anwendbarkeit in einer realistischen Umgebung dar, es treten dadurch jedoch weitere Probleme in Erscheinung. So wird es unter anderem notwendig, Kennwerte zu entwickeln, die eine Abschätzung ermöglichen, inwiefern ein Modell die empirische Wirklichkeit hinreichend beschreibt. Es muss prüfbar sein, ob ein für einen gegebenen Datensatz formuliertes Modell als gültig angenommen werden kann. Umgekehrt wird es notwendig, für eine gegebene Itemmenge die den Items zu Grunde liegenden Relationen zu ermitteln. Aufgrund der aus dem Vergleich der LCA mit der Wissensraumtheorie resultierenden Erkenntnisse ergeben sich in weiterer Folge neue Lösungsansätze für diese zentralen Probleme der Wissensraumtheorie. Einerseits zeigt sich, dass die im Rahmen der Latent Class Analyse verwendeten Kennwerte für die Modellgeltung auch im Rahmen der Wissensraumtheorie angewandt werden können, andererseits wird ein neues, exakteres Verfahren zur Identifizierung von Wissensstrukturen vorgestellt, das anhand simulierter Datensätze den bisher im Rahmen der Wissensraumtheorie verwendeten Methoden zur Konstruktion von Wissensstrukturen aus Daten gegenübergestellt wird. Der Vorteil der Verwendung simulierter Datensätze liegt sowohl in der Kenntnis der den Daten zu Grunde liegenden Wissensstrukturen, als auch darin, dass durch das experimentelle Design mögliche Störfaktoren systematisch kontrolliert werden können. Weiters wird versucht, anhand der im Rahmen der Wissensraumtheorie verwendeten Methoden zur Konstruktion von Wissensstrukturen Beziehungen zur modernen Testtheorie herzustellen und diese formal zu untermauern. Wie gezeigt werden kann, hängt die Geltung von Modellen der Item Response Theory (IRT) auf wissensraumkonforme Daten wesentlich von der Verteilung der Wissenszustände ab. Somit ist es möglich, Datensätze zu simulieren, die entweder nur der Wissensraumtheorie oder auch IRT Modellen entsprechen. Um die praktische Relevanz zu gewährleisten, werden daher für die Überprüfung der vermuteten Beziehungen im Rahmen der Wissensraumtheorie real erhobene Datensätze reanalysiert. Die beobachteten Beziehungen eröffnen abermals neue Methoden zur Konstruktion von Wissensstrukturen aus Daten. Diese neuen Methoden werden in weiterer Folge den bisher im Rahmen der Wissensraumtheorie verwendeten Methoden gegenübergestellt. Dabei wird darauf geachtet, dass die Validierung der Wissensstrukturen, welche mit Hilfe der verschiedenen Methoden gewonnen werden, an einem weiteren Datensatz erfolgt. Sofern die Größe der vorhandenen Datensätze es erlaubt, werden diese hierfür in zwei hinreichend große Teilstichproben aufgeteilt. Sollte eine Aufteilung aufgrund des zu geringen Stichprobenumfangs nicht möglich sein, werden neue Datensätze erhoben.

2 Wissensraumtheorie

2.1 Einführung

Ausgehend von den Arbeiten von Doignon und Falmagne (1985) ist die Wissensraumtheorie ein auf der Mengentheorie basierendes Rahmenmodell zur Wissensmodellierung und Wissensdiagnostik. Sie kann neben der klassischen und modernen Testtheorie als ein dritter, neuer testtheoretischer Ansatz verstanden werden, mit dem Ziel einer möglichst effizienten Schätzung des Wissenszustandes einer Person über ein bestimmtes Wissensgebiet. Es wird von der Annahme ausgegangen, dass durch die Vorgabe von Aufgaben, die sich mit einem bestimmten Thema beschäftigen, der Wissensstand einer Person erfasst werden kann. Da die Menge der vorzugebenden Aufgaben mitunter sehr groß ist, werden Relationen zwischen den Items angenommen, wodurch Rückschlüsse auf das Wissen einer Person möglich werden, ohne der Person alle Items vorgeben zu müssen. Diese Struktur, welche die Aufgaben zueinander in Beziehung setzt, bildet den Kern der Wissensraumtheorie. Im Folgenden werden die im Rahmen dieser Arbeit benötigten Begriffe der Wissensraumtheorie dargestellt. Für eine umfassende Darstellung sowie für einen Überblick über den Forschungsstand sei auf Doignon und Falmagne (1999) verwiesen.

2.2 Begriffserklärungen

2.2.1 Wissenszustand (Knowledge State)

Unter dem Wissenszustand (W) einer Person versteht man jene Teilmenge vorgegebener Items, die diese Person unter idealen Bedingungen zu lösen vermag. Da in der Praxis diese idealen Bedingungen nicht herstellbar sind, muss bei konkreten Antworten damit gerechnet werden, dass eine Person Aufgaben, die zu ihrem Wissenszustand gehören, aus Unachtsamkeit nicht löst bzw. zufällig Aufgaben löst, die nicht zu ihrem Wissenszustand zählen. Der Wissenszustand einer Person ist daher im Allgemeinen nicht direkt beobachtbar und muss aus den gegebenen Antworten der Person erschlossen werden.

2.2.2 Wissensstruktur (Knowledge Structure)

Ein weiterer zentraler Begriff in der Wissensraumtheorie ist die Wissensstruktur

(:). Eine Wissensstruktur ist die Menge aller Wissenszustände. Die trivialen Wissenszustände „kein Item gelöst“ und „alle Items gelöst“, welche unabhängig von der den Items zu Grunde liegenden Struktur angenommen werden können, sind Elemente jeder Wissensstruktur. Eine Wissensstruktur kann demnach folgendermaßen definiert werden: Ein Paar (Q, :) wird als Wissensstruktur bezeichnet, wenn

1) Q eine endliche, nicht leere Menge von Aufgaben und

2) : eine Familie von Teilmengen von Q ist, die zumindest die leere Menge sowie Q selbst enthält.

Die in : enthaltenen Teilmengen sind die Wissenszustände. Die Menge Q wird die Domäne der Wissensstruktur genannt. Der Nomenklatur der Literatur zur Wissensraumtheorie folgend, wird die Zahl der in einer Wissensstruktur enthaltenen Wissenszustände mit |:| bezeichnet; ‡ bezeichnet die leere Menge. Anstatt der Darstellung eines Wissenszustandes W als Menge der von einer Person unter idealen Bedingungen lösbaren Aufgaben, kann auch die Darstellung in Form von Antwortmustern (in der Literatur auch als Antwortvektoren oder Pattern bezeichnet) verwendet werden. Hierfür werden alle Items angegeben. Es resultieren Antwortmuster (A) der Länge k (k= Anzahl der Items). Gelöste Items werden im Antwortmuster mit 1, nicht gelöste Items mit 0 codiert. Diese Darstellung kann selbstverständlich auch für die Menge der von einer Person gelösten Aufgaben verwendet werden.

Beispiel 2.1

Q= {a,b,c,d,e,f}.

[Abbildung in dieser Leseprobe nicht enthalten]= { ‡, {e}, {f}, {e,f}, {c,e}, {c,e,f}, {d,e,f}, {a,c,e}, {b,c,e}, {a,b,c,e}, {a,c,e,f},

{b,c,e,f}, {c,d,e,f}, {a,b,c,e,f}, {b,c,d,e,f}, {a,c,d,e,f}, Q}.

[Abbildung in dieser Leseprobe nicht enthalten] = 17.

Unter Verwendung von Antwortmustern kann die Wissenstruktur : auch wie folgt angeschrieben werden.

[Abbildung in dieser Leseprobe nicht enthalten]= {000000, 000010, 000001, 000011, 001010, 001011, 000111, 101010, 011010, 111010, 101011, 011011, 001111, 111011, 011111, 101111, 111111}.

In der oben angeführten Wissensstruktur werden lediglich 17 der 2⁶ = 64 möglichen Antwortmuster als Wissenszustände angesehen.

2.2.3 Wissensraum (Knowledge Space)

Ein Wissensraum ist eine Wissensstruktur, in der die Vereinigung von zwei oder mehreren in der Wissensstruktur enthaltenen Wissenszuständen ebenfalls einen Wissenszustand darstellt. Ein Wissensraum ist demnach eine vereinigungsstabile Wissensstruktur. Gilt weiters, dass auch der Durchschnitt zweier oder mehrerer Wissenszustände einen Wissenszustand darstellt, ist die Wissensstruktur durchschnittsstabil. Eine vereinigungs- und durchschnittsstabile Wissensstruktur wird als quasi-ordinaler Wissensraum bezeichnet. Demnach kann ein Wissensraum wie folgt definiert werden: Eine Wissensstruktur : wird Wissensraum genannt, wenn auch die Vereinigung von Teilmengen aus [Abbildung in dieser Leseprobe nicht enthalten] (W´´= W ‰ W´) ebenfalls in : enthalten ist. Die in Beispiel 2.1 angeführte Wissensstruktur ist sowohl durchschnitts- als auch vereinigungsstabil. Es handelt sich daher um einen quasi-ordinalen Wissensraum. So sind z.B. neben den Wissenszuständen W1= {e,f}, W2= {a,c,e}, W3= {b,c,e} auch W4=W1‰W2={a,c,e,f} und W5=W2‰W3={a,b,c,e}, aber auch W6=W2ˆW3= {c,e} oder W7=W1ˆW2={e} in : enthalten.

2.2.4 Vermutungsrelation (Surmise-Relation)

Wie bereits erwähnt, wird in der Wissensraumtheorie häufig angenommen, dass aus der Lösung eines Items q die Lösung einer oder mehrerer Teilmengen der verbleibenden Items ableitbar ist. Diese, weiter als lösbar angenommenen Items, können als Vorbedingungen für die Lösung von Item q angesehen werden. Für die Wissenszustände bedeutet das somit, dass in jedem Wissenszustand, in dem Item q gelöst wurde, auch die als Vorbedingungen für q angesehenen Items enthalten sein müssen. Das stellt den eigentlichen Kern der Wissensraumtheorie dar, da sich daraus unter anderem die Möglichkeit des adaptiven Testens ergibt. Die zugehörige Definition lautet: Sei Q eine endliche Menge von Aufgaben. Eine transitive und reflexive Relation auf Q wird eine „Surmise-Relation“ genannt. Eine endliche Menge Q, deren Elemente durch eine derartige Relation geordnet sind, wird ein „surmise ordered problem set“ genannt. Man spricht also von einer „Surmise-Relation“, sofern Aussagen der folgenden Art gemacht werden können: „Wenn eine Person die Aufgabe q1 lösen kann, dann kann diese Person auch die Aufgaben q2, q3 usw. lösen.“ Die Vermutungsrelation ist reflexiv, da aus der Lösung eines Items q natürlich die Lösung dieses Items q abgeleitet werden kann. Unter Transitivität versteht man, dass für den Fall, dass aus Item q1 Item q2 ableitbar ist und aus Item q2 Item q3 folgt, aus Item q1 auch Item q3 ableitbar sein muss. Eine Vermutungsrelation erzeugt somit eine Quasi-Ordnung der Items, welche mit Hilfe eines Hasse-Diagramms veranschaulicht werden kann. In einem Hasse-Diagramm werden Relationen zwischen zwei Elementen (die in weiterer Folge zwecks leichterer Unterscheidbarkeit als „Implikationen“ bezeichnet werden) durch eine Linie dargestellt. Linien für reflexive Implikationen bzw. Linien für

Implikationen, die aufgrund der Transitivität ableitbar sind, werden im HasseDiagramm nicht berücksichtigt (Eine genaue Definition findet sich z.B. bei Davey und Priestley (1990, Seite 7)). Anhand des in Abbildung 2.1 dargestellten HasseDiagramms kann abgelesen werden, dass Personen, die z.B. in der Lage sind, Item a zu lösen, ebenfalls in der Lage sind, die Items c und e zu lösen. Personen, die Item d lösen, sollten auch die Aufgaben e und f bewältigen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.1 Hasse-Diagramm der Vermutungsrelation des in Bsp. 2.1 beschriebenen quasi- ordinalen Wissensraums

In weiterer Folge wird die Implikation „aus der Lösung von Item [Abbildung in dieser Leseprobe nicht enthalten] folgt die Lösung von [Abbildung in dieser Leseprobe nicht enthalten] mittels [Abbildung in dieser Leseprobe nicht enthalten] dargestellt. Die Anzahl der angenommenen Implikationen wird mit [Abbildung in dieser Leseprobe nicht enthalten] abgekürzt. Für Bsp. 2.1 ergeben sich die [Abbildung in dieser Leseprobe nicht enthalten] = 7 nicht trivialen Implikationen [Abbildung in dieser Leseprobe nicht enthalten] und [Abbildung in dieser Leseprobe nicht enthalten].

2.2.5 Basis eines Wissensraums

Handelt es sich bei einer Wissensstruktur um einen endlichen Wissensraum, kann dieser Wissensraum mit Hilfe einer Basis dargestellt werden. Die Basis eines Wissensraumes ist die kleinste Teilmenge von :, die den gesamten Wissensraum aufspannt. Dies bedeutet, dass anhand einer Basis durch Vereinigung von in der Basis enthaltenen Wissenszuständen alle Wissenszustände des Wissensraums erzeugt werden können. Eine Basis bietet somit, wie auch das Hasse-Diagramm, eine leicht verständliche und platzsparende Darstellung der den Aufgaben zu Grunde liegenden Vermutungsrelation. Anhand der in der Basis enthaltenen Wissenszustände können die Implikationen zwischen den einzelnen Items abgeleitet werden. Betrachten wir abermals den in Beispiel 2.1 angegebenen Wissensraum :.

[Abbildung in dieser Leseprobe nicht enthalten] = { ‡, {e}, {f}, {e,f}, {c,e}, {c,e,f}, {d,e,f}, {a,c,e}, {b,c,e}, {a,b,c,e}, {a,c,e,f}, {b,c,e,f}, {c,d,e,f}, {a,b,c,e,f}, {b,c,d,e,f}, {a,c,d,e,f}, Q}.

Die zu diesem Wissensraum gehörende Basis % besteht aus lediglich 6 Wissenszuständen. % ={ {e}, {f}, {c,e}, {d,e,f}, {a,c,e}, {b,c,e} }. An der Basis ist erkennbar, dass aus der Lösung der Aufgaben e und f keine weiteren Items abgeleitet werden können. Weiters kann z.B. aus der Lösung von Item d die Lösbarkeit der Items e und f abgeleitet werden, da der Wissenszustand {d,e,f} Element der Basis ist und somit in jedem Wissenszustand, der Item d enthält, auch die Items e und f enthalten sind.

2.2.6 Äquivalente Items

Man spricht von „äquivalenten“ Items (q und q’) wenn q und q’ zu exakt denselben Wissenszuständen gehören. Demnach werden die Items q und q´ immer gleichzeitig gelöst bzw. nicht gelöst.

Beispiel 2.2

[Abbildung in dieser Leseprobe nicht enthalten] = { ‡, {a,b}, {a,b,c}, {d}, {a,b,d}, {a,b,c,d} }.

In diesem Beispiel kommen die Aufgaben a und b, abgesehen von der leeren Menge, in jedem Wissenszustand gemeinsam vor. Somit sind die Aufgaben a und b äquivalent.

2.2.7 Vermutungssysteme (Surmise Systems)

Handelt es sich bei einer Wissensstruktur um einen quasi-ordinalen Wissensraum, kann dieser, wie bereits oben dargestellt, mittels einer Vermutungsrelation beschrieben werden. Vermutungssysteme stellen Verallgemeinerungen der Vermutungsrelationen dar. Wird bei der Vermutungsrelation pro Item q von genau einer Teilmenge von Q als Vorbedingung ausgegangen, können bei Vermutungssystemen pro Item mehrere unterschiedliche Mengen von Vorbedingungen pro Item angenommen werden.

Beispiel 2.3

Betrachtet man die Basis [Abbildung in dieser Leseprobe nicht enthalten]={ {d}, {a,b}, {a,c,d} } erkennt man, dass aus der Lösung von Item a entweder die Lösung von Item b oder aber die Lösung der Aufgaben c und d abgeleitet werden kann. Demnach sind Vermutungssysteme eng mit den, u.A. im Rahmen der künstlichen Intelligenz vorkommenden UND/ODER Graphen, verbunden. Damit ist es möglich, unterschiedliche Lösungswege für ein Item zu modellieren.

2.3 Erweiterungen der Wissensraumtheorie

2.3.1 Probabilistische Wissensstrukturen

Die Grundkonzeption der Wissensraumtheorie ist deterministisch. Wegen der bereits in Kapitel 2.2.1 (Seite 5) erwähnten Möglichkeit von „Zufallstreffern“ und/oder „Fehlern aus Unachtsamkeit“ einer Person ist dieser deterministische Ansatz nur in einem äußerst begrenzten Maß für die Vorhersage von Antwortvektoren von Personen geeignet. Es ist somit notwendig, den deterministischen Ansatz zu verlassen und die Wissensraumtheorie zu probabilisieren. Wahrscheinlichkeiten finden auf zwei Arten Eingang in die Wissensraumtheorie. Erstens wird eine Wahrscheinlichkeitsverteilung für die einzelnen Wissenszustände postuliert, da davon ausgegangen werden muss, dass sowohl in einem konkret gegebenen Datensatz als auch in der Population nicht alle Wissenszustände gleich wahrscheinlich sind, zweitens werden Itemlösungswahrscheinlichkeiten eingeführt, die vom jeweiligen Wissenszustand einer Person abhängig sind.

2.3.2 Fertigkeiten (Skills)

Eine weitere Erweiterung der „klassischen Wissensraumtheorie" ist die Einführung von den Items zu Grunde liegenden Fertigkeiten (Skills). Diese wurden erstmals von Korossy (1993) vorgeschlagen. Durch das Postulat jeder Aufgabe zu Grunde liegender Fertigkeiten, deren Beherrschung für die Lösung der Aufgabe notwendig ist, kann nicht nur geklärt werden, über welches Wissen eine Person verfügt, sondern auch, welches Wissen vermittelt werden muss, um die Person zu befähigen, weitere Aufgaben zu lösen. Die Zuordnung der Fertigkeiten zu den Aufgaben wird von Doignon und Falmagne (1999) eine „Skill Map“ genannt und folgendermaßen definiert: Eine „Skill Map“ ist ein Tripel (Q,S,W), wobei Q eine nicht leere Menge von Aufgaben, S eine nicht leere Menge von Fertigkeiten und W die Zuordnung von Q nach 2 |S| \ {‡} ist. |S| bezeichnet die Anzahl der Fertigkeiten. Demnach wird jedem Item q aus Q eine nicht leere Teilmenge W(q) aus der Menge aller Fertigkeiten S zugeordnet, die benötigt wird, um Item q zu lösen. Sind Q und S bereits spezifiziert, wird der Einfachheit halber in weiterer Folge W selbst als Skill Map bezeichnet.

2.4 Ziele und Probleme der Wissensraumtheorie

2.4.1 Ziele

Die Wissensraumtheorie kann als ein neuer testtheoretischer Ansatz verstanden werden. Das mengentheoretische Konzept der Wissensraumtheorie bildet einen neuen und einfachen Zugang zu testtheoretischen Überlegungen. Ziel ist eine möglichst effiziente Bestimmung des Wissenszustandes einer Person. Die Annahme von Wissenszuständen (deren Anzahl im Allgemeinen deutlich niedriger ist als die Zahl der möglichen Antwortmuster) bzw. die einem Wissensraum zu Grunde liegende Relation auf den Items ermöglicht es, dass einer Person nicht alle Aufgaben vorgegeben werden müssen. Im Gegensatz zur klassischen und vor allem modernen Testtheorie spielt im Rahmen der Wissensraumtheorie die Zahl der gelösten Aufgaben eine eher untergeordnete Rolle. Es wird davon ausgegangen, dass nur ein Teil der Information, die ein Test über eine Person liefert, in der Zahl der gelösten Aufgaben widergespiegelt wird. Werden den Items bestimmte Fertigkeiten zu Grunde gelegt, ermöglicht die Kenntnis, welche Aufgaben eine Person lösen kann und welche nicht, Rückschlüsse über Stärken und Schwächen dieser Person. Das ist auch für die Entwicklung von tutoriellen Systemen von großer Bedeutung.

2.4.2 Probleme

Das Grundkonzept der Wissensraumtheorie ist deterministisch. In der praktischen Anwendung muss jedoch damit gerechnet werden, dass die erhaltenen Daten von zufälligen Einflüssen (z.B. Zufallstreffer und Unachtsamkeitsfehler) überlagert sind. Es ist daher notwendig, Methoden zu entwickeln, welche die Konstruktion von Wissensstrukturen ermöglichen. Des weiteren besteht die Notwendigkeit, Kennwerte für die Modellgeltung zu finden. Erst wenn davon ausgegangen werden kann, dass ein Modell die empirische Wirklichkeit hinreichend beschreibt, ist es sinnvoll, daraus weitere Schlüsse zu ziehen. Im Folgenden werden diverse im Rahmen der Wissensraumtheorie entwickelte Methoden zur Konstruktion von Wissensstrukturen sowie die bisher vorgeschlagenen Kennwerte vorgestellt.

2.5 Konstruktion von Wissensstrukturen

Das direkte Ablesen des Wissenszustandes einer Person anhand der gelösten Aufgaben ist aufgrund von möglichen Unachtsamkeitsfehlern und Zufallstreffern nicht möglich. Dadurch ist auch die den Items zu Grunde liegende Wissensstruktur nicht ohne weiteres ermittelbar. In der Wissensraumtheorie haben sich mit der Expertenbefragung, der Annahme den Items zu Grunde liegender Fertigkeiten und der Analyse von beobachteten Antwortmustern drei unterschiedliche Arten der Konstruktion von Wissensstrukturen etabliert (siehe z.B. Koppen, 1989; Koppen und Doignon, 1990; Falmagne et al., 1990; Kambouri et al., 1994).

2.5.1 Expertenbefragungen

Falmagne et al. (1990) schlagen beispielsweise vor, das Wissen und die Erfahrung von Experten einzubeziehen. Die von ihnen beschriebene Vorgangsweise ist die Expertenbefragung (Query). Bei der Expertenbefragung werden den Experten Fragen folgender Art gestellt:

"Stellen Sie sich vor, eine Person konnte Aufgabe q lösen. Welche der anderen Aufgaben wird diese Person dann noch lösen können? Gehen Sie von idealen Bedingungen aus, was bedeutet, dass keine ’Fehler aus Unachtsamkeit’ oder ’Glückstreffer’ passieren ." oder "Angenommen, eine Person konnte die Aufgaben q1,...,qn lösen. Kann man davon ausgehen, dass diese Person auch Aufgabe p lösen kann? Gehen Sie von idealen Bedingungen aus, was bedeutet, dass keine ’Fehler aus Unachtsamkeit’ oder ’Glückstreffer’ passieren."

Die von den Experten erhaltenen Aussagen werden dazu verwendet, die Vermutungsrelation zwischen den Items zu erstellen. Im Laufe der letzen Jahre wurden verschiedene Algorithmen für möglichst effiziente Befragungen sowie zur Auswertung derartiger Fragen vorgestellt (siehe z.B. Falmagne et al, 1988; Dowling, 1993).

2.5.2 Annahme von den Aufgaben zu Grunde liegenden Fertigkeiten

Weitere Möglichkeiten der Konstruktion von Wissensstrukturen bietet die Annahme von den Items zu Grunde liegenden Fertigkeiten (Skills). Die Grundidee dieses Ansatzes wurde in Kapitel 2.3.2 (Seite 10) beschrieben. Nachfolgend werden einige mögliche Verbindungen zwischen Aufgaben, Fertigkeiten und Wissenszuständen vorgestellt.

2.5.2.1 Das disjunktive Modell

Im disjunktiven Modell wird jeder Aufgabe eine Teilmenge von Fertigkeiten zugeordnet, von der jede einzelne Fertigkeit zur korrekten Lösung des Items führt. Das disjunktive Modell kann demnach wie folgt definiert werden: Angenommen (Q,S,[Abbildung in dieser Leseprobe nicht enthalten]) sei eine Skill Map und T eine Teilmenge von [Abbildung in dieser Leseprobe nicht enthalten] wird ein aus T abgeleiteter Wissenszustand genannt, wenn [Abbildung in dieser Leseprobe nicht enthalten]. Jede Wissensstruktur, die mittels disjunktivem Modell erstellt wird, ist ein Wissensraum und jeder Wissensraum kann durch zumindest eine Skill-Map beschrieben werden. Der Beweis hierfür findet sich in Doignon und Falmagne (1999, Seite 90f).

Beispiel 2.4

Angenommen Q={a,b,c,d,e,f} und S ={u,x,y,z} mit [Abbildung in dieser Leseprobe nicht enthalten]. Der Wissenszustand, der aus der Beherrschung der Fertigkeiten T= {u,x} folgt, ist W={a, b, c, d, e}. Andererseits ist W´={a, d, e} kein Wissenszustand, da es keine Teilmenge von S gibt, aus der dieser Wissenszustand folgt.

2.5.2.2 Das konjunktive Modell

Das konjunktive Modell unterscheidet sich vom disjunktiven Modell dadurch, dass alle den Aufgaben zu Grunde gelegten Fertigkeiten beherrscht werden müssen, um das Item zu lösen. Das konjunktive Modell kann demnach folgendermaßen definiert werden: Angenommen (Q, S, W) sei eine Skill Map und T eine Teilmenge von S, dann wird W Ž Q ein aus T abgeleiteter Wissenszustand genannt, wenn

Abbildung in dieser Leseprobe nicht enthalten

Wie in Beispiel 2.4 sei Q= {a, b, c, d, e, f} und S= {u, x, y, z} mit [Abbildung in dieser Leseprobe nicht enthalten].

Der Wissenszustand, der aus der Beherrschung der Fertigkeiten T= {u, x} folgt, ist W= {a, b, e}. Andererseits ist W´= {a, d, e} kein Wissenszustand. Wäre W´ ein Wissenszustand, könnte daraus die Beherrschung der Fertigkeiten T´= {u, x, y, z} abgeleitet werden. Die Beherrschung dieser Fertigkeiten bedeutet jedoch, dass alle Items gelöst werden können. Wissensstrukturen, die mittels des konjunktiven Modells erstellt werden, sind durchschnittsstabil (vgl. Doignon und Falmagne, 1999, Seite 96).

2.5.2.3 Das Kompetenz-Modell

Das Kompetenz-Modell ist das Obermodell der bereits vorgestellten Modelle. Wissensstrukturen können allgemein mit Hilfe des Kompetenz-Modells beschrieben werden, während anhand des disjunktiven Modells vereinigungsstabile Wissensstrukturen (also Wissensräume) und mittels des konjunktiven Modells durchschnittsstabile Wissensstrukturen ableitbar sind. In diesem Modell wird jedem Item eine Menge von Teilmengen von S (der Menge aller Fertigkeiten) zugeordnet. Jede Teilmenge von S wird als Kompetenz bezeichnet. Die Beherrschung zumindest einer der Kompetenzen ist Voraussetzung dafür, dass eine Person das entsprechende Item löst. Der Kompetenzansatz wird definiert durch:

Eine „Skill Multimap“ ist ein Triple (Q, S, µ), indem Q eine nicht leere Menge von Items, S eine nicht leere Menge von Fertigkeiten und µ eine Funktion ist, die jedem Item q eine nicht leere Familie µ(q) von Teilmengen von S zuordnet. µ ist daher eine Funktion der Menge Q in die Menge[Abbildung in dieser Leseprobe nicht enthalten] Jede Menge, die zu µ(q) gehört, wird eine Kompetenz genannt. Ein Wissenszustand W wird dann als von T erzeugt bezeichnet (wobei T eine Teilmenge der Menge aller Fertigkeiten S ist), wenn W aus all jenen Items besteht, die zumindest eine in T inkludierte Kompetenz enthalten. Somit gilt [Abbildung in dieser Leseprobe nicht enthalten].

Beispiel 2.5

Angenommen Q= {a, b, c, d, e} und S= {x, y, z} mit µ(a)= { {x,y}, {x,z} }, µ(b)= { {x}, {x,y} }, µ(c)= { {y}, {x,z} }, µ(d)= { {z} }, µ(e)= { {y} }.

Unter Verwendung des Kompetenz Modells erhält man die Wissensstruktur [Abbildung in dieser Leseprobe nicht enthalten]. [Abbildung in dieser Leseprobe nicht enthalten]= { ‡, {b}, {d}, {c,e}, {c, d, e}, {a, b, c, d}, {a, b, c, e}, Q}.

Doignon und Falmagne (1999, Seite 97f) zeigen, dass jede Wissensstruktur durch zumindest ein Kompetenz-Modell erzeugbar ist.

2.5.2.4 Die Komponentenanalyse

Eine erweiterte Variante des Kompetenzmodells zur Konstruktion von Wissensstrukturen anhand den Items zugrundliegender Fertigkeiten schlagen z.B. Albert und Held (1994) mit der sogenannten „systematischen Aufgabenkonstruktion und -analyse“ vor. Die Analysen der Aufgaben beruhen auf pädagogischen Erkenntnissen, Theorien aus spezifischen Inhaltsbereichen und/oder psychologischen Modellen. Durch die Aufgabenanalyse wird, wie im Kompetenzansatz, jedem Item eine Teilmenge (T) der Menge S (Menge der Fertigkeiten) zugeordnet bzw. zu jeder Teilmenge von Fertigkeiten wird ein Item generiert. Eine Implikation zwischen zwei Items (q1, q2) wird dann postuliert, wenn die Menge der Fertigkeiten, die dem ersten Item zugeordnet wird (T1), eine Teilmenge der Fertigkeiten ist, die dem zweiten Item zugeordnet wird (T2): [Abbildung in dieser Leseprobe nicht enthalten]

Beispiel 2.6

Angenommen S= {x, y, z}, T1={x} und T2={x, y}.

Es wird davon ausgegangen, dass eine Person, die in der Lage ist, Item q2 zu lösen, über die Fertigkeiten x und y verfügt. Daraus kann abgeleitet werden, dass diese Person in der Lage ist, auch Item q1 zu lösen. Diese Idee wird von Albert und Held (1994) als Mengeninklusion (Set Inclusion) bezeichnet und ist äquivalent dem konjunktiven Modell. Ausgangspunkt dieses Modells ist, dass eine Person, die eine aufgabenrelevante Fertigkeit besitzt, diese auch wiederholt anwenden kann. Geht man jedoch von der Annahme aus, dass die mehrfache Anwendung ein und derselben Fertigkeit zu schwierigeren Items führt, ist es notwendig, auch die Anzahl des Auftretens von Fertigkeiten zu berücksichtigen. Diese Vorgehensweise wird von Schrepp, Held und Albert (1999) als Mehrfachmengen- Inklusion (Multiset Inclusion) bezeichnet. Zur Unterscheidung der Mehrfachmengen von Mengen in ihrer herkömmlichen Verwendung, werden Mengen in geschwungenen und Mehrfachmengen in eckigen Klammern angeschrieben. Daraus ergibt sich {x, x}= {x}, aber [x, x]z [x].

Beispiel 2.7

Angenommen S= {x, y, z}, T1= [x, x, y] und T2= [x, x, y, y].

Ausgehend von den Annahmen der Mehrfachmengen-Inklusion kann aus der Lösung von Item T2 auf die Lösung von Item T1 geschlossen werden, jedoch nicht umgekehrt. Im Rahmen des konjunktiven Modells handelt es sich hingegen um äquivalente Items. Beiden Items (q1, q2) sind beide Fertigkeiten x und y zu Grunde gelegt. Aus der Lösung von Item q1 kann somit auf die Lösbarkeit von Item q2 geschlossen werden und aus der Lösung von Item q2 kann die Lösung von Item q1 abgeleitet werden. Demnach gehören beide Items zu exakt denselben Wissenszuständen.

Eine weitere Spezifizierung des Modells kann dadurch erreicht werden, dass auch die Reihenfolge der in der Lösung zu verwendenden Fertigkeiten berücksichtigt wird. Diese Methode wird von Schrepp, Held und Albert (1999) als Sequenz- Inklusion (Sequence Inclusion) bezeichnet. Da im Rahmen dieser Arbeit diese Methode nicht zur Anwendung kommt, wird nicht näher darauf eingegangen. Eine weitere Abwandlung des konjunktiven Modells stellen Albert und Held (1999) mit der Annahme einer Relation auf den Fertigkeiten vor. Dies bedeutet, dass nicht jeder Teilmenge der Menge S ein Item zuordenbar ist. Diese Idee kann im Rahmen des konjunktiven Modells durch eine entsprechende Skill Map problemlos berücksichtigt werden. Eine essentielle Erweiterung der von Doignon und Falmagne (1999) beschriebenen Modelle ist die Annahme, dass einer Aufgabe mehrere Mengen unterschiedlicher Fertigkeiten zu Grunde liegen. Diese Mengen werden Komponenten genannt. Die in einer Komponente enthaltenen Fertigkeiten werden als Attribute bezeichnet. Es wird davon ausgegangen, dass

a) allen Aufgaben die selbe Zahl an Komponenten zu Grunde liegt,
b) die einzelnen Komponenten voneinander unabhängig sind und
c) die verschiedenen Ausprägungen einer Komponente (Attribute) nicht gleichzeitig auftreten können.

Des Weiteren wird innerhalb der Komponenten eine Quasi-Ordnung der Attribute angenommen. Zur Ableitung der Vermutungsrelation werden die Items paarweise im Hinblick auf die vorkommenden Komponentenausprägungen verglichen. Formal bedeutet das: Seien C1 ... Cn Mengen von Komponenten, auf denen die partiellen Ordnungen R1...Rn definiert sind. Eine Ordnung der Art d wird für das Kartesische Produkt [Abbildung in dieser Leseprobe nicht enthalten] dann definiert, wenn

Abbildung in dieser Leseprobe nicht enthalten

Dieses Prinzip ist als koordinatenweise Ordnung bekannt (Beschreibung siehe Davey, Priestley (1990), Seite 18).

Beispiel 2.8

Angenommen A= {a1, a2, a3} und B= {b1, b2} seien die Komponenten der Items mit linear geordneten Attributen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2 Aufgaben- und Attributsstruktur

Beide Attribute von B können mit den Elementen von A kombiniert werden und somit kann eine Menge Q von 6 unterschiedlichen Items konstruiert werden. Q = { (a1,b1), (a2,b1), (a3,b1), (a1,b2), (a2,b2), (a3,b2) }.

Die Aufgaben- und Attributsstruktur des Beispiels 2.8 ist in Abbildung 2.2 dargestellt. Werden die einzelnen Komponenten nach ihrer „Wichtigkeit“ geordnet, können dadurch die u.A. aus der Entscheidungstheorie bekannten, lexikographischen Ordnungen erzeugt werden (vgl. u.A. Fishburn, 1974). Da diese Methode in dieser Arbeit nicht zur Anwendung kommt, wird nicht näher darauf eingegangen.

2.5.3 Generierung der Wissensstruktur mittels Datenanalyse

Neben den bereits angeführten Methoden zur Wissensstrukturerzeugung gibt es verschiedene Arten der Wissensstrukturerzeugung aus Daten. Diese werden nachfolgend dargestellt.

2.5.3.1 Item Tree Analysis (ITA)

Die ITA wurde von Held und Korossy (1998) vorgestellt und basiert auf Van Leeuwe (1974). Ausgangspunkt der Überlegung von Held und Korossy ist, wie auch im Rasch Modell, die „Gelöst/Nicht-gelöst“-Matrix. Für einen lediglich aus zwei Items bestehenden Test sind die möglichen Ergebnisse in einer Vier-Felder- Tafel darstellbar.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3 Vier-Felder-Tafel für 2 Items

Liegen mehr als zwei Items vor, kann für jedes Itempaar eine Vier-Felder-Tafel ausgezählt werden. Da aber nur die Nebendiagonale (n10 und n01) von Bedeutung ist, werden diese für alle Itempaare in einer „Gelöst/Nicht-gelöst“-Matrix zusammengefasst.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.4 „Gelöst/Nicht-gelöst“-Matrix für k Items

Im strengsten Fall wird davon ausgegangen, dass eine Implikation zwischen zwei Items nur dann besteht, wenn nij= 0. Für den Fall, dass nij = 0 gilt Item j d Item i. Demnach kann aus der Lösung von Item i auf die Lösung von Item j geschlossen werden (vgl. Seite 7). Da diese Forderung allerdings sehr streng ist, wird ein Toleranzlevel (L) eingeführt, sodass eine Vermutungsrelation d(L) dann aufgestellt wird, wenn nij d L. Wie Van Leeuwe zeigen konnte, sind Relationen der Art d(⁰ ) transitiv, während die Transitivität von Relationen d(L) mit L > 0 nicht vorausgesetzt werden kann und daher untersucht werden muss. Zur Erzeugung eines Wissensraumes werden für jedes mögliche L die entsprechenden Implikationen ermittelt. Um das ideale L auszuwählen, wird als Kennwert der Correlationial Agreement Coefficient (CA) verwendet. Die resultierenden Relationen der Items werden, falls notwendig, transitiv abgeschlossen, um so zu einer Basis für einen Wissensraum zu kommen. Eine detaillierte Darstellung des CA befindet sich auf Seite 26.

Eine Modifikation der ITA schlägt Schrepp (1999a) vor. Die Neuerungen beziehen sich auf zwei Punkte der ITA.

1) Es werden lediglich transitive Relationen berücksichtigt. Das wird dadurch erreicht, dass nur jene Implikationen hinzugenommen werden, die keine Intransitivität in der bereits vorhandenen Relation bewirken.
2) Die Verwendung eines neuen Koeffizienten zur Auswahl der bestpassenden Struktur. Dieser neue Koeffizient verwendet die Differenz der beobachteten (bij) und erwarteten (bij*) Verstöße gegen eine in der Struktur enthaltene Implikation (i d j). Es sind 2 Fälle zu unterscheiden. Im Falle der Unverbundenheit zweier Items (i<>j) ist die Zahl der erwarteten Verstöße mit Hilfe der geschätzten Lösungswahrscheinlichkeiten der Items i und j zu berechnen, bij* = N˜ (1-pi) ˜ pj, wobei mit N die Stichprobengröße bezeichnet wird. Stehen die Items zueinander in Relation [Abbildung in dieser Leseprobe nicht enthalten], resultieren Verletzungen aus Zufallsfehlern. Eine Abschätzung der Zufallsfehlerwahrscheinlichkeiten (JL) eines zum kritischen Wert L gehörenden Wissensraums [Abbildung in dieser Leseprobe nicht enthalten] ergibt sich aus

Abbildung in dieser Leseprobe nicht enthalten

[Abbildung in dieser Leseprobe nicht enthalten] ist die Zahl der nicht reflexiven Implikationen. Die Zahl der erwarteten Verstöße [Abbildung in dieser Leseprobe nicht enthalten] kann mittels [Abbildung in dieser Leseprobe nicht enthalten] berechnet werden. Der Fit zwischen dem entsprechenden Wissensraum (:L) und den Daten (D) wird nun mit

Abbildung in dieser Leseprobe nicht enthalten

berechnet. k ist die Zahl der Items. Je kleiner diff [Abbildung in dieser Leseprobe nicht enthalten], desto besser passt der Wissensraum [Abbildung in dieser Leseprobe nicht enthalten] zu den Daten.

2.5.3.2 Kritische Antwortmusterhäufigkeiten (Knowledge State Frequency Analysis)

Schrepp (1999b) geht von der Annahme annähernd gleich wahrscheinlicher Wissenszustände aus. Antwortmuster, die Wissenszuständen der zu Grunde gelegten Wissensstruktur entsprechen, zeigen somit höhere Auftrittswahrscheinlichkeiten als Antwortmuster, die durch Zufallstreffer und/oder Unachtsamkeitsfehler aus den Wissenszuständen resultieren und keinem Wissenszustand entsprechen (sogenannte „Nicht Wissenszustände“ bzw. „Non- States“). Ziel des Ansatzes von Schrepp ist es, eine optimale „kritische Auftrittshäufigkeit“ (L) zu bestimmen, die verwendet wird, um zu unterscheiden, ob es sich bei einem beobachteten Antwortmuster um einen Wissenszustand handelt oder nicht. Je nach angenommener kritischer Auftrittshäufigkeit ergeben sich unterschiedliche Wissensstrukturen (:L). Schrepp geht von für alle Items konstanten und gleich großen Rate- und Unachtsamkeitswahrscheinlichkeiten aus. Die Annahme gleicher Auftrittswahrscheinlichkeiten der in der Population vorkommenden Wissenszustände ermöglicht die Berechnung der Verteilung der einzelnen Antwortvektoren. Der Kennwert der Übereinstimmung von erwarteter und theoretischer Verteilung der Antwortvektoren wird von Schrepp wie folgt angegeben

Abbildung in dieser Leseprobe nicht enthalten

Je kleiner APP (:L, D), desto besser passen die Daten auf die Wissensstruktur :L. Wie Schrepps Ergebnisse an simulierten Daten zeigen, kann mit diesem Algorithmus nur unter den getroffenen Annahmen die zu Grunde liegende Wissensstruktur mit hoher Genauigkeit rekonstruiert werden. Sollten die Auftrittswahrscheinlichkeiten der Wissenszustände (W) der zu Grunde liegenden Wissensstruktur (:) stark unterschiedlich oder die Wahrscheinlichkeiten für Zufallstreffer (Kij) und Unachtsamkeitsfehler (Eij) nicht konstant sein, können die Auftrittswahrscheinlichkeiten von Antwortmustern, die Wissenszuständen entsprechen, gleich oder sogar kleiner werden, als Auftrittswahrscheinlichkeiten von Antwortmustern, die keine Wissenszustände darstellen. Dadurch wird die Genauigkeit der Prozedur negativ beeinflusst. Systematische Fehler können (laut Schrepp, 1999b, Seite 223) nicht verhindert werden.

2.6 Statistische Maße für die Anpassungsgüte von Wissensräumen auf Daten

Sowohl die vorgestellten Methoden zur Konstruktion von Wissensstrukturen aus Daten als auch die verschiedenen Methoden der Konstruktion von Wissensstrukturen auf Basis angenommener Fertigkeiten führen zu (mitunter stark) unterschiedlichen Wissensstrukturen. Daraus ergibt sich die Notwendigkeit, Kennwerte zu definieren, die zur Auswahl der am besten passenden Struktur herangezogen werden können. Im Rahmen der Wissensraumtheorie wurden die nachfolgend angeführten Koeffizienten vorgestellt.

2.6.1 Symmetrische Distanzen

Die Distanz des Antwortvektors der Person v (Av) zu einem Wissenszustand (W) ist definiert als dist[Abbildung in dieser Leseprobe nicht enthalten], wobei |W \ Av| für die Zahl der Unachtsamkeitsfehler und |Av \ W| für die Zahl der Zufallstreffer steht.

Beispiel 2.9

Angenommen die Wissenszustände der Wissensstruktur : seien 0000, 0110, 1010, 1011 und 1111. Die Distanzen des Antwortmusters 1101 zu den Wissenszuständen betragen

Abbildung in dieser Leseprobe nicht enthalten

Es wird nun für jedes gegebene Antwortmuster jener Wissenszustand (und damit jenes in der Wissensstruktur : enthaltene Antwortmuster) gesucht, der „am nähesten“ liegt. Die minimale Distanz eines Antwortmusters Av zu einem Wissenszustand W der Wissensstruktur : beträgt mdist[Abbildung in dieser Leseprobe nicht enthalten].

Beispiel 2.10

Die minimale Distanz des Antwortmusters 1001 zu den in Beispiel 2.9 angeführten Wissenszuständen der Wissensstruktur (:) beträgt

[Abbildung in dieser Leseprobe nicht enthalten].

Die mittlere minimale Distanz (d) eines Datensatzes (D) zu einem gegebenen Wissensraum (:) ist definiert durch

Abbildung in dieser Leseprobe nicht enthalten

Demzufolge wird jener Wissenszustand ermittelt, der durch möglichst wenige Veränderungen des gegebenen Antwortmusters erzeugt werden kann. Die Zahl der durchschnittlich zu verändernden Itemlösungen wird „mittlere Distanz“ genannt.

2.6.1.1 Kritik an den mittleren symmetrischen Distanzen

Die mittlere Distanz d(D, :) ist im Allgemeinen umso geringer, je mehr Wissenszustände in der Wissensstruktur (:) enthalten sind, also je größer |:| (vgl. Schrepp, Held und Albert, 1999, Seite 63). Die mittleren symmetrischen Distanzen eignen sich daher nicht zum Vergleich unterschiedlich großer Wissensstrukturen hinsichtlich deren Gültigkeit für in einem Datensatz enthaltene Antwortmuster.

2.6.2 Distance Agreement Coefficient (DA)

Schrepp (1993) verwendet für die Berechnung des Distance Agreement (DA) Koeffizienten die mittleren minimalen Distanzen“. Die Definition des DA Koeffizienten lautet

Abbildung in dieser Leseprobe nicht enthalten

[Abbildung in dieser Leseprobe nicht enthalten] ist das arithmetische Mittel der minimalen Distanzen der Daten zur Wissensstruktur [Abbildung in dieser Leseprobe nicht enthalten] und dpot der Mittelwert der minimalen Distanzen der Potenzmenge der Items [Abbildung in dieser Leseprobe nicht enthalten] zur Wissensstruktur [Abbildung in dieser Leseprobe nicht enthalten].

Abbildung in dieser Leseprobe nicht enthalten

[Abbildung in dieser Leseprobe nicht enthalten] ist der erwartete Mittelwert der minimalen Distanzen unter der Annahme, dass die Wissensstruktur (:) keine Information über das Antwortverhalten der Personen liefert und somit alle möglichen Antwortmuster Wissenszustände darstellen. Durch das Abnehmen des Werts dpot mit zunehmender Größe der Wissensstruktur werden die mit wachsendem Wissensraum abnehmenden mittleren Distanzen (ddat) kompensiert.

2.6.2.1 Kritik am DA Koeffizient

Der DA Koeffizient verwendet die Mittelwerte der minimalen Distanzen der Daten und des Potenzraumes zur gegebenen Wissensstruktur. Charakteristisch für die minimalen Distanzen der Daten zu Wissensstrukturen ist deren rechtschiefe Verteilung, da kleine Distanzen höhere Auftrittswahrscheinlichkeiten haben als große. Durch die Verwendung des arithmetischen Mittels werden größere Abweichungen, die bei kleinen Wissensstrukturen höhere Wahrscheinlichkeiten haben, deutlich stärker gewichtet. Dadurch wirken sich bereits wenige große Abweichungen sehr negativ auf den DA Koeffizienten aus. Aus methodischer Sicht erscheint daher die Verwendung des Medians als Maß für die zentrale Tendenz und des Quartilabstandes als Streuungsmaß geeigneter. In Anbetracht dessen ist auch der DA Koeffizient in seiner ursprünglichen Form von zweifelhafter Qualität. Um dieses Problem zu umgehen, schlägt der Autor die Verwendung des DA* vor. In den DA* gehen anstatt der Mittelwerte der Distanzverteilungen die Mediane ein. DA* ist definiert durch

Abbildung in dieser Leseprobe nicht enthalten

2.6.3 Correlational Agreement Coefficient (CA)

Die Berechnung des CA Koeffizienten erfolgt mittels CA[Abbildung in dieser Leseprobe nicht enthalten] mit k als Anzahl der Items, rij der Pearson´schen Vier-Felder-Korrelation der Items i und j (vgl. z.B. Bortz, 1993, S.210). rij* ist definiert durch

Abbildung in dieser Leseprobe nicht enthalten

[Abbildung in dieser Leseprobe nicht enthalten] und [Abbildung in dieser Leseprobe nicht enthalten] sind die relativen Lösungshäufigkeiten von Item i und Item j.

[Abbildung in dieser Leseprobe nicht enthalten]* ist die erwartete Vier-Felder-Korrelation der beiden Items unter der Annahme, dass keine Zufallstreffer oder Fehler aus Unachtsamkeit auftreten. Im Falle identer Items [Abbildung in dieser Leseprobe nicht enthalten] sollten die Items i und j immer gleichzeitig gelöst bzw. nicht gelöst werden, weshalb

Abbildung in dieser Leseprobe nicht enthalten

Kann aus der Lösung von Item j auf die Lösbarkeit von Item i geschlossen werden, nicht jedoch von der Lösung des Items i auf die Lösbarkeit von Item [Abbildung in dieser Leseprobe nicht enthalten], dann gilt

[Abbildung in dieser Leseprobe nicht enthalten](vgl. Anhang D).

Im umgekehrten Fall [Abbildung in dieser Leseprobe nicht enthalten] gilt

Abbildung in dieser Leseprobe nicht enthalten

Stehen die Items nicht in Relation zueinander, sind sie unabhängig voneinander und

Abbildung in dieser Leseprobe nicht enthalten

Je höher der CA Wert, desto besser beschreibt ein Wissensraum die Daten.

2.6.3.1 Kritik am CA Koeffizient

Bei Verwendung des Correlational Agreement Coefficient (CA Koeffizient) ist ebenfalls große Vorsicht geboten. So erweist sich der CA Koeffizient in hohem Maße von der Zahl der trivialen Antwortmuster (alle bzw. kein Item gelöst) abhängig, obwohl diese Antwortmuster keinerlei Information bezüglich der verwendeten Struktur liefern (vgl. z.B. Ünlü & Albert (2004)). Bei Datensätzen mit geringem Anteil trivialer Antwortmuster zeigt sich mit steigender Zahl an Implikationen ein nahezu linearer Abfall des CA Koeffizienten. Er begünstigt damit Wissensstrukturen mit einer großen Zahl an Wissenszuständen. Kommt der CA Koeffizient als Entscheidungskriterium im Rahmen der Item Tree Analyse (ITA) zum Einsatz, ist eine Rekonstruktion des den Daten zu Grunde liegenden Wissensraumes folglich nur in Spezialfällen möglich. Dies kann anhand der Simulation zweier Datensätze gezeigt werden. Ausgegangen wird von der in Abbildung 2.5 in Form eines Hasse-Diagramms dargestellten Vermutungsrelation einer Wissensstruktur.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.5 Hasse-Diagramm der Vermutungsrelation der 5 Items des Beispieldatensatzes

Jeder der beiden Datensätze besteht aus 1000 Antwortmustern, die ausgehend von der Wissensstruktur mit Wahrscheinlichkeiten von p= 0.05 pro Item für einen Zufallstreffer bzw. Unachtsamkeitsfehler simuliert wurden. Der Unterschied zwischen den beiden Datensätzen liegt in der Verteilung der Wissenszustände. Datensatz 1 wurde unter der Annahme einer Gleichverteilung der Wissenszustände simuliert, während bei Datensatz 2 von einer Wahrscheinlichkeit von p= 0.005 für die trivialen Wissenszustände 00000 und 11111 ausgegangen wurde. Die übrigen Wissenszustände hatten gleich große Auftrittswahrscheinlichkeiten. Anhand der CA Koeffizienten, die in Tabelle 2.1 für jedes, in Prozent der Stichprobe angegebene, kritische Toleranzlevel (L) angeführt sind, ist ersichtlich, dass für Datensatz 1 der höchste CA Wert für ein kritisches Toleranzlevel der ITA von 4 -12 % erzielt wird.

Tabelle 2.1 Ergebnisse der ITA Analysen

Abbildung in dieser Leseprobe nicht enthalten

Dieses Toleranzlevel führt im Rahmen der Item Tree Analyse (ITA) zum korrekten, den Daten zu Grunde gelegten Wissensraum. Für Datensatz 2 hingegen wird der höchste CA Koeffizient (CA= 0.9785) bei L= 0 beobachtet, was zu einer völlig unverbundenen Struktur führt, in der alle möglichen Antwortmuster Wissenszustände darstellen. Die den Daten tatsächlich zugrundliegende Struktur erzielt lediglich einen Wert von CA= 0.9575. Somit ist die ITA in Kombination mit dem CA Koeffizienten nicht in der Lage, jenen Wissensraum korrekt zu rekonstruieren, der den Daten zu Grunde liegt, wenn in einem Datensatz die Zahl der trivialen Antwortmuster (kein bzw. alle Items gelöst) sehr gering ist. Diese Problematik des CA Koeffizienten wird dadurch verschärft, dass mittels der Items eines Tests üblicherweise versucht wird, ein sehr großes Spektrum des zu messenden Fähigkeitsbereichs abzudecken. Es ist somit das Ziel der Testkonstrukteure, die Zahl jener Personen, die keines oder alle Items lösen können, nach Möglichkeit so gering wie möglich zu halten. Anders ausgedrückt liefert der CA Koeffizient gerade für den erwünschten Fall die schlechtesten Ergebnisse. Das zentrale Problem dürfte hierbei die Annahme von [Abbildung in dieser Leseprobe nicht enthalten] im Falle unverbundener Items darstellen. Diese gilt selbst unter der Annahme, dass die Fehlerwahrscheinlichkeiten null sind (E, K= 0), nur bei entsprechender Verteilung der Wissenszustände.

Beispiel 2.11

Ausgehend von dem in Abbildung 2.6 dargestellten Wissensraum und den daraus resultierenden Wissenszuständen zeigt sich, dass trotz der Unverbundenheit der Items 1 und 3 für N= 100 die Vier Felder Korrelation

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.6 Hasse-Diagramm der Vermutungsrelation dreier Items sowie die Auftrittswahrscheinlichkeiten der daraus resultierenden Wissenszustände

[...]