TIMSS III - Third International Mathematics and Science Study

Gliederung

1. Einleitung / Hintergrund

2. Aufbau von TIMSS III
2.1. Hypothesen / Fragestellung
2.2. Testpopulation
2.3. Testinstrumente

3. Ergebnisse von TIMSS III
3.1. mathematisch-naturwissenschaftliches Grundwissen
3.2. voruniversitäre Physik
3.3. voruniversitäre Mathematik

4. Kritisches & Presseecho

5. Mini- TIMSS III
5.1. Testaufbau
5.2. Testergebnisse

A. Anhang
1. Literatur- und Quellenverzeichnis
2. Mini-TIMSS

1. Einleitung / Hintergrund

Die International Association for the Evaluation of Educational Achivement (IEA) in Den Haag ist Träger der Third International Mathematics and Science Study (TIMSS III), mit der wissenschaftlichen Koordination wurde Albert E. Beaton am Boston College in Chestnut Hill, Mass., USA beauftragt. Die Studie liefert Daten von circa einer halben Million Schülern aus 15000 Schulen, verteilt auf 46 Länder. In Deutschland wurde mit der Durchführung der Studie Rainer H. Lehmann von der Humboldt - Universität Berlin und Jürgen Baumert vom Max-Planck-Institut für Bildungsforschung beauftragt. Die Projektleitung der deutschen Oberstufenuntersuchung lag bei Wilfried Bos vom Max-Planck-Institut.

Nachdem in der First International Mathematics Study (FIMS) / First International Science Study (FISS), sowie in der Second International Mathematics Study und der Second International Science Study, die Bereiche Mathematik und Wissenschaft noch getrennt untersucht wurden, sind 15 Jahre nach der letzten IEA- Studie diese Bereiche in TIMSS zusammen untersucht worden. Wie ihre Vorgängerstudien wird auch die TIMSS - Studie weit über den gewohnten Leserkreis wissenschaftlicher Studien Beachtung finden.

,,Die Bildung unserer Kinder ist das zukünftige Kapital unseres Landes", solche Slogans sind praktisch unbestritten und so verwundert es nicht, daß Untersuchungen zur Qualität von Unterricht auf ein massives Echo in Presse und Bevölkerung treffen.

In der TIMSS - Studie werden die Fachleistungen von Schülern in Mathematik und Naturwissenschaft gemessen und in einen internationalen Vergleich gesetzt. Damit ist die Studie Controlling- Instrument für die ,,Produktion" des wichtigen Kapitals ,,Bildung".

Die TIMSS Studie ist mit jeweils unterschiedlichen Ansätzen in drei verschiedene Untersuchungspopulationen aufgeteilt worden, im ersten Teil (TIMSS I) werden die mathematischen und naturwissenschaftlichen Kenntnisse von Schülern der dritten bzw. vierten Jahrgangstufe (durchschnittlich 9 jahre alte Schüler) überprüft, im zweiten Teil (TIMSS II) die mathematischen und naturwissenschaftlichen Kenntnisse von Schülern in allgemeinbildenden und Berufsschulen.

Der dritte Teil der TIMSS Studie umfaßt die Teilpopulation der Schüler in der Sekundarstufe II des Gymnasiums, sowie aus Gründen der internationalen Vergleichbarkeit anteilig Schüler aus dem Letzten Ausbildungsjahr an den Berufsschulen. Ich befasse mich in meiner Arbeit nur mit den Studien zu dieser Teilpopulation.

2. Aufbau von TIMSS III

2.1. Hypothesen / Fragestellung

In der Teilpopulation drei der TIMS - Studie sollen Schülerleistungen im voruniversitären Mathematikunterricht, im voruniversitären Physikunterricht und allgemein mathematisch-naturwissenschaftlichen Aufgabengebiet untersucht werden. Die Studie strebt eine internationale Vergleichbarkeit der Meßdaten an, grundsätzlich geht sie davon aus, daß Unterschiede bestehen, die wahrscheinlich auf Unterschiede im Lehrplan, der Lehrerausbildung, der Schulstruktur, Unterrichtsmethoden, ... zurückzuführen sind, aber nicht auf generelle (angeborene) Unterschiede zwischen den Schülern in den jeweiligen Ländern. Die TIMS - Studie ist als deskriptiv - empirische Studie zu verstehen.

2.2. Testpopulation

In TIMSS III wurden in Deutschland 3786 Schüler der Sekundarstufe II (13., bzw. 12. Jahrgangsstufe) des Gymnasiums untersucht, 49 Schüler der Abschlußklasse an Fachgymnasien, 111 Schüler der Sekundarstufe II der Fachoberschule (12.Jahrgangsstufe), 93 Schüler der Abschlußklassen in integrierten Gesamtschulen, 375 Schüler aus den Abschlußklassen der Berufsfachschulen und 931 Schüler aus der Abschlußklasse der Berufsschule. Mit einem TIMSS Coverage Index (TCI) von 75,4% erreicht Deutschland die internationale Vorgabe (Repräsentative Stichprobe für alle Personen, die sich im letzten Ausbildungsjahr eines vollzeitlichen Ausbildungsgangs der Sekundarstufe II befinden) ziemlich genau.

Insgesamt erfüllen 83,57% der Alterskohorte die internationale Richtlinie, jedoch wurden in Deutschland die entsprechenden Ausbildungsjahrgänge an Waldorfschulen, Berufsakademien, Schwesternschulen, Kollegschulen, etc. nicht in die Untersuchung aufgenommen.

Um eine repräsentative Stichprobe zu erhalten fand eine Zufallsauswahl statt, die jedoch zur besseren nationalen Vergleichbarkeit nachkorrigiert wurde.

,,TIMSS / III untersucht drei Teilpopulationen mit jeweils separaten Tests und unterschiedlichen Fragestellungen.

= > Untersuchung 1 befaßt sich mit der mathematisch - naturwissenschaftlichen Grundbildung aller Personen, die sich im letzten Ausbildungsjahr der Sekundarstufe II befinden. In Deutschland sind dies Schülerinnen und Schüler sowohl der gymnasialen Oberstufe als auch der beruflichen Schulen.

= > Untersuchung 2 befaßt sich mit den Fachleistungen im voruniversitären Mathematikunterricht. In Deutschland ist dies der Mathematikunterricht in der gymnasialen Oberstufe auf dem Niveau der Grund- und Leistungskurse

= > Untersuchung 3 erhebt die Fachleistungen im voruniversitären Physikunterricht. In Deutschland ist dies der Physikunterricht der gymnasialen Oberstufe, wiederum sowohl auf dem Niveau der Grund- als auch der Leistungskurse."¹

Da die Auswahl der Populationen über eine Zufallsauswahl der zu untersuchenden Schulen stattfand, sind die drei Teilpopulationen in TIMSS III nicht völlig trennscharf, d.h. Schüler die in Untersuchung 2 erfaßt wurden, können auch auf ihre Fachleistungen in Physik überprüft worden sein.

2.3. Testinstrumente

Für jede Teilpopulation von TIMSS III wurde ein eigener Test eingesetzt. Der Test zu den Fachkenntnissen im voruniversitären Mathematikunterricht und der Test zu den Fachleistungen im voruniversitären Physikunterricht fand Anwendung bei den Schülern der Gymnasialen Grund- und Leistungskursen, der Test zur mathematischnaturwissenschaftlichen Grundbildung (etwa auf Niveau der 8. Jahrgangsstufe) fand in allgemeinbildenden und beruflich qualifizierenden Schulen Anwendung. ,,Mit diesem Test sollten für die Bereiche Mathematik und Naturwissenschaften Fähigkeiten erfaßt werden, die einer Person die erfolgreiche Teilnahme am sozialen, kulturellen und ökonomischen Leben in der Gesellschaft erlaubt (Personenfähigkeit)"²

Anders als bei dem Grundbildungstest wurden in der Entwicklung des voruniversitären Mathematik- und Physiktests eine Lehrplangültigkeit (Curriculumvalidität) in der Entwicklung angestrebt. ,,Die internationale Testentwicklung basiert hier auf umfangreichen Curriculum- und Lehrwerksanalysen, einer Reihe von Vortests und der Begutachtung der Aufgaben durch internationale und nationale Expertengruppen. Sehr schnell stellte sich dabei heraus, daß für die voruniversitäre Mathematik und Physik ein internationales Kerncurriculum zugrunde gelegt werden kann."³

Nach Einschätzung deutscher Experten liegen die Fragen im voruniversitäten Mathematik- und Physiktest zu 90 % innerhalb der vom Lehrplan behandelten Themengebiete.

Eine Befragung der Fachleiter an den untersuchten Schulen ergab, daß 82 % der Fragen zur voruniversitären Mathematik und 88 % der Fragen zur voruniversitären Physik auch aus Themengebieten stammen die im Unterricht behandelt wurden, womit auch die Unterrichtsvalidität festgestellt wurde.

In der Entwicklung der Aufgaben wurde darauf geachtet, ein ausgewogenes Maß an ,,multiple choice" Aufgaben gegenüber Fragen mit längerer Antwortvorgabe zu wahren.

Um Eindeutigkeit in der Fragestellung sicherzustellen, wurden die Aufgaben von unabhängigen Übersetzern mehrmals ins Englische und zurück übersetzt. Im Anhang sind im ,,Mini-TIMSS" einige Originalaufgaben als Beispiele abgedruckt. Die Schwierigkeit der Aufgaben wurde anhand ihrer Lösungswahrscheinlichkeit angegeben.

Der Mittelwert der internationalen Lösungswahrscheinlichkeit wurde auf einer Skala mit 500 angegeben, ein Skalenveränderung von 100 entspricht dabei einer Veränderung um eine Standardabweichung. Auf dieser Skala wurden sogenannte Kompetenzstufen festgelegt, d.h. Testteilnehmer die eine Kompetenzstufe erreicht habe können mit 65 % Wahrscheinlichkeit eine Aufgabe aus dieser Schwierigkeit lösen, oder umgekehrt ausgedrückt, 65 % aller Schüler auf einer bestimmten Kompetenzstufe können eine Aufgabe mit diesen Schwierigkeitsgrad lösen. Diese Kompetenzstufen bilden später das Maß für den internationale Vergleich. Hat das Land X im internationalen Vergleich die Kompetenzstufe 400 erreicht, so lösten durchschnittlich die Schüler dieses Landes Aufgaben mit der Schwierigkeit 400. Der Internationale Mittelwert ist auf 500 festgelegt, d.h. die Schüler sind um genau eine Standardabweichung schlechter als der internationale Mittelwert. Zur Vergleich- und Bewertbarkeit der Untersuchungsergebnisse wurde zu jeder Aufgabe die Internationale Schwierigkeit, die Internationale Lösungswahrscheinlichkeit und die deutsche (nationale) Lösungswahrscheinlichkeit ermittelt.

= > Int. Schwierigkeit: Die Schwierigkeit der Aufgabe auf der international definierten Metrik (Mittelwert = 500, Standardabweichung =100 ). Dabei ist hier als Schwierigkeit (Lokation der Aufgabe) derjenige Wert definiert, bei dem Personen mit diesem Fähigkeitswert eine Lösungswahrscheinlichkeit von 65 % besitzen.

= > Int. Lösungswahrscheinlichkeit: Lösungswahrscheinlichkeit der Schüler der getesteten Abschlußklasseb der Sekundarstufe II über alle teilnehmenden Länder hinweg.

= > Dt. Lösungswahrscheinlichkeit: Lösungswahrscheinlichkeit der deutschen Schüler der getesteten Abschlußklassen der Sekundarstufe II.

Die in der internationalen TIMSS III - Hauptuntersuchung verwendeten Tests umfaßten insgesamt 206 Aufgaben, die auf 9 Testhefte verteilt waren. Die Tests wurden unter Nutzung des sogenannten Multi - Matrix - Sampling konstruiert, bei dem der Schüler immer nur Teilmengen der Testaufgaben erhält, die er in begrenzter Zeit bearbeiten muß. Zur Bearbeitung war in allen drei Tests die Verwendung eines nicht graphikfähigen Taschenrechners, wie er in der Sekundarstufe II zulässig ist, erlaubt.

A) Der Test für mathematisch naturwissenschaftliche Grundbildung

Der Test zur mathematisch naturwissenschaftlichen Grundbildung enthielt je nach Testheft von 76 zur Verfügung stehenden Aufgaben 55 oder 59 Aufgaben. Die Testhefte waren so rotiert, daß Aufgaben zur Grundbildung sowohl in beruflichen als auch in allgemeinbildenden Schulen der Sekundarstufe II eingesetzt wurden.

Obwohl sich die Auswahl der Testaufgaben an zentralen Gegenständen und tragenden theoretischen Konzepten und Prinzipien des MittelstufenCurriculums orientierte, wurde weniger Wert auf eine Curriculumsvalidität als auf die Alltagsbezogenheit der Fragen gelegt.

Der Grundbildungstest ist in einen mathematischen und einen naturwissenschaftlichen Untertest gegliedert, die folgenden Tabellen zeigen die Aufgabenverteilung in den verschiedenen Fachgebieten.

Tabelle 1: Mathematische Testaufgaben im Grundbildungstest nach Sachgebieten:

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 2: Naturwissenschaftliche Testaufgaben im Grundbildungstest nach Sachgebieten:

Abbildung in dieser Leseprobe nicht enthalten

Die Fragen im Grundbildungstest wurden mit verschiedenen Antwortformaten (multiple choice, ausführliche schriftliche Antwort,... ) vorgegeben, die Verteilung der Antwortformate im mathematisch - naturwissenschaftlichen Grundbildungstest zeigt folgende Tabelle:

Tabelle 3: Verteilung der Antwortformate im Grundbildungstest:

Abbildung in dieser Leseprobe nicht enthalten

B) Der Test für voruniversitäre Mathematik und Physik

Die Fragen im voruniversitären Mahtematik- und im voruniversitären Physiktest sollten den Lehrstoff der entsprechenden Fachkurse am Ende der Sekundarstufe II abbilden. Die Zielgruppe für diesen Test sind daher auch nur die Schüler, die bis zum Ende ihrer Schulausbildung als Teil der Hochschulqualifizierung in Mathematik bzw. Physik unterrichtet wurden (Grund- /Leistungskurs). Anders als im Grundbildungstest prüfen diese Tests also ,,akademische" Kompetenzen ohne Wertlegung auf ,,Alltagstauglichkeit". Das Ziel, sich eng an die Curricula anzulehnen, wurde im deutschen Test mit sehr hohen Unterichts- und Curriculumsvaliditäten erreicht. Die Zugangsvorraussetzungen in Physik und Mathematik für die Universität sind im internationalen Vergleich sehr ähnlich. Im internationalen Vergleich fragen die voruniversitären Mathematik- und Physiktests die gleichen Stoffgebiete in vergleichbarer Qualifizierung ab.

Die folgenden Tabellen geben einen Überblick über die Aufgabenverteilung nach Stoffgebieten im voruniversitären Mathematiktest und nachfolgend im voruniversitären Physiktest.

Tabelle 4: Mathematiktest: Sachgebiete und Verhaltenskategorien

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 5: Mathematiktest: Sachgebiete und Antwortformate

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 6: Physiktest : Sachgebiete und Verhaltenskategorien

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 7: Physiktest: Sachgebiete und Antwortformate

Abbildung in dieser Leseprobe nicht enthalten

Mit dieser Verteilung der Aufgaben kann der voruniversitäre Mathematiktest zu 91 % und der voruniversitäre Physiktest zu 95 % als lehrplanvalide gelten.

3. Ergebnisse von TIMSS III

Die Erfahrung zeigte, daß Veröffentlichungen der internationalen Bildungsforschung (TIMSS, BIJU, PISA,... ) auf ein enormes Echo in Presse und Öffentlichkeit treffen, leider kam es in Vergangenheit in diesem Zusammenhang vor allem in der Boulevardpresse zu vereinfachenden, ,,reißerischen" Fehlinterpretationen. Mit der zögerlichen und vorsichtigen Veröffentlichung erster Testergebnisse 1998 legte das Max-Planck-Institut für Bildungsforschung einige grundsätzliche Richtlinien zur Interpretation der Ergebnisse vor.

= > Nicht in allen Ländern wurden alle drei Tests in allen Schulformen eingesetzt. Es muß bei jedem Vergleich genau darauf geachtet werden, welche Schülergruppen mit welchen Testergebnisssen aus welchen Ländern miteinander verglichen werden.

= > Grundregel 1: Leistungsergebnisse im Bereich mathematisch - naturwissenschaftlicher Grundbildung verschiedener Länder dürfen nur bei ähnlichem Ausschöpfungsgrad der national definierten Untersuchungspopulation - gemessen durch dem TIMSS Coverage Index (TCI) oder nach statistischer Normierung des TCI verglichen werden.

= > Grundregel 2: Fachleistungen im voruniversitären Mathematik- und Physikuntericht unterschiedlicher Länder dürfen nur bei ähnlichen Ausschöpfungsindizes (MTCI, PTCI ) bzw. nach deren statistischer Normierung verglichen werden.

= > Grundregel 3: Bei Leistungsvergleichen unter Ländern mit auffällig niedrigem Ausschöpfungsgrad der Stichprobe (Sample Coverage Index [SCI]) ist die jeweilige Ursache bei der Interpreatation der Daten sorgfältig zu berücksichtigen."³

Das Max-Planck-Institut für Bildungsforschung hält als zentrale Aussage fest, daß sich eine Aufstellung einer Länderrangreihe grundsätzlich verbietet, da die Untersuchungspopulationen der Teilnehmerländer nicht generell vergleichbar sind.

Gerade Länderrangreihen waren bei früheren Veröffentlichungen ein beliebtes und anschauliches Mittel der Presse, die in der Bevölkerung auf Interesse stießen. Die plastische Darstellung, die Leistungen deutscher Schüler und damit die Qualität unserer Bildung in einer Rangfolge wie die Ergebnisse einer Fußball - Weltmeisterschaft zu sehen, erforderte den am wenigsten differenzierten Umgang mit der Studie.

TIMSS III bleibt eine Studie, in der Schülerleistungen international verglichen werden sollen.

Auf Grund unterschiedlicher Populationen und Ausschöpfungsgrade wird eine einfache Reihung der Bedeutung der Ergebnisse nicht gerecht.

Die Aufstellung einer Länderreihennfolge ist nur nach einer statistischen Normierung des Ausschöpfungsgrades der international geforderten Population möglich.

Ein geringer TCI läßt vermuten, daß Teilpopulationen ausgeschlossen wurden, die in signifikanter Weise eine Veränderung des durchschnittlichen Leistungswertes nach unten bewirkt hätten. Nach einer Einschätzung der nicht ausgeschöpften Schülerpopulationen dieser Alterskohorte konnte für einige Länder, u.a. Deutschland festgestellt werden, daß die wahrscheinlichen Leistungen der ausgeschlossenen Populationen keine Verschiebung des nationalen Ergebnisses nach sich gezogen hätten.

3.1. Mathematisch - naturwissenschaftliches Grundwissen.

Ein nationaler Mittelwert von 497 bei einer Standardabweichung von 6,1 siedelt die deutschen Schülerleistungen im internationalen Vergleich in einer mittleren Position an, im Vergleich mit europäischen Nachbarländern ähnlichen Ausschöpfungsgrades liegt Deutschland im unteren Bereich, die Niederlande (559), Norwegen (536) und die Schweiz (531) liegen signifikant (p=0,05 ) vor Deutschland. Die Aufstellung der Länderreihenfolge erfolgte ohne statistische Normierung des TCI und mit 78 bis 88 % sehr groß gewältem TCI Intervall. Die Platzierung der dritten Teilpopulation ist in der mathematisch - naturwissenschaftlichen Grundbildung mit der Platzierung der zweiten Teilpopulation (TIMSS II ) vergleichbar, es ist jedoch feststellbar, daß sich der Abstand Deutschlands zu den führenden Nationen vergrößert hat, während Nationen mit schlechterer Platzierung im Vergleich der Leistungen der Sekundarstufe II zu Deutschland aufholen.

Tabelle 8: Nationen und Schulformen innerhalb Deutschlands nach mittlerer Fachleistung in Mathematik.

Abbildung in dieser Leseprobe nicht enthalten

- Die 8. Jahrgangsstufe entspricht aufgrund des höheren Alters nicht den internationalen Stichprobenvorgaben.

** Internationale Stichprobenvorgaben nur durch Ziehung von Ersatzschulen erreicht.

*** Internationale Stichprobenvorgaben nicht erreicht (Technische Einzelheiten s. Martin & Kelly, 1996)

Das sich abzeichnende kumulative Defizit in mathematischer Grundbildung ist nicht nur auf das berufliche Bildungswesen beschränkt, sondern auch Kennzeichen der gymnasialen Oberstufe. Stärken deutscher Schüler scheint das Lösen von Routineaufgaben zu sein, im Bereich der Naturwissenschaften werden Aufgaben, die überwiegend vorfachliches Wissen oder nur elementare Fachkenntnisse verlangen am besten gelöst. Deutliche Schwächen zeigen die Schüler bei Aufgaben, deren Lösung die Verknüpfung einfacher Operationen im anwendungsbezogenen Kontexten verlangt.

3.2. Voruniversitäre Physik

Schüler der gymnasialen Oberstufe die Grund- oder Leistungskurse im Fach Physik besuchen, erreichen Fachleistungen, die im internationalen Vergleich im gehobenen Mittelfeld anzusiedeln sind. Auch die leistungsstärksten Schüler, vornehmlich Schüler aus Leistungskursen, erreichen im Vergleich mit europäischen Nachbarländern mittlere Ergebnisse, den leistungsstärksten Schülern aus den USA sind sie deutlich überlegen.

Mit Aufgaben, die eine gewohnte Anwendung des Gelernten erfordern, zeigen deutsche Schüler die wenigsten Mängel. Deutliche Defizite zeigen sich in der Transferleistung erworbenen Wissens. So werden Aufgaben, die eine Anwendung bekannter Lerninhalte in neuen Kontexten verlangen, mangelhaft gelöst. Schüler des hochselektiven Physikleistungskurses zeigen hier deutlich bessere Ergebnisse. Fast ein Viertel der Leistungskurs - Schüler sind in der Lage, mit hinreichender Sicherheit auf Oberstufenniveau fachlich selbständig zu argumentieren. Die Stärke deutscher Schüler liegt auch hier in der Lösung von Routineaufgaben.

3.3. Voruniversitäre Mathematik

Die Fachleistungen deutscher Schüler im voruniversitären Mathematikunterricht zeigen die deutlichsten Mängel. Als einzige Nation der Gruppe wichtiger europäischer Länder erreicht Deutschland nicht den internationalen Mittelwert. Im Vergleich der Spitzenschüler schneidet die deutsche Spitzengruppe nur mittelmäßig ab, nur Spitzenschüler aus Italien, Griechenland, Tschechien, - aber auch aus den USA - zeigen noch schlechtere Ergebnisse.

Nur ein kleiner Teil der SchülerInnen erreicht ein Niveau der sicheren Lösung von Routineaufgaben. Wird die vertraute Anwendung des Gelernten geändert, zeigen deutsche Schüler Schwächen in der Bearbeitung von Aufgaben, in denen eine Transferleistung des Gelernten erwartet wird. 60 Prozent der Schüler im Grundkurs Mathematik erreichen nicht das Niveau der Anwendung elementarer Konzepte und Regeln. Schüler der hochselektiven Mathematik- Leistungskurse zeigen erwartungsgemäß ein deutlich besseres Leistungsniveau, dennoch erfüllen nur 10 Prozent dieser Schüler die normativen Leistungsanforderungen des erfolgreichen Umgangs mit mathematischen Problemstellungen, deren Lösung nicht unmittelbar evident ist.

4. Kritisches und Presseecho

Zum Konzept der Studie findet sich bisher nur wenig Kritik.Die Studie wurde aufgrund der langjährigen Erfahrung mit den internationalen Vorgängerstudien sehr genau durchgeführt und konsequent ausgewertet und die Studie ist noch sehr jung, so daß mit kritischen Anmerkungen zum Konzept, zum Design und zur Durchführung erst nach einer Bearbeitungszeit in einigen Monate zu rechnen wäre.

Wie schon mehrmals erwähnt, trafen Vorgängerstudien der vergleichenden Bildungsforschung auf ein intensives Echo in Presse und Öffentlichkeit, das nicht selten mit ungenauer Darstellung und Fehlinterpretation in den Medien verbunden war.

Die Vorsicht mit der die Autoren der deutschen TIMSS - Studie in der Veröffentlichung von Ergebnissen vorgingen, zeigt sich in den eindeutigen Regeln zur Auswertung, die vorab veröffentlicht wurden.

Man kann den Autoren um Jürgen Baumert und Wilfried Bos mangelnde Eindeutigkeit vorwerfen. Zum einen betonen sie deutlich, daß sich Länderrangreihen grundsätzlich verbieten (ohne statistische NormierungTCI), auf der anderen Seite sprechen sie Platzierungen und ungenügend normierte Vergleiche in ihren Veröffentlichungen ohne Scheu aus. Die Autoren wagen meiner Ansicht nach einen Spagat zwischen wissenschaftlicher, ,,Boulevard-präventiver" Interpretation und öffentlichkeitswirksamer, politischer Auswerung der Studie. Hier liegt ein Dilemma, das meines Erachtens von den Autoren nur durch unabhängige deskriptive Beschreibung gelöst werden kann. Die Erfahrung zeigte, daß eine reine Beschreibung der Ergebnisse ohne Vorwegnahme einer Interpretation die Autoren dazu verurteilte hilflos mit anzusehen wie diese Interpretation in teilweise überzogener und politisch intendierter Weise von der Presse vorgenommen wurde. Den Autoren fehlten meist Mittel und Publikum um solche Fehlinterpretationen ihrer Studie zu korrigieren, sie mußten sich und ihre Studie als falsch verstanden oder mißbraucht sehen.

In den Veröffentlichungen zur TIMS - Studie sind deutliche Bemerkungen zu lesen, die verhindern sollen, daß die Ergebnisse politisch mißbraucht und fehlinterpretiert werden können. Dies treibt jedoch die Autoren in das Dilemma, die Auswertung nicht mehr allein anderen überlassen zu können. Sie verlassen die Sicherheit wissenschaftlicher Arbeiten und setzen sich selbst damit (schul- ) politischen Diskussionen aus. In einer Argumentationshilfe der Gewerkschaft Erziehung und Wissenschaft reagiert das Max-Planck-Institut für Bildungsforschung auf Datenmißbrauch in einigen Printmedien. ,,Bedauerlicherweise hatte das MPIB bisher zweifelhafte Auslegungen seiner Untersuchungen zugelassen und damit unter anderem zu unhaltbarer Kritik an Gesamtschulen beigetragen. Lange Zeit haben Vertreter des Instituts verzerrende Darstellungen in der Öffentlichkeit nicht angemessen und deutlich genug richtig gestellt. Im Februar diesen Jahres (2000, d.A.) sah sich das Institut jedoch endlich zu einer Richtigstellung genötigt. (...) Als Autoren dieser Studie möchten wir klarstellen, dass unsere Befunde derartige Interpretationen in keiner Weise rechtfertigen. Die Darstellung in der WELT entbehrt der empirischen Grundlage und schadet einer einer seriösen Rezeption von Ergebnissen aus der Bildungsforschung und jeder konstruktiven Schulentwicklung."⁴

Die Reaktion der Max-Planck-Gesellschaft ist eindeutig und wenig zaghaft, in der Tat waren Reaktionen in den Printmedien schon vorder endgültigen Veröffentlichung der Ergebnisse zum Teil extrem: ,,Die Gesamtschule, ein Ort an dem die Intelligenz verkümmert" (WELT, 08.02.2000)

5. Mini -TIMSS

Im Rahmen eines Referates zu TIMSS III im Seminar ,,Methoden und Ergebnisse aktueller empirisch- pädagogischer Forschung" bei Dr. Lutz Mauermann an der Universität Augsburg wurde im Wintersemester 1999 /2000 von mir ein Test entworfen und von den Probanden, 22 Studenten im Hauptstudium der Diplom - Pädagogik und einem Dozenten bearbeitet.

Es war nicht primäres Ziel des Tests deskriptive Daten über die Studentenleistungen in mathematischer Grundbildung, voruniversitärer Mathematik oder voruniversitärer Physik zu erheben. Im Rahmen des Referats sollte ,,Mini -TIMSS" den Studenten verdeutlichen, wie die Originaltesthefte angelegt waren, mit welchen Schwierigkeiten die Aufgaben zu bearbeiten waren und wie hoch der Zeitdruck in der Bearbeitung war.

,,Mini - TIMSS" war so aufgebaut, daß er in Bearbeitungszeit, Schwierigkeit und Zusammensetzung der Aufgaben maßstabsgetreu ein Zehntel des Originaltests ausmachte.

,,Mini - TIMSS" bestand aus 7 Aufgaben (Aufgabe 1: mathematische Grundbildung, Aufgabe 2: naturwissenschaftliche Grundbildung, Aufgabe 3: voruniversitäre Mathematik, Aufgabe 4: voruniversitäre Mathematik, Aufgabe 5: voruniversitäre Mathematik, Aufgabe 6: voruniversitäre Physik, Aufgabe 7: voruniversitäre Physik), die durchschnittliche Schwierigkeit des ,,Mini -TIMSS" lag bei 594, 2 .

,,Mini -TIMSS" befindet sich als Original im Anhang dieser Arbeit.

Tabelle 9: Auswertung des Mini -TIMMS

Abbildung in dieser Leseprobe nicht enthalten

(Anzahl n=24 , MG= mathematische Grundbildung, NG= naturwissenschaftliche Grundbildung, VM= voruniversitäre Mathematik, VP= voruniversitäre Physik)

Tabelle 10: ,,Mini -TIMSS" -Ergebnisse im Vergleich zu den Ergebnissen TIMSS III

Abbildung in dieser Leseprobe nicht enthalten

Die Stichprobe von 23 Studenten und einem Dozenten und die kurze Anlage des Mini -TIMMS (7 Aufgaben, Bearbeitungszeit 10 min) läßt eine fundierte Auswerung der Ergebnisse nicht zu.

Die Lösungswahrscheinlichkeiten der Studenten stimmen bei den Aufgaben aus der mathematisch-naturwissenschaftlichen Grundbildung auffällig mit den Lösungswahrscheinlichkeiten überein. In der Lösung der Aufgaben aus voruniversitärer Physik und Mathematik lassen sich höchstens Trends erkennen. Die Aufgabe 7 wurde von beinahe der Hälfte aller Studenten nicht mehr bearbeitet, dies läßt auf einen hohen Zeitdruck bei der Bearbeitung schließen.

A. Anhang

1. Literatur- und Quellenverzeichnis.

Zitate:

1 www.mpib-berlin.mpg.de

2 Bos,W. , Baumert,J. ,,Möglichkeiten, Grenzen und Perspektiven internationaler Bildungsforschung", S. 4

3 www.mpib-berlin.mpg.de

Tabellen:

1 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

2 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

3 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

4 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

5 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

6 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

7 www.mpib-berlin.mpg.de ,,TIMSS -Testaufgaben"

8 www.mpib-berlin.mpg.de /TIMSS= >II/II.HTM

9 d.A.

10 d.A.

Literatur:

Bos,W. /Baumert,J. ,,Möglichkeiten,Grenzen und Perspektiven

internationaler Bildungsforschung: das Beispiel TIMSS / III". In: Aus Politik und Teitgeschichte B 35 - 36 /99

www.mpib-berlin.mpg.de

www.gew.de

www.pisa.oecd.org

www.ggg-nrw.de