Eine Studie zur Wirkung von Vergleichsarbeiten im kosovarischen Schulsystem

Inhaltsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

Abkürzungen

1. Einleitung

2. Theoretischer Hintergrund
2.1 Die empirische Wende in der Bildungspolitik
2.2 Bildungsmonitoring
2.3 Klassifikation und Merkmale von Vergleichsarbeiten
2.4 Nutzen und Ziele von Vergleichsarbeiten
2.4.1 Steuerungswissen zur Bildungsplanung
2.4.2 Diagnostik von Schulleistungen
2.4.3 Transparenz bildungspolitischer Entscheidungen
2.4.4 Anregung zur Diskussion neuer Ansätze

3. Forschungsdesign einer empirischen Studie zu Vergleichsarbeiten im Kosovo
3.1 Forschungsstand
3.2 Forschungsfrage

4. Das Untersuchungsgebiet: Vergleichsarbeiten im kosovarischen Bildungssystem
4.1 Historischer Abriss
4.2 Überblick über das Bildungssystem im Kosovo
4.3 Vergleichsarbeiten im Kosovo

5. Methodik
5.1 Stichprobe und Design
5.2 Forschungsinstrumente
5.3 Prozedur

6. Ergebnisse
6.1 Kenntnisstand bezüglich externer Vergleichsarbeiten
6.2 Meinungen über externe Tests
6.3 Vorbereitung auf die Tests
6.4 Nutzung der externen Testergebnisse
6.4.1 Verfahren an den Schulen nach dem Erhalt der Ergebnisse
6.4.2 Nutzung der Ergebnisse zur Unterrichtsentwicklung
6.4.3 Nutzung der Ergebnisse als Vergleichsstandard
6.4.4 Nutzung der Ergebnisse zur Beurteilung der Lehrerinnen
6.5 Kenntnisse zum PISA-Test

7. Diskussion
7.1 Stärken und Schwächen der Methodik
7.2 Transparenz bildungspolitischer Entscheidungen
7.3 Erzeugung von Vergleichsstandards
7.4 Anregung zur Diskussion neuer Ansätze
7.5 Hindernisse für die erfolgreiche Nutzung der Ergebnisse
7.6 Herausforderungen

8. Schluss

9. Literaturverzeichnis

10. Anhang
10.1. Anhang 1: Fragebogen Schulleiterinnen
10.2. Anhang 2: Fragebogen Lehrerinnen
10.3. Anhang 3: Codebuch Schulleiterinnen
10.4. Anhang 4: Codebuch Lehrerinnen

Vorwort

Aus Sicht des Autors ist nicht davon auszugehen, dass weibliche oder andersgeschlechtliche Perspektiven durch die männliche Schreibweise tatsächlich mitberücksichtigt werden. Vielmehr ist der Ausschluss der weiblichen und andersgeschlechtlichen Perspektiven ein Beispiel für sich reproduzierende Diskriminierungen, die sich über Jahrhunderte hinweg entwickelt haben. Aus diesem Grund wird im Rahmen der vorliegenden Arbeit eine genderneutralere Schreibweise verwendet. Daraus ergibt sich beispielhaft die folgende Schreibweise: Schülerinnen.

Abbildungsverzeichnis

Abbildung 1: Forschungsdesign (eigene Darstellung)

Abbildung 2: Schule ländlich/städtisch (eigene Darstellung)

Abbildung 3: Verteilung Schulleiterinnen (eigene Darstellung)

Abbildung 4: Verteilung der Lehrerinnen (eigene Darstellung)

Abbildung 5: Differenz interner und externer Bewertung (eigene Darstellung)

Abbildung 6: Struktur des kosovarischen Bildungssystems (KESP 2016)

Abbildung 7: Übersicht Vergleichsarbeiten im Kosovo (Élezi 2014)

Abbildung 8: Kenntnis Testformat - Schulleiterinnen (eigene Darstellung)

Abbildung 9: Kenntnis Testformat - Lehrerinnen (eigene Darstellung)

Abbildung 10: Testergebnisse angemessen (eigene Darstellung)

Abbildung 11: Meinung über externe Tests (eigene Darstellung)

Abbildung 12: Änderungen bei externen Tests - Schulleiterinnen (eigene Darstellung)

Abbildung 13: Änderungen bei externen Tests - Lehrerinnen (eigene Darstellung)

Abbildung 14: Vorbereitung auf den Test - Lehrerinnen (eigene Darstellung)

Abbildung 15: Dauer Vorbereitung (eigene Darstellung)

Abbildung 16: Art der Vorbereitung (eigene Darstellung)

Abbildung 17: Zahl Vorbereitungsmethoden (eigene Darstellung)

Abbildung 18: Testergebnisse erhalten - Lehrerinnen (eigene Darstellung)

Abbildung 19: Profitieren von externen Testergebnissen - Lehrerinnen (eigene Darstellung)

Abbildung 20: Profitieren von externen Testergebnissen - Schulleiterinnen (eigene Darstellung)

Abbildung 21: Nutzen Testergebnisse - Lehrerinnen (eigene Darstellung)

Abbildung 22: Nutzen Testergebnisse - Schulleiterinnen (eigene Darstellung)

Abbildung 23: Nutzen Ergebnisse zur Unterrichtsentwicklung - Lehrerinnen (eigene Darstellung)

Abbildung 24: Nutzen Ergebnisse zur Schul- und Unterrichtsentwicklung - Schulleiterinnen (eigene Darstellung)

Abbildung 25: Vergleichen der Ergebnisse mit... - Schulleiterinnen (eigene Darstellung)

Abbildung 26: Testergebnisse zur Beurteilung der Lehrerinnen verwendet (eigene Darstellung)

Abbildung 27: Kenntnisnahme von PISA (eigene Darstellung)

Abbildung 28: Was überprüft der PISA Test? - Schulleiterinnen (eigene Darstellung)

Abbildung 29: Was überprüft der PISA Test? - Lehrerinnen (eigene Darstellung)

Abbildung 30: Kommentar PISA-Ergebnisse - Schulleiterin (eigene Darstellung)

Abbildung 31: Kommentar PISA-Ergebnisse - Lehrerinnen (eigene Darstellung)

Abbildung 32: Information über die PISA-Ergebnisse (eigene Darstellung)

Tabellenverzeichnis

Tabelle 1: Übersicht Vergleichsarbeiten Kosovo (eigene Darstellung)

Tabelle 2: Korrelationsmatrix a für die Variablen (eigene Darstellung)

Tabelle 3: Korrelationsmatrix b für die Variablen (eigene Darstellung)

Tabelle 4: Korrelationsmatrix c für die Variablen (eigene Darstellung)

Tabelle 5: Korrelationsmatrix d für die Variablen (eigene Darstellung)

Tabelle 6: Vergleich der Vorbereitung (eigene Darstellung)

Tabelle 7: Korrelationsmatrix e für die Variablen (eigene Darstellung)

Tabelle 8: Korrelationsmatrix f für die Variablen (eigene Darstellung)

Tabelle 9: Korrelationsmatrix g für die Variablen (eigene Darstellung)

Tabelle 10: Korrelationsmatrix h für die Variablen (eigene Darstellung)

Tabelle 11: Erfüllung von Qualitätskriterien für Schulrückmeldungen (eigene Darstellung)

Abkürzungen

Abbildung in dieser eseprobe nicht enthalten

1. Einleitung

״Der Pisa-Schock von 2001 und die daraufhin eingeleiteten grundlegenden Reformen des deutschen Bildungssystems wären nicht denkbar, wenn die Studie nicht das mäßige Abschneiden Deutschlands im Vergleich zu anderen Ländern dokumentiert hätte. Nur weil Pisa zeigen konnte, dass andere Bildungssysteme bessere Leistungen und gleichzeitig ein höheres Maß an Chancengleichheit erreichen können, ist die Diskussion in Deutschland überhaupt erst in Gang gekommen. “

Andreas Schleicher (Direktor für Bildung bei der OECD und internationaler Koordinator der Pisa-Studie), 2018 Bei der ersten Teilnahme Deutschlands am sogenannten ״Programme for International Student Assessment“, kurz PISA, im Jahr 2000, kam es im darauffolgenden Jahr zum sogenannten ״PISA-Schock“. Deutsche Schülerinnen erreichten hierbei nur mäßige Ergebnisse. Es folgten Diskurse in Politik und Gesellschaft darüber, wie solche Resultate möglich sind, was sie bedeuten und wie reagiert werden soll. Letztendlich kam es zu einem Weckruf und einem Paradigmenwechsel in der Bildungspolitik. Durch ein neu eingeführtes Bildungsmonitoring und damit einhergehenden Durchführungen von Vergleichsarbeiten kam es zu grundlegenden Änderungen in der Bildungslandschaft.

In einem Interview mit der Tageszeitung ״Die Zeit“ vom 21. Februar 2018 erklärt der Direktor für Bildung bei der OECD, Andreas Schleicher, dass es durch die PISA-Studie möglich sei, die Leistungsfähigkeit von Bildungssystemen zu identifizieren und daran anknüpfend, mögliche Lösungsstrategien und Handlungsoptionen für eine Verbesserung der Bildungspolitik abzuleiten.

Seit der Jahrtausendwende wurde die PISA Studie alle drei Jahre durchgeführt, zuletzt im Jahr 2015. In diesem Jahr nahm der Kosovo das erste Mal an der Studie teil und erreichte dabei nur eine niedrige Punktzahl. Im Ranking der OECD belegte das Land einen der letzten Plätze. Jedoch stellt dieses Abschneiden nach Andreas Schleichers Ansicht auch eine Chance dar, nach Möglichkeiten zur Verbesserung des Bildungssystems zu suchen. Insofern sind auch die Gesellschaft für internationale Zusammenarbeit (GIZ) und das Ministerium für Bildung im Kosovo (MEST) daran interessiert, bei der diesjährigen PISA-Studie ein besseres Ergebnis zu erzielen.

Neben der PISA-Studie existieren im Kosovo weitere nationale Vergleichsarbeiten. Im Jahr 2016 führte die GIZ eine Studie durch, bei der eine große Differenz zwischen der internen Bewertung von Schülerinnen durch ihre Lehrerinnen und den Ergebnissen der externen Bewertungen von nationalen Vergleichsarbeiten nachgewiesen werden konnte (GIZ & MEST, unveröffentlicht). Dies bedeutet, dass entweder die Bewertungen durch die Lehrerinnen nicht reliabel sind oder die externen Bewertungen nicht valide das überprüfen, was an den Schulen gelehrt wird. Ein wesentliches Ziel des Bildungsministeriums und derGIZ istes, diese Differenz zu verringern. Dafür wurden bisher noch keine konkreten Maßnahmen getroffen oder mögliche Faktoren für eine Verringerung identifiziert.

Mit der vorliegenden Arbeit soll untersucht werden, welche Faktoren einen Einfluss auf die Diskrepanz zwischen externen und internen Bewertungen haben. Des Weiteren soll auf die Nutzung von Vergleichsarbeiten eingegangen werden. Dazu werden die Meinungen von Lehrerinnen und Schulleiterinnen zu Vergleichsarbeiten im Kosovo untersucht, um unter anderem auch zu analysieren, welche Hindernisse für die Nutzung von Testergebnissen bestehen können.

Die vorliegende Arbeit wird zunächst im theoretischen Teil auf die empirische Wende in der Bildungspolitik in Deutschland eingehen und daran anschließend das zuvor erwähnte Bildungsmonitoring näher beschreiben. Als Grundlage werden Vergleichsarbeiten klassifiziert und Merkmale dargestellt, um im späteren Verlauf der Arbeit die unterschiedlichen Studien einordnen zu können. Dazu wird auch der Nutzen von Vergleichsarbeiten betrachtet. Anschließend wird die Untersuchung des Einflusses von den Faktoren Kenntnisstand der Lehrerinnen und Schulleiterinnen bezüglich externer Tests, Vorbereitung auf die Vergleichsarbeiten und Nutzung der externen Testergebnisse auf die Differenz zwischen internen und externen Testergebnissen im Kosovo dargestellt. Die Untersuchung erfolgt anhand eines Mixed-Methods Designs in Form einer Umfrage unter Lehrerinnen und Schulleiterinnen. Die Ergebnisse der Studie dienen der Diskussion, inwiefern der Nutzen von Vergleichsarbeiten im Kosovo ausgeschöpft wird.

Mit Hilfe der ermittelten Daten sollen Grundlagen geschaffen werden, welche derGIZ und dem Bildungsministerium dahingehend Denkanstöße liefern können, wie eine Reduzierung der Diskrepanz von interner und externer Bewertung von Schülerinnen im Kosovo ermöglicht werden kann. Darüber hinaus sollen Möglichkeiten aufgezeigt werden, wie auf aktuelle Herausforderungen im kosovarischen Bildungssystem reagiert werden kann.

2. Theoretischer Hintergrund

ln diesem Kapitel werden Vergleichsarbeiten hinsichtlich ihrer theoretischen Ausrichtung, Funktionsweise und ihrer angestrebten Ziele betrachtet. Im deutschen Bildungssystem fand in Folge des schlechten Abschneidens - insbesondere bei der PISA-Studie - ein Paradigmenwechsel statt, welcher im ersten Punkt beleuchtet wird, um die international gültige Bedeutung von Vergleichsarbeiten für das Bildungsmonitoring vorzustellen. Anschließend werden einzelne Aspekte von Vergleichsarbeiten in größerem Detail beschrieben.

2.1 Die empirische Wende in der Bildungspolitik

Im Jahr 1997 nahmen Schülerinnen in Deutschland das erste Mal nach 20 Jahren wieder an einer internationalen Vergleichsstudie teil. Die Studie hieß ״Third International Mathematics and Science study“ (TIMSS) (Groß, 2013). Das Resultat waren sehr schwache Ergebnisse, was in der Folge zum sogenannten ״TIMSS-Schock“ führte. Ein paar Jahre später folgte die ״PISA-Katastrophe“ bei der die Schülerinnen in Deutschland ebenfalls schlechte Ergebnisse erhielten (Helmke, 2017). Dabei wurde neben Defiziten in den Kernkompetenzbereichen Lesen, Mathematik und Naturwissenschaften auch ein vergleichsweise hoher Zusammenhang zwischen Leistungsgrad und sozialer Herkunft festgestellt (ebd.).

Ähnlich wie in anderen Ländern führten diese Ergebnisse zu einer sogenannten empirischen Wende im deutschen Bildungssystem. Groß beschreibt, dass sich dies vor allem durch sieben Handlungsfelder ausdrückte, welche 2002 in der Kultusministerkonferenz (KMK) festgehalten wurden. Diese beinhalten u.a. die weitere Teilnahme an internationalen und nationalen Vergleichsarbeiten sowie die Einführung bundesweit geltender Bildungsstandards in Form von flächendeckenden nationalen Lernstandserhebungen (Groß, 2013). Dies bedeutete wiederum einen Abschied von der Input-Orientierung, das heißt der Sicherung der Bildungsqualität durch eine solide Lehrerinnenausbildung, eine gute Infrastruktur und ausgewählte Curricula, hin zu einer Output-orientierten Ausrichtung (Helmke, 2017).

״Entscheidend und in gewisser Weise tatsächlich revolutionär für den Schulbereich ist es, sich bei der Steuerung nicht länger nur am Prinzip einer immer detaillierteren Vorgabe von Inputs (Gesetze, Lehrpläne, Erlasse, Stundentafeln, Ordnungen), sondern verstärkt an den Outputs bzw. Outcomes, also an tatsächlich erreichten Effekten und Wirkungen, zu orientieren - und diese mit gesetzten Standards zu vergleichen. So etwas hat Folgen: Nur zu behaupten, dass ein Mehr an Investitionen hier oder dort eben hier oder dort dann schon gesteigerte Effekte nach sich ziehen werde, ist nicht mehr ausreichend - es geht um tatsächliche zustande kommende Wirkungen, und zwar Wirkungen auf der Seite der Schüler, denn die Schule ist letztendlich für die Schüler da“ (Terhärt, 2002, s. 7).

International haben Länder, welche heute eine hohe Punktzahl bei PISA erreichen, schon Ende der 1980er Jahre ihre Bildungssysteme nach einer Output-Orientierung umgestellt. Neben den skandinavischen Ländern, sind vor allem die Niederlande und Kanada zu erwähnen. So hat die niederländische Erziehungswissenschaft ihre empirische Wende bereits Ende der 1960er Jahre erlebt. Diese wurde gestützt durch eine Output-orientierte Politik, welche sich fortlaufend die Ergebnisse der Bildungsforschung einholte (Buchhaas-Birkholz, 2010).

Es bleibt festzuhalten, dass der Output eines Bildungssystems die Ergebnisse und Erträge beschreibt, welche dieses erreicht. Dabei wird zwischen kurzfristigen Wirkungen (sogenannten Outputs wie Z.B. Schulleistungen) und langfristigen Ergebnissen (sogenannten Outcomes wie z. B. Schulabschlüsse oder Schulabbrecherquoten) unterschieden (Wild & Möller, 2015).

2.2 Bildungsmonitoring

Das Bildungsmonitoring ist als Antwort auf den Paradigmenwechsel in der Bildungspolitik zu verstehen. Für ein umfassendes System der Qualitätsentwicklung und Standardsicherung spielt das Bildungsmonitoring eine wesentliche Rolle. Unterschiedlichste Entwicklungen haben dazu geführt, dass das Bildungsmonitoring in vielen Ländern eine hohe Bedeutung erlangt hat (Stanat, 2008). So gab es in den letzten Jahren immer wieder öffentliche Diskurse über die Leistungsfähigkeit einzelner Schulen und auch ganzer Schulsysteme. Hinzu kamen weitreichende Informationsdefizite in Bezug auf empirisch fundiertes Wissen. Dies ist wiederum wichtig für die Beurteilung, Verbesserung und Weiterentwicklung eines Bildungssystems. Für dieses Wissen bedarf es eines Bildungsmonitorings, welches die systematische und regelmäßige Erfassung von Indikatoren für die Qualität eines Bildungssystems oder dessen Teilsysteme gewährleistet (Wild & Möller, 2015).

Ein Bildungsmonitoring dient weiterhin dazu, Informationen überden Zustand eines Systems zu gewinnen und eine Datengrundlage für Bildungsberichte zu liefern. Diese Berichte geben Auskunft über die erreichte Qualität sowie über notwendigen Nachsteuerungsbedarf. Somit können Bildungsberichte zur Steuerung eines Systems verwendet werden. Eine große Herausforderung für ein erfolgreiches Bildungsmonitoring stellt das Erfassen von relevanten Indikatoren dar, die wichtige Aspekte des Outputs bzw. Outcomes repräsentieren. Durch empirische Verfahren wird es möglich, diese Indikatoren zu erfassen. Es ist dabei zu unterstreichen, dass Schulleistungsstudien nicht alle Informationen des Bildungssystems erfassen können. Genauso ist es für Vergleichsarbeiten nicht möglich, alle relevanten Indikatoren zu erfassen und darzustellen. So können und müssen fehlende Informationen durch andere Quellen erfasst werden. Beispielsweise können die Quoten der Schulabbrecherlnnen oft auch mit Hilfe von nationalen Statistiken erfasst werden (ebd.).

Es bleibt festzuhalten, dass es das Ziel des Bildungsmonitorings ist, die Etablierung und die Verbesserung der Qualität des Bildungssystems zu gewährleisten (Diemer, 2013). Mit der beschlossenen Beteiligung an Vergleichsarbeiten ist ein System installiert worden, welches empirische Daten über das bundesdeutsche Schulsystem, insbesondere dessen Output, produziert. Mit der Produktion und Bereitstellung dieser Informationen gehen nach Diemer zwei grundsätzliche Erwartungen einher: So besteht auf der einen Seite die Möglichkeit eines evidenzbasierten Handelns in Verwaltung und Politik und auf der anderen Seite die Etablierung einer datenbasierten Unterrichts-, Professions- und Schulentwicklung (ebd.).

2.3 Klassifikation und Merkmale von Vergleichsarbeiten

Vergleichsarbeiten verwenden zur Durchführung verschiedene Messinstrumente in Form von Fragebögen, Interviews, Quellen oder Daten von statistischen Ämtern. Den Hauptteil der Vergleichsarbeiten bilden die Testkomponenten. Hierbei werden die Schülerinnen mit Aufgaben konfrontiert, welche die Kompetenzen messen. Die Antworten dienen somit als Indikator für die Fähigkeiten einer Person. Es wird davon ausgegangen, dass ein vergleichbares Problem auch außerhalb der Testsituation gelöst werden kann (Wild & Möller, 2015).

Ein wichtiger Punkt zur Klassifikation von Vergleichsarbeiten ist die Fragestellung. Von dieser ist es abhängig, welche Stichprobe aus welcher Grundgesamtheit gezogen wird, ob die Vergleichsarbeit national oder international durchgeführt werden muss und welche Hintergrundinformationen gesammelt werden (ebd.).

Je nach Fragestellung gilt es, bei Vergleichsarbeiten unterschiedliche Vergleichsperspektiven (normorientiert, Benchmarking, kriteriumsorientiert, ipsativ) zur Bewertung der Testleistungen anzulegen. In internationalen Vergleichsarbeiten, wie beispielsweise PISA, wird die Kompetenz einer Gruppe an der Kompetenz einer anderen Gruppe gemessen. So werden die Ergebnisse der teilnehmenden Staaten auf einer gemeinsamen Skala zurückgemeldet.

Für jeden Staat ist es möglich, sich einem normorientierten Vergleich zu stellen. Mit Hilfe dieser Ergebnisse kann ein Bild über die relativen stärken und Schwächen eines Bildungssystems aufgezeigt werden. Die Informationen können auch für ein Benchmarking verwendet werden, um beispielsweise zu klären, wie Staaten mit einer höheren Punktzahl in ihrem Bildungssystem Vorgehen (Wild & Möller, 2015). Werden die erreichten Ergebnisse und Kompetenzen mit formulierten Bildungszielen oder Bildungsstandards verglichen, so wird von einem kriteriumsorientierten Vergleich gesprochen. Die ipsative Perspektive beschreibt, wie sich Kompetenzen von Personen oder Gruppen über einen längeren Zeitraum verändern (ebd.).

Als weiteres Kriterium dient die Stichprobe, sowie das Design einer Vergleichsarbeit. Hierbei kann eine gesamte Population getestet werden oder eine Zufallsstichprobe gezogen werden. Davon abhängig verändert sich die Reichweite. Das heißt, Vergleichsarbeiten können eine bestimmte Anzahl von Staaten, einen bestimmten Staat mit zugehörigen Bundesländern, - Staaten oder Provinzen, eine bestimmte Region, eine Schulart oder eine bestimmte Gruppe von Schulen erfassen. Das Design von Vergleichsarbeiten kann in Quer- und Längsschnitt­Untersuchungen unterschieden werden (ebd.).

Die inhaltliche Ausrichtung ist ein weiteres elementares Merkmal. So kann durch eine Vergleichsarbeit geprüft werden, ob nach dem gegebenen Curriculum öderden vorgegebenen Bildungsstandards gelernt wurde. In diesem Fall werden die Arbeiten als ״curriculumorientierte Studien“ bezeichnet. Die großen Vergleichsarbeiten ״Vergleichsarbeiten in Grundschulen“ (VERA) und ״Trends in International Mathematics and Science study” (TIMSS) lassen sich hier einordnen (Drechsel et al., 2015).

Einen anderen Schwerpunkt haben Studien, die bestimmte Kompetenzen untersuchen bzw. betrachten, ״[...] wie gut Schüler eines bestimmten Lebensalters Kompetenzen entwickelt haben, die für ein lebenslanges Lernen in der Wissensgesellschaft und für die aktive Teilhabe am Leben einer Gesellschaft von Bedeutung sind“ (ebd., s. 354). Dieser Ansatz wird ״literacy- orientiert“ genannt. Da eine grundlegende Textkompetenz als Voraussetzung für eine aktive Teilnahme an der Gesellschaft gesehen wird. Hinzu kommen bei diesen Tests Aufgaben aus der Mathematik oder den Naturwissenschaften, welche ebenfalls als grundlegende Kompetenzen verstanden werden. Hier lassen sich die Vergleichsarbeiten PISA oder ״Progress in International Reading Literacy study“ (PIRLS) zuordnen (ebd.).

Es bleibt festzuhalten, dass sich beide Ansätze nicht konträr gegenüberstehen. So überprüfen auch ״curricular orientierte“ Arbeiten Kompetenzen, welche zur Teilhabe an der Gesellschaft befähigen sollen und welchen im Berufs- und Privatleben eine Bedeutung zukommt. Es wird hierbei nur in besonderer Weise darauf geachtet, dass die geprüften Kompetenzen ״relevant und anschlussfähig sind“ (ebd., s. 354). Drechsel et al. betonen, dass zudem der literacy­Ansatz einen enormen praktischen Wert besitzt. So kann er in verschiedenen Ländern eingesetzt werden, da sich dabei nicht an einem Curriculum orientiert wird. Hierbei sei nur die Mathematik als Ausnahme erwähnt, bei der es häufig viele Überschneidungen der verschiedenen Curricula gibt (ebd.).

Die Organisation von Vergleichsarbeiten übernehmen bei nationalen Studien meist die Bildungsadministrationen von Staaten und Ländern. Bei den großen internationalen Vergleichsarbeiten hingegen sind die Organisatorlnnen meist die IEA oder die OECD, welche über langjährige Erfahrungen mit diesen Studien verfügen (ebd.).

2.4 Nutzen und Ziele von Vergleichsarbeiten

Im Folgenden werden verschiedene Möglichkeiten zur Nutzung von Vergleichsarbeiten dargestellt. Dies ist notwendig, um im späteren Verlauf der Arbeit die Wirkungen und Potenziale der Vergleichsarbeiten im Kosovo bewerten zu können.

2.4.1 Steuerungswissen zur Bildungsplanung

Für die materielle Ausstattung an Schulen, eine ausreichende Anzahl an Lehrerinnen, ein angemessenes Curriculum und Lerninhalte, die den Wünschen von Schülerinnen entsprechen, ist auf regionaler und nationaler Ebene das jeweilige Bildungsministerium verantwortlich. Dafür bedarf es einer Vielzahl an Informationen sowie entsprechender Planung, um die Lernwirksamkeit von Schulen zu garantieren. Wie bereits beschrieben, können Bildungsplanerinnen mit Hilfe der Informationen aus nationalen und internationalen Vergleichsarbeiten bei Bedarf korrigierend und standardsichernd eingreifen und so den Bildungsprozess in einem Land steuern (Postlethwaite, 1999).

Durch Vergleichsarbeiten ist es möglich, systematisch zu erfassen, welche fachlichen Inhalte auf welchem Niveau von Lehrerinnen unterrichtet und von den Schülerinnen gelernt werden. Bildungsplanerinnen ist es so möglich, Einblicke in Inhalte und Aufbau der Curricula sowie Bildungsprozesse anderer Länder / Regionen zu bekommen. Diese Informationen können zur Überprüfung und Weiterentwicklung der eigenen Curricula genutzt werden (ebd.). Weinert beschreibt, dass sich eine Vielzahl an Bildungsfragen ausschließlich auf der Grundlage von Vergleichsarbeiten beantworten beziehungsweise diskutieren lassen. Dazu führt er das Beispiel des Einschulungsalters an. So schulen einige Länder ihre Schülerinnen in einem Alter von vier Jahren ein, bei anderen Ländern beginnt die Schule ab einem Alter von fünf, sechs oder sieben Jahren. So wird es für jedes Land gute Gründe für die Festlegung der Einschulzeit geben (Weinert, 2014).

Vergleichsarbeiten können insofern als Informationsquelle für die Steuerung eines Bildungssystems genutzt werden. Der Nutzen der Informationsgewinnung von Vergleichsarbeiten beruht im Wesentlichen darauf, wie diese Informationen zurückgemeldet werden. Nach stanat ist es aktuell oft unklar, wie Schulen und Lehrerinnen mit den Rückmeldungen über die Ergebnisse umgehen, welche ihre Schülerinnen in Vergleichsarbeiten erzielt haben (Stanat, 2008).

2.4.2 Diagnostik von Schulleistungen

Die Einschätzung der Leistung von Schülerinnen ist eine Kernkomponente der beruflichen Tätigkeit von Lehrerinnen. Die Diagnostik von Schülerlnnen-Leistungen ¡Steine hochkomplexe Anforderung, welche durch verschiedenste Faktoren beeinflusst wird. Die Beurteilung erfolgt oft nicht unvoreingenommen und neutral, sondern wird durch Erwartungen und Voreinstellungen, wie beispielsweise die Herkunft, das Geschlecht, den sozioökonomischen Hintergrund und andere Merkmale der Schülerinnen verzerrt (Schrader & Helmke, 2014).

Nach Ingenkamp & Lissmann können manche der Beurteilungen mit denen professioneller Diagnostikerlnnen verglichen werden. Dabei wird ein explizites Urteil, eine Diagnose abgegeben. Hierbei beziehen sich die Lehrerinnen auf geeignete Informationen und Daten, welche beispielsweise durch Klassenarbeiten, mündliche Prüfungen und so weiter erhoben wurden. Werden diese gewonnenen Daten mit einer Norm (Vergleichsmaßstäben) in Beziehung gesetzt, kann ein diagnostisches Urteil gefällt werden (Ingenkamp & Lissmann, 2008).

Wie bereits bei den Kriterien von Vergleichsarbeiten beschrieben, können auch bei der Leistungsbewertung durch die Lehrerinnen drei Bezugsnormen unterschieden werden. So ist eine Leistung gut, wenn sie besser ist, als die der Mitschülerinnen oder des Durchschnitts (soziale Norm). Verbessert sich die Leistung des Lernenden im Vergleich zu vorhergehenden Leistungen, handelt es sich um die individuelle Norm. Von der sachbezogenen oder kriterialen Norm wird gesprochen, wenn ein angestrebtes Lernziel oder Kriterium erreicht wurde.

Eine Beurteilung erfolgt in Situationen, bei denen die Lehrerinnen - im Idealfall - ihre volle Aufmerksamkeit auf die diagnostische Aktivität richten können, zum Beispiel bei einer mündlichen Leistungskontrolle oder bei der Korrektur schriftlicher Arbeiten. Anschließend können die gewonnenen Informationen in Ruhe ausgewertet und analysiert sowie der gesamte Beurteilungsvorgang gründlich überdacht werden.

Andere Beurteilungen müssen während des Unterrichts getroffen werden, erfolgen daher meist sehr schnell und können somit nicht in Ruhe reflektiert werden. Dazu gehört beispielsweise das Aufrufen eines Schülers oder einer Schülerin während des Unterrichts (Schrader & Helmke, 2014). Es bleibt festzuhalten, dass das subjektive Lehrerinnenurteil korrektur- und ergänzungsbedürftig ist.

Vergleichsarbeiten können helfen, objektive, zuverlässige und gültige Informationen über die Leistungen von Schülerinnen zu geben. So können Lehrerinnen durch normorientierte Testverfahren eine Unterstützung zur Einschätzung der Leistung ihrer Schülerinnen über den Rahmen der eigenen Klasse hinaus bekommen. Andere Informationen erhalten Lehrerinnen, wenn Schulleistungstests die Schülerinnen mit einer Alters- oder Jahrgangsnorm vergleichen. Hierbei erfahren die Lehrkräfte, wie einzelne Schülerinnen und eine gesamte Klasse im Vergleich zum Altersjahrgang abgeschnitten haben (Schrader & Helmke, 2014).

Anders als die normorientierten Tests, geben lehrziel- oder kriteriumsorientierte Tests (siehe Kapitel 2.3) den Lehrkräften Informationen darüber, inwiefern Schülerinnen bestimmte Lehrziele oder vorgegebene Bildungsstandards erreicht haben. Für Lehrkräfte ist es oft schwer, bestimmte Leistungen differenziert zu beurteilen, besonders wenn es sich um Leistungserbringungen handelt, die weniger offensichtlich sind, wie beispielsweise die Fähigkeit zum Lösen bestimmter Probleme. So stellen Vergleichsarbeiten hier mit den jeweiligen Informationen eine Hilfe dar (Ingenkamp & Lissmann, 2008).

Nach Schrader & Helmke ist die Leistungsfähigkeit eines Lernenden nicht nur am aktuell erreichten Leistungsstand zu sehen, sondern auch bei den bestehenden Entwicklungsmöglichkeiten. Dies beinhaltet Potentiale von Unterrichtsmaßnahmen oder bestimmten Hilfestellungen, die das Leistungsniveau von Schülerinnen anheben können. Mit Hilfe von Lerntests werden Messungen zu zwei verschiedenen Zeitpunkten durchgeführt. Zwischen den Tests gibt es eine Instruktions- oder Trainingsphase. Anschließend wird nicht geschaut, wie effizient oder leistungsstark eine Schülerin oder ein Schüler beim ersten oder zweiten Test war, sondern inwiefern sie oder er die angebotenen Hilfen genutzt hat und sich dadurch verbessern konnte. Dieses Vorgehen sensibilisiert die Lehrerinnen für das Leistungspotential von Lernenden (Schrader & Helmke, 2014).

Zusammenfassend bedeutet dies, dass Vergleichsarbeiten für eine Verbesserung des Unterrichts einerseits sowie für die Verbesserungen der diagnostischen Kompetenz von Lehrkräften andererseits genutzt werden können.

2.4.3 Transparenz bildungspolitischer Entscheidungen

Durch Vergleichsarbeiten und Bildungsmonitoring kommt es zu einer Erhöhung der Transparenz bildungspolitischer Entscheidungsprozesse. Durch die gewonnenen Daten und Informationen entsteht eine Grundlage zur Bewertung umgesetzter Maßnahmen und somit zu einem eventuellen Handlungsbedarf. Die Folge ist, dass eine besser informierte Öffentlichkeit Verbesserungen und Nachweise der getroffenen Neuerungen verlangt (Stanat, 2008).

Ein gutes Beispiel hierfür ist Deutschland im Falle der schon genannten Vergleichsarbeiten PISA und TIMSS. Hierbei wurde deutlich, dass aufgrund des schlechten Abschneidens das öffentliche Interesse am Bildungswesen stieg. Somit konnte die Transparenz in der Bildungspolitik erheblich verbessert werden. Es folgte eine regelmäßige und systematische Überprüfung der Qualität auf Basis empirischer Daten (Drechsel & Prenzel, 2008). Die genauen Befunde und ihre Bedeutung sind zwar oft nur Bildungsexpertinnen präsent, dennoch können laut Davier öffentliches Interesse und Transparenz als ״Change Agents“ wirken und Reformen anstoßen (von Davier, 2013).

2.4.4 Anregung zur Diskussion neuer Ansätze

Vergleichsarbeiten dienen einer Standortbestimmung und somit der Orientierung. Es lässt sich analysieren und bestimmen, wo ein Handlungsbedarf besteht. Dies wiederum hat die Einführung neuer Konzepte und Ansätze zur Folge. Somit ist ein weiterer wesentlicher Nutzen von Vergleichsarbeiten, Impulse zu geben und neue Diskussionen anzuregen.

In der Bildungspolitik bedeutet das, aktuelle Lehrpläne zu hinterfragen, neue Evaluationsansätze einzuführen oder die Aus- und Weiterbildung von Lehrerinnen zu ändern. Außerdem können in der Bildungsforschung neue Forschungsrichtungen entdeckt oder vertieft werden (Lange, 2001). Insbesondere in Schulen sollen die Ergebnisse benutzt werden, um das eigene Handeln zu hinterfragen und zu reflektieren. So nennen Drechsel & Prenzel hierfür einige Beispiele für Diskussionen, die beispielsweise durch PISA angestoßen werden können. Hierzu nennen die Autoren Überlegungen zu Schulpraktiken bezüglich Klassenwiederholungen, Computernutzung, Geschlechterdifferenzen, Aktivität der Lehrerinnenschaft oder Effizienz des Unterrichts. Testergebnisse können hierfür eine Datengrundlage bieten und so Anregungen zur Diskussion geben (Drechsel & Prenzel, 2008). Weinert ergänzt hierzu, dass Vergleichsarbeiten einen ״Einstieg in den Prozess der Qualitätsverbesserung sowie einen externen Auslöser für bildungspolitische und für schulinterne Reflexionen“ darstellen können (Weinert, 2014).

3. Forschungsdesign einer empirischen Studie zu Vergleichsarbeiten im Kosovo

Im Folgenden wird zunächst der aktuelle Forschungsstand zu Vergleichsarbeiten näher beschrieben und dabei auf Chancen und Probleme bei deren Durchführung und Nutzung eingegangen. Anschließend wird die Forschungsfrage der dieser Arbeit zugrundeliegenden empirischen Studie formuliert.

3.1 Forschungsstand

Im Kontext der Merkmale, Ziele und des möglichen Nutzens von Vergleichsarbeiten drängt sich die Frage auf, wie die zurückgemeldeten Ergebnisse tatsächlich von Lehrerinnen und Schulleiterinnen in den Schulen aufgenommen und genutzt werden (Diemer, 2013). Verschiedene empirische Untersuchungen zu dieser Frage liegen dazu insbesondere aus Ländern des angelsächsischen Raums vor, da hier Vergleichsarbeiten zum Teil bereits seit den 1970er Jahren durchgeführt werden. Aber auch im deutschsprachigen Raum gibt es seit der Einführung von Bildungsstandards und Vergleichsarbeiten einige Studien, die durchgeführt wurden, um die verschiedenen Aspekte der Rezeption und Nutzung der Ergebnisse von Vergleichsarbeiten zu untersuchen (ebd.).

In der internationalen Forschung zeigt sich ein großer Bestand von Untersuchungen, welche sich mit der Nutzung von Vergleichsarbeiten in den Vereinigten Staaten von Amerika beschäftigen (Hamilton, Stecher, & Yuan, 2012). Die Studien zeigen auf der einen Seite, dass Lehrerinnen und Schulleiterinnen seit der Einführung von Vergleichsarbeiten vermehrt versuchen, die Unterrichts- und Schulentwicklung voranzutreiben. So wurden zusätzliche Förderangebote eingerichtet und die Anpassung schulinterner Unterrichtsplanungen und Curricula an formulierte Bildungsstandards vorgenommen. Des Weiteren war eine verstärkte Bezugnahme auf die Ergebnisinformationen im Zusammenhang mit schulinternen Entscheidungsprozessen sowie eine zunehmende Teilnahme an Fort- und Weiterbildungen seitens der Lehrerinnen und Schulleiterinnen zu verzeichnen (ebd.).

Auf der anderen Seite zeigte sich aber auch, dass Vergleichsarbeiten verschiedene unerwünschte, problematische Reaktionsweisen hervorbringen können (Hamilton, Stecher, & Klein, 2002). Ein Problem ist, dass Maßnahmen vollzogen werden, welche zu einer Erhöhung der Testleistung führen, jedoch nicht zu einer Steigerung der Fähigkeiten und Kompetenzen der Schülerinnen (ebd.). Somit erfolgt ein sogenanntes ״teaching to the tesť, was die Vorbereitung auf eine Vergleichsarbeit durch die Ausbildung eingeschränkter Fähigkeiten zur Lösung der Testaufgaben auf Kosten der Förderung von Problemlösefähigkeiten meint (Sturman, 2003). Das bedeutet, Lehrerinnen nutzen große Teile der Unterrichtszeit für die Bearbeitung und Lösung von Testmaterialien vergangener Tests (ebd.). Hermann et. al. ergänzen hierzu, dass dies in Extremfällen dazu führt, dass Lehrerinnen überhaupt nicht mehr zwischen der Vorbereitung auf einen Test und dem sonstigen Unterricht unterscheiden (Herman & Golan, 2005).

Ein weiteres Problem stellt eine Umverteilung der Unterrichtszeit dar. So wurde beobachtet, dass eine solche Umverteilung auf curricularer Ebene stattfindet. Dabei wird Unterrichtszeit von nicht testrelevanten Fächern auf testrelevante Fächer übertragen. Auch innerhalb von Fächern wird testrelevanter Unterrichtsinhalt auf Kosten von nicht testre levanten Inhaltsbereichen übervorteilt. Nach Stecher und Baron werden diese Umverteilungsprozesse als curriculum swings bezeichnet. Diese Vorgänge können dazu führen, dass der Unterricht sich stärker an Vergleichsarbeiten orientiert als an den formulierten Bildungsstandards (Stecher & Barron, 2001).

Eine dritte Problematik im Zusammenhang mit Vergleichsarbeiten besteht bezüglich verschiedener Formen der Manipulation (cheating). So geben Lehrerinnen ihren Schülerinnen während der Tests Hinweise oder Hilfestellungen, mehr Zeit als eigentlich vorgesehen oder sie tragen die Antworten selber ein (Jacob & Levitt, 2003). Zudem wurden Manipulationen auf Organisationsebene beobachtet, indem leistungsschwache Schülerinnen von der Teilnahme an Vergleichsarbeiten ausgeschlossen wurden, indem ihnen ein sonderpädagogischer Förderbedarf attestiert wurde (Figlio & Getzler, 2002).

Ein Ansatz, diesen Problemen zu begegnen, ist es, diese in ihr (positives) Gegenteil ״zu drehen“. Die wesentliche Überlegung besteht darin, den Anspruch didaktisch und methodisch höherwertiger Vergleichsarbeiten auf die Unterrichtsgestaltung und die Ausgestaltung schulinterner Curricula zu übertragen (Diemer, 2013). Das Ziel ist eine washback genannte Rückwirkung, welche dafür sorgen soll, dass das teaching to the test und die curriculum swings sogar wünschenswert sind, da es didaktisch und methodisch wertvoller ist und auf die Förderung anspruchsvoller Kompetenzen abzielt (ebd.).

So haben weitere Studien untersucht, ob und inwiefern solche was/7bac/c-Effekte wirklich realisiert werden (Cheng, 1999). Im Fokus dieser Untersuchungen stehen Vergleiche zwischen der Unterrichtsgestaltung und den Einstellungen von Lehrerinnen, deren Schülerinnen Tests mit multiple-Choice Fragen absolvieren und Schülerinnen, mit denen die Tests mit komplexen Aufgabenstellungen durchgeführt werden. Die Studien kamen zu zwei Ergebnissen. Zum einen nahmen die Lehrerinnen beider Testformate (multiple-Choice / komplexe Aufgabenstellung) die Aufgabenformate in ihren Unterricht auf. Somit konnten sich dort, wo komplexere Aufgaben eingesetzt wurden, tatsächlich weniger multiple-Choice und deutlich mehr komplexe Aufgabenstellungen nachweisen. Zum anderen gingen damit nur minimale Unterschiede bei der Unterrichtsgestaltung einher. Letztendlich kam es durch die komplexeren Aufgabenformate nicht zu einer tiefgreifenderen, schüleraktivierenden Unterrichtsgestaltung (Fuhrman & Elmore, 2003).

Des Weiteren gibt es einige Studien, welche sich mit dem Nutzen von Ergebnisrückmeldungen schulinterner Verarbeitungsprozeduren beschäftigen (Spillane, 2000). Im Mittelpunkt der Untersuchungen stehen dabei die Nutzung der Ergebnisinformationen aus den Vergleichsarbeiten als interpretative und konstruktive Vorgänge des decision making und des sense making. Die Untersuchungen wurden vor allem in England, Frankreich und den Niederlanden durchgeführt. Die Ergebnisse zeigen, dass es sich um einen komplexen mehrdimensionalen Prozess handelt, welcher sich nicht vollständig über die individuellen Eigenschaften der Lehrerinnen und Schulleiterinnen aufklären lässt (ebd.).

Innerhalb Deutschlands haben sich seit der Einführung von Vergleichsarbeiten eigenständige Forschungsstudien zur Untersuchung des Nutzens desselbigen entwickelt. So wurden verschiedene Aspekte, wie ״Akzeptanz, Rezeptionsintensität, Verständlichkeit, wahrgenommene Nützlichkeit, Nutzungsformen, Bereitschaft zur Nutzung der Ergebnisrückmeldungen für die Unterrichtsentwicklung und tatsächlich realisierte Konsequenzen“ (Diemer, 2013, s. 71) untersucht. Studien, welche die Rezeption von Rückmeldungen in Deutschland betrachten, sind beispielsweise die von 1997 bis 2005 durchgeführten ״Lernausgangslagen-Untersuchungen“ (LAU) in Hamburg, die im Jahr 1997 durchgeführte TIMSS oder die seit dem Jahr 2007 in acht Bundesländern durchgeführte Studie VERA (Diemer, 2013).

Die ersten Untersuchungen, welche zum Monitoring durchgeführt wurden, zeigten eine eher geringe Akzeptanz gegenüber den Vergleichsarbeiten auf. Jedoch erhöhte sich der Wert im Laufe der Jahre zunehmend. Eine Ähnlichkeit besteht auch im Zusammenhang mit der wahrgenommenen Nützlichkeit und Relevanz von Vergleichsarbeiten für die Unterrichts- und Schulentwicklung, welche ebenso im Laufe der Jahre anstieg. Dies ist darauf zurückzuführen, dass es nach den ersten Durchführungen von Vergleichsarbeiten zu intensiven Diskussionen über die Ergebnisse und somit zu einer Weiterentwicklung und besseren Nutzung eben dieser kam (Böhm-Kasper, Schuchart, & Schulzeck, 2007).

Bei der tatsächlichen Nutzung - damit ist die Ableitung der Ergebnisse zu Unterrichts- und schulbezogenen Maßnahmen gemeint - sind die Ergebnisse eher schwach. So wurden zwar bestimmte Unterrichtsinhalte in der Folge der Tests wiederholt, didaktische Aufgabenformate in den Unterricht übernommen und auch zusätzliche Förderungen für leistungsschwache Schülerinnen eingeführt (Groß, 2013). Jedoch zeigt sich, dass diese Maßnahmen selten über die Klassenstufen hinausgehen und es so nicht zu einer Veränderung der Curriculumsplanung oder einer Verbesserung der Organisationsentwicklung kommt. Groß stellt fest, dass ״[...] überwiegend Maßnahmen verstärkt werden, die bereits vor den Vergleichsarbeiten Teil des Repertoires waren. Innovative, also bisher nicht praktizierte Verfahren, wurden seltener eingeführt.“ (Groß, 2013, s. 6).

Weitere Studien, welche in Deutschland durchgeführt wurden, untersuchten die verschiedenen Nutzungstypen von Vergleichsarbeiten. Eine erste wichtige Studie in diesem Zusammenhang erhob Stamm (2003). In dieser werden vier verschiedene Nutzungstypen von Vergleichsarbeiten beschrieben: ״Blockade“, ״Innovation“, ״Alibi“ und ״Reaktion“. Die ״Blockade“ beschreibt, dass Vergleichsarbeiten überwiegend als Kontrolle wahrgenommen werden, auf welche nicht mit konkreten Maßnahmen reagiert wird. Die ״Innovation“ beschreibt im Unterschied dazu, dass Vergleichsarbeiten als Unterstützungsangebote aufgefasst und die gewonnenen Informationen für Veränderungen genutzt werden. Werden Vergleichsarbeiten als zusätzliche Bestätigung vorhandener Erkenntnisse betrachtet, so werden sie als Legitimationsinstanzen betrachtet und es wird vom Nutzungstyp ״Alibi“ gesprochen. Unter ״Reaktion“ wird verstanden, dass nach der Durchführung von Vergleichsarbeiten und den gewonnenen Informationen direkte, zwangsläufige Maßnahmen umzusetzen sind (Stamm, 2003).

Es konnten keine Studien zu Vergleichsarbeiten im Kosovo gefunden werden. Daraus ergibt sich ein offensichtlicher Bedarf an derartigen Untersuchungen.

3.2 Forschungsfrage

Der Rechenschaftspflicht sowie der Evaluierung von umgesetzten Maßnahmen kommen im Bildungswesen, wie beschrieben, eine immer größere Bedeutung zu. Dies bezieht sich sowohl auf die Schul- und Unterrichtsebene als auch auf die Systemebene. Das Ziel ist eine bessere Qualitätskontrolle und -entwicklung.

So wird unter anderem von der OECD betont, dass eine deutliche Notwendigkeit in der Ausbalancierung von externen Assessments und internen, lehrkraftbasierten Beurteilungen besteht (OECD, 2011). Böttcher beschreibt, dass die Implementierung von Vergleichsarbeiten ein Instrument zur Stärkung der Diagnosekompetenz von Lehrkräften darstellt. Lehrerinnen sollen so anhand von Ergebnissen eine zusätzliche Informationsquelle für die Bewertung der fachlichen Leistung ihrer Schülerinnen bekommen (Böttcher, 2010). Jedoch sind die Zielsetzungen von interner und externer Bewertung sehr unterschiedlich und so kann keine die andere ersetzen. Wie in den Kapiteln zuvor beschrieben, sollten deshalb Vergleichsarbeiten auf individueller Ebene oder zur Überprüfung der Erreichung von Bildungsstandards sowie internationaler Vergleichsarbeiten auf Systemebene stehen.

Im Zuge der beschriebenen Outcome-Kontrolle kam es auch im Kosovo zur Einführung von Vergleichsarbeiten. Im Rahmen der vorliegenden Masterarbeit werden die Tests der 5. und 9. Klasse, sowie der PISA-Test genauer betrachtet. Die Ergebnisse der Tests der 5. und 9. Klasse zeigen, dass es große Unterschiede zwischen externer und interner Bewertung der Schülerinnenleistungen gibt. Durch eine Studie der GIZ konnte eine Differenz von durchschnittlich zwei Notenstufen ermittelt werden. Dabei variierte allerdings die Größe der Differenz zwischen den Schulen stark (GIZ & MEST, unveröffentlicht). Demnach werden intern die Leistungen der Schülerinnen durch Lehrkräfte deutlich besser beurteilt als extern durch Vergleichsarbeiten und das obwohl sich beide Beurteilungssysteme am Curriculum orientieren und das Ziel verfolgen, den aktuellen Leistungsstand der Lernenden aufzuzeigen.

Die von der OECD empfohlene gemeinsame Nutzung der internen und externen Bewertung wird durch die große Differenz erschwert. Zum einen besteht der Verdacht, dass die internen Bewertungen nicht reliabel sind oder aber externe Tests nicht valide das überprüfen, was an den Schulen tatsächlich gelehrt wird. Hierbei ergibt sich das Problem, dass die internen Bewertungen Auswirkungen auf die schulische Laufbahn der Schülerinnen haben. Zudem verliert die Bewertung der Schulleistung der Lernenden aufgrund der großen Differenz an Glaubwürdigkeit. Daher ist es das erklärte Ziel, die Differenz zwischen interner und externer Bewertung zu reduzieren.

Wie die dargestellte Reduzierung erreicht werden soll, wurde bisher noch nicht untersucht; auch weil die Differenz erst im Jahr 2016 durch eine Studie der GIZ nachgewiesen wurde. Die kosovarische Bildungspolitik hat derzeit keine konkreten Handlungsansätze, da noch keine Ergebnisse dazu vorliegen, welche Faktoren dazu führten, dass die Differenz an manchen Schulen kleiner ist als an anderen (GIZ & MEST, unveröffentlicht). Dies wäre jedoch notwendig, um effektive Maßnahmen und Handlungsoptionen für das weitere Vorgehen zu ermitteln. Mit Hilfe einer empirischen Studie ist es Ziel der vorliegenden Arbeit, folgende Forschungsfrage zu untersuchen: Welche Faktoren haben einen Einfluss auf die Differenz zwischen internen und externen Bewertungen?

In dieser Arbeit sollen drei Faktoren untersucht werden: der Kenntnisstand einer Schule über externe Tests, die Vorbereitung auf externe Tests und die Umsetzung von Maßnahmen zur Verwendung von Ergebnissen. So werden drei Hypothesen formuliert, bei denen ein Zusammenhang zwischen Maßnahme und Differenz vermutet und geprüft wird. Das Vorgehen wird in Abbildung 1 schematisch dargestellt.

Hypothese 1 :

Es besteht ein positiver Zusammenhang zwischen dem Kenntnisstand einer Schule über externe Tests und einer kleineren Differenz von internen und externen Testergebnissen.

Hypothese 2:

Es besteht ein positiver Zusammenhang zwischen der Vorbereitung auf externe Tests und einer kleineren Differenz von internen und externen Testergebnissen.

Hypothese 3:

Es besteht ein positiver Zusammenhang zwischen der Umsetzung von Maßnahmen zur Verwendung von externen Schülerinnenbeurteilungen und einer kleineren Differenz von internen und externen Testergebnissen.

Bei signifikanten Zusammenhängen können die Faktoren als Grundlage für die Konzeption von Maßnahmen des GIZ Projektes ״Capacity Building in Basic Education“ und dem kosovarischen Bildungsministerium dienen und für eine Reduktion der Differenz im Sinne erfolgreich genutzter Vergleichsarbeiten verstanden werden. Dies ist erstrebenswert, da nur ein reliables und valides System der Schülerinnenbeurteilung die nötige Transparenz schaffen kann, die nötig ist, um langfristig die Entwicklung des kosovarischen Bildungssystems zu fördern.

Zusätzlich zu den oben genannten Faktoren bezüglich der Reduzierung der Differenz zwischen den Testergebnissen wird die Meinung von Lehrerinnen und Schulleiterinnen dazu beleuchtet, welche möglichen Hindernisse für die Nutzung von Testergebnissen der Vergleichsarbeiten bestehen.

Abbildung in dieser Leseprobe nicht enthalten

Der Kosovo eignet sich hervorragend zur Untersuchung dieser Fragestellung, da hier das Verhältnis interner und externer Beurteilung noch neu ist und derzeit intensiv diskutiert wird. Hinzu kommt die dringende Notwendigkeit einer erfolgreichen Weiterentwicklung des kosovarischen Schulsystems. So waren die Ergebnisse des Kosovo bei PISA 2015 im stark unterdurchschnittlichen Bereich. Es ist daher von großer Bedeutung, Wege zu finden, mit denen der Kosovo aus Vergleichsarbeiten einen Nutzen ziehen kann. Zudem konnte der Forschungsstand aufzeigen, dass bisher keine Studien zu Vergleichsarbeiten im Kosovo durchgeführt wurden und hierein Bedarf besteht. Neue Erkenntnisse können helfen, auch auf Herausforderungen in anderen Bildungssystemen zu antworten und dem Bildungsministerium des Kosovo sowie der GIZ wichtige Daten für weitere Studien zu liefern.

4. Das Untersuchungsgebiet: Vergleichsarbeiten im kosovarischen Bildungssystem

“Nations have recently been led to borrow billions for war;

no nation has ever borrowed largely for education... no nation is rich enough to pay for both war and civilization. We must make our choice; we cannot have both. ’’

Abraham Flexner Im folgenden Kapitel soll zunächst ein kurzer historischer Abriss aufzeigen, worauf die Probleme und Besonderheiten des kosovarischen Bildungssystems basieren. Anschließend wird eine Übersicht über die aktuelle Struktur des kosovarischen Bildungssystems gegeben und damit einhergehend eine genauere Betrachtung der Vergleichsarbeiten im Kosovo vorgenommen.

4.1 Historischer Abriss

Mit dem Eingriff der NATO endete im Jahr 1999 der Krieg im Kosovo. Serbische Truppen zogen aus dem Kosovo ab und die Vereinten Nationen und internationale NGOs Übernahmen eine Interims-Zivilregierung - die United Nations Mission in Kosovo (UNMIK). Diese vereinte die Befugnisse in der Exekutive, der Legislative und der Judikative (Chiari & Kesselring, 2006). Eine große Herausforderung für die UNMIK war unter anderem der Neuaufbau des Bildungssystems. Durch den Krieg waren fast die komplette Infrastruktur des Landes und somit auch Schulgebäude zerstört worden. Deshalb versuchte die Übergangsregierung zunächst, die Grundfunktionen von Schule und Universitäten wiederherzustellen. Zudem wurde die Infrastruktur des Bildungssystems wie Räumlichkeiten und Personal bereitgestellt, sodass der Unterricht wieder aufgenommen werden konnte (Kramer & Dzihic, 2005).

Dabei konnte jedoch nicht an das Bildungssystem vor dem Krieg angeknüpft werden, da sich Anfang der 90er Jahre neben dem offiziellen serbischen Bildungssystem ein inoffizielles albanisches Parallelsystem entwickelte hatte, welches trotz starker Repressalien seitens der serbischen Regierung bei gleichzeitig fehlender finanzieller Unterstützung von fast 400.000 albanischen Schülerinnen besucht wurde. Beide Bildungssysteme waren ideologisch stark aufgeladen und im Parallelsystem fehlte es massiv an Finanzmitteln, sodass eine Aus- und Fortbildung von Lehrerinnen unmöglich war (Sommers & Buckland, 2004).

Nach dem Krieg im Jahre 1999 Übernahmen die Kosovo-Albanerinnen nun viele Bereiche der Bildung in ihren Verantwortungsbereich, was wiederum auf Gegenwehr bei den Serbinnen stieß. Hieraus ergab sich, dass eine weitere bedeutsame Aufgabe der internationalen Verwaltung darin bestand, das Bildungssystem durch Reformen zu modernisieren und insbesondere ein einheitliches Bildungssystem zu schaffen. So wurden im Jahr 2000 folgende Maßnahmen eingeleitet:

- vertragliche Vereinbarungen mit Lehrerinnen
- Wiederaufbau der zerstörten Schulgebäude
- Reformen in der Lehrerlnnen-Ausbildung
- Einführung eines neuen Curriculums
- Einführung neuer Schulbücher
- langfristiges Grundsatzziel für das Bildungssystem: ״Europäisierung der
- Hochschulstruktur vor nationalem Sonderweg“ (ebd.).

Die UNMIK-Übergangsregierung übergab im Jahr 2002 die komplette Verantwortung für das Bildungswesen an das neu gegründete Ministerium für Bildung, Wissenschaft und Technologie (MEST). Das Bildungssystem hat sich seitdem grundlegend gewandelt und hat fast nichts mehr mit dem ״Parallelsystem“ bzw. dem System des Kosovo als Provinz Jugoslawiens gemeinsam. Im nachfolgenden Kapitel wird nun eine Übersicht über das aktuelle Bildungssystem gegeben.

4.2 Überblick über das Bildungssystem im Kosovo

Wie im Kapitel zuvor beschrieben, ist für die Grund- und Sekundarbildung I, die Sekundarbildung II beziehungsweise Gymnasien und berufsbildende Mittelschulen sowie die Hochschulbildung das Ministerium für Bildung, Wissenschaft und Technologie (MEST) zuständig. Nach dem Schulgesetz werden die Kinder mit sechs Jahren eingeschult und die Schulpflicht beträgt neun Jahre. Davon sind fünf Jahre in der Grundschule zu absolvieren und anschließend vier Jahre an einer weiterführenden Mittelschule. Die Grund- und Mittelschule bilden im Kosovo die Sekundarstufe I. Um eine Berufsausbildung zu beginnen, ist der erfolgreiche Abschluss einer Prüfung nach der neunten Klasse, der sogenannte Semi-Matura, sowie ein bestimmter Notendurchschnitt notwendig. Zum Ende des Sekundarbereichs I erhalten die Schülerinnen ein Abschlussdiplom. Ebenfalls können die Schülerinnen bei entsprechendem Notendurchschnitt auf ein Gymnasium wechseln (siehe Abbildung 6). Hier kann das Matura erlangt werden, welches zum Erwerb der allgemeinen Hochschulreife führt und somit den Schülerinnen ermöglicht, an einer Universität zu studieren (Institut der deutschen Wirtschaft Köln e. V., 2018).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Struktur des kosovarischen Bildungssystems (KESP 2016)

Im Kosovo gibt es 42 Pre-Schools, 998 Primary und Lower Secondary Schools, 115 High Secondary Schools und 7 Special Schools (PISA, 2016).

Im Jahr 2011 wurde ein neues überarbeitetes Curriculum eingeführt. In diesem haben unter anderem alle ethnischen Gemeinschaften im Kosovo das Recht, individuelle Themen ihrer Geschichte, Kultur und Tradition zu behandeln. Zudem wird allen Kindern und Schülerinnen inklusive derer, denen gesellschaftlich eine Behinderung zugeschrieben wird, das Recht auf Bildung garantiert. So gibt es im Kosovo aktuell sieben Sonderschulen mit 64 Klassen. Die Schulen und Klassen befinden sich in ״regulären“ Schulen und sind somit nicht räumlich von anderen Schülerinnen getrennt (Ministry of Public Administration, 2009).

Ein weiteres erklärtes Ziel des Curriculums ist - entsprechend der empirischen Wende - die Entwicklung ״from objective and content-based teaching and learning to modern teaching and learning methodologies based on results and student competencies development“ (Republic of Kosovo Goverment, 2016, s. 26). Die Implementierung stagniert seit 2014 in der Pilotphase und wird nur schrittweise ausgeweitet. Hindernisse stellen vor allem die geringe Zahl und schlechte Qualifikation der Ausbilderlnnen für Lehrkräftefortbildungen sowie Verzögerungen in der Bereitstellung von Materialien dar, die für das neue Curriculum benötigt werden. So fehlen im Kosovo zum Großteil Schulbücher oder aber auch die IT-Ausstattung in den Schulen (ebd).

Der durchschnittliche Anteil von Schülerinnen in den Klassenräumen beträgt 35. Der Verteilungsschlüssel liegt bei einer Lehrerin oder einem Lehrer zu 14 Serbinnen und einer einer Lehrerin oder einem Lehrer zu 21 Albanerinnen. Durch diese nicht konventionelle Zusammensetzung des Unterrichts wird ein spezielles, professionelles Training für Lehrerinnen benötigt. Der strategieplan der Regierung beschreibt hierzu, dass die Anforderungen für die Lehrkräfte steigen. So benötigen Lehrkräfte weitere Kompetenzen wie ״[...]lesson planning, implementation of modern teaching and learning methodologies, student assessment, preparation and use of online materials as well as different teaching tools [...]“ (Republic of Kosovo Goverment, 2016, s. 59).

In den letzten Jahren konnte die Qualifizierung von Lehrerinnen verbessert werden. Jedoch verfügen laut KESP 40% der Lehrkräfte nicht über die von Kommunalverwaltungen und MEST geforderte Ausbildung (ebd.).

Die Schülerinnen werden durch ihre jeweiligen Fachlehrerinnen durch Noten bewertet. Diese sollen allen beteiligten Akteurlnnen (Lehrerinnen, Eltern und Schülerinnen) helfen, die schulischen Leistungen einschätzen zu können. Am Ende eines Schuljahres gibt es Zeugnisse, bei denen die Schülerinnen je nach Notenstand versetzt oder nicht versetzt werden (Institut der deutschen Wirtschaft Köln e. V., 2018).

Zudem wurde in den Jahren 2008 / 2009 ein Prozess zur Autonomisierung der Kommunen und Schulen eingeleitet. Hierbei wurden Teile der Verantwortung vom MEST in Pristina an die einzelnen Kommunalverwaltungen übergeben. Jedoch haben immer noch nicht alle Kommunen geeignete Kapazitäten entwickelt, um die zugesprochene Verantwortung und Freiheit entsprechend zu nutzen. Damit alle Kommunen die inhaltliche und finanzielle Autonomie nutzen können, ist eine Stärkung von Managementkapazitäten auf lokaler Ebene und auf Schulebene notwendig. Auch die Entwicklung der Schulen hin zu lernenden Organisationen und die Stärkung der Positionen von Schulleiterinnen, welche verantwortlich und rechenschaftspflichtig für die Prozesse an ihrer Schule sind, spielen eine elementare Rolle (Republic of Kosovo Goverment, 2016).

Im Kosovo Education strategie Plan ist daher festgehalten: “Decentralisation without transparency and accountability cannot work. Therefore, the instruments of education system management should be established for the support, monitoring and redefining of the processes and policies that serve for this purpose." (ebd., s. 48)

Es bleibt festzuhalten, dass die Implementierung des Curriculums und eine Verbesserung der Ausbildung von Lehrkräften zwei große Herausforderungen für das Bildungswesen des Kosovo darstellen. Hinzu kommen der Aufbau eines verbesserten Schulmanagements und eines entsprechenden Rechenschaftssystems.

4.3 Vergleichsarbeiten im Kosovo

ln der nationalen Bildungsentwicklungsstrategie des Staates Kosovo wird die Qualitätssicherung als ein elementares Element angesehen. Jedoch gibt es im derzeitigen Bildungssystem kaum ein Qualitätssicherungs- und Rechenschaftssystem. ״[Quality assurance] is currently largely absent from the education system in Kosovo, and will be fundamental to any future progress in the quality of education provision“ (Republic of Kosovo Goverment, 2016, s. 35). Viele der Mechanismen zur Qualitätssicherung, die vor dem Krieg existierten (beispielsweise das Staatsexamen für Lehrkräfte, das pädagogische Gremium Kosovo oder Schulpädagoglnnen an den einzelnen Schulen), wurden von der UNMIK aufgelöst und nicht erfolgreich durch neue Mechanismen ersetzt. Mittlerweile wurden wieder ein pädagogisches Institut eingerichtet, eine Schulaufsichtsbehörde etabliert und vermehrt wieder Schulpädagoglnnen und ־Psychologinnen angestellt. Der Einfluss dieser Instanzen ist jedoch begrenzt und nicht ausreichend koordiniert. Die Qualitätssicherung liegt seit dem Beschluss zunehmender Autonomisierung der Kommunen bei ebendiesen. Die Kommunen aber sind aufgrund schlechter personeller und logistischer Voraussetzungen nicht imstande, eigenständig Qualitätssicherungsprozesse zu etablieren. Auf Schulebene sind zudem kaum Prozesse der Qualitätssicherung zu finden (ebd.).

Im Strategieplan ist der ״Bottom-up-Druck“ als ein wichtiges Element der Qualitätssicherung dargestellt. Hierbei soll von den Bürgerinnen, dabei insbesondere von Schülerinnen und Eltern, Druck auf die Schulen ausgeübt werden, damit diese für Qualität sorgen. So sollen auf lokaler Ebene ein neues Bewusstsein bei allen Akteurinnen gefördert werden sowie Entscheidungsträgerinnen verpflichtet werden, an der Qualitätssicherung zu arbeiten: ״This implies their awareness and empowerment to make claims of this nature, which obliges schools and decision-makers of central and local level to work on quality assurance“ (Republic of Kosovo Goverment, 2016, s. 53).

Als zweite Reaktion auf die zuvor beschriebenen Probleme sollen internationale und nationale Schulleistungsstudien als Instrumente zur Qualitätssicherung genutzt werden: ״International and national Student assessment tests, such as the Achievement Test after compulsory school, State Matura Exam or PISA, are seen as important tools for quality assurance, since they provide systematic information on the weaknesses of the system and the curriculum" (Republic of Kosovo Goverment, 2016, s. 53). Mit den Vergleichsarbeiten soll nun erreicht werden, die Qualitätsentwicklung auf nationaler Ebene zu entwickeln und auf lokaler Ebene die Schulen bei der Schul- und Unterrichtsentwicklung zu unterstützen.

Wie in der folgenden Abbildung zu erkennen, gibt es insgesamt vier externe Tests zur Überprüfung von Schülerinnenleistungen im Kosovo.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Übersicht Vergleichsarbeiten im Kosovo (Élezi 2014)

Der 5.Klasse-Test beinhaltet Aufgaben in der Muttersprache und in Mathematik. Er ist forschungsorientiert und enthält eine Vielzahl von Daten zu ״Student achievement according to nationality, gender, social background and geographical location“ (Élezi, 2014, s. 85). Die generierten Daten ermöglichen den Schulen eine Benutzung zur Schul- und Unterrichtsentwicklung. Der Test wird alle drei Jahre durchgeführt. Im Jahr 2008, bei der ersten Durchführung, lagen die Durchschnittsergebnisse in der Muttersprache bei 43 % und in Mathematik bei 26 %. Bei der letzten Durchführung im Jahr 2017 sind die Durchschnittswerte gestiegen. So erreichten die Schülerinnen in der Muttersprache eine durchschnittliche Punktzahl von 59 % und in Mathematik 41 % (GIZ & MEST, unveröffentlicht).

Der 9. Klasse-Test ist ein national einheitlicher Abschlusstest, welcher jedes Jahr durchgeführt wird. Dabei werden die Schülerinnen in allen Fächern außer Sport, Musik und Kunst befragt. Insgesamt umfasst der Test 100 Fragen im Multiple Choice Format. Die Resultate dienen den Schülerinnen als Richtwert zur Entscheidung über die als nächstes zu besuchende Schulart. Die Ergebnisse werden somit auf Individual- sowie auf der Klassen- und Schulebene zurückgemeldet. Auch die Ergebnisse dieses Tests werden somit zur Schul- und Unterrichtsentwicklung genutzt. Es bleibt festzuhalten, dass die Schülerinnen auch bei einem Nicht-Bestehen des Tests versetzt werden (Élezi, 2014).

Nach Beendigung der 12. Klasse müssen alle Schülerinnen einen Abschlusstest absolvieren, die Matura. Hierbei müssen verpflichtend Aufgaben in der Muttersprache, Mathematik und Englisch absolviert werden. Anschließend folgen weitere Fächer je nach Schulprofil der oder des Lernenden. Dieser Abschlusstest dient als Zulassungsvoraussetzung für die Universität. Wie bei den beiden Tests zuvor, werden auch hier die Ergebnisse zur Schul- und Unterrichtsentwicklung genutzt (ebd.).

[...]