Evaluation von Jugendfreizeiten und internationalen Jugendbegegnungen

Inhaltsverzeichnis

Einleitung

1. Begriffsklärung
1.1. Definition des Begriffs der Evaluation
1.2. Funktionen der Evaluation
1.3. Formen der Evaluation

2. Zur Bedeutung von Evaluation

3. Vorstellung eines Systems zur Evaluation von Jugendfreizeiten undinternationalen Jugendbegegnungen
3.1. Zum Nutzen des Evaluationssystems
3.2. Prinzipien des Evaluationssystems
3.3. Funktionen des Evaluationssystems

Zusammenfassung

Literatur- und Quellenanagabe

Tabellneverzeichnis

Einleitung

Die Evaluation von Jugendfreizeiten und internationalen Jugendbegegnungen hat noch keine lange Tradition. Dies kann verschiedene Ursachen haben. Denkbar ist beispielsweise, dass AkteurInnen die internationale Jugendreisen planen und durchführen den Vorgang der Evaluation als Kontrollmechanismus verstehen.

Damit kann die Angst einhergehen, dass durch ´schlechte` Beurteilungen Fördermittel gestrichen werden. Auf den ersten Blick betrachtet ist diese Befürchtung durchaus berechtigt, denn ein Teil des Evaluationsprozess ist die Beurteilung von Programmen oder Maßnahmen, um positive Handlungsmodelle¹ ausfindig zu machen. Damit dieses Ziel erreicht werden kann ist ein partizipativer Ansatz von Nöten, denn nur unter der Mitwirkung der beteiligten Akteure, lässt sich eine Dienstleistung bzw. ein Projekt evaluieren. Idealerweise lernen dabei beide Seiten von einander.

Ich werde mich in dieser Hausarbeit zunächst mit der Definition, den Funtkionen und den Formen von Evaluation auseinandersetzen, um einen allgemeinen Überblick über diesen Forschungsansatz zu verschaffen. Anschließend gehe genauer ich auf ein Evaluations- modell für Veranstalter von Jugendfreizeiten und internationalen Jugendbegegnungen ein.

1. Begriffsklärung

Um zu verstehen, wie die Evaluation von Jugendfreizeiten und internationalen Jugendbegegnungen als ein Instrument zu deren Weiterentwicklung dienen kann, ist es zunächst notwendig, diese Methode unter allgemeiner Perspektive zu beleuchten.

1.1. Definition des Begriffs der Evaluation

Eigentlich kommt der Begriff ´Evaluation` aus dem lateinischen. Hauptsächlich entstammt er aber dem englischen Wort „evaluate“ bzw. dem französichen „évaluer“ (vgl. Spieckermann 2001: 260). Es gibt unterschiedliche Meinungen darüber, was der Begriff nun aber tatsächlich bedeutet bzw. welchen Prozess er beschreibt. Mertens (vgl. 2000: 41) sieht den Vorgang der Evaluation als „Bewertung einer Sache oder eines Prozesses“. Auch Bortz und Döring (2002: 96) beschreiben die Evaluation als beurteilende Technik:

„ Evaluatuionsforschung beinhaltet die systematische Anwendung empirischer For schungsmethoden zur Bewertung des Konzepts, des Untersuchungsplanes, der Im plementierung und Wirksamkeit sozialer Interventionsprogramme. “ Nicht nur soziale Interventionsprogramme, sondern auch freizeitpädagogische Programme wie internationale Jugendfahrten können evaluiert werden (vgl. Ilg 2007: 171- 183). Es gibt zwei mögliche Herangehensweisen: Die „ formative “ Evaluation welche den „Prozess der Durchführung“ eines Programms analysiert und die „ summative “ Evaluation die sich mit den „Ergebnissen“ eines Programms beschäftigt (ebd.). Erstere bringt den Vorteil mit sich, während des laufenden Programms „Modifikationen oder Verbesserungen“ vornehmen zu können (Flick 2006: 14). Schließlich lässt sich festhalten, dass Evaluations- forschung Erkenntnisse über das „ Funktionieren des untersuchten Gegenstandes (...) ermitteln “ möchte bzw. feststellen will, „ ob ein Programm wirkt und/oder wie es wirkt “ und unterschiedet sie sich dadurch von anderen „Forschungstypen“ unterschiedet (ebd.: 13).

1.2. Funktionen der Evaluation

Im Folgenden habe ich vier Funktionen der Evaluation nach Stockmann (2004: 18 ff) tabellarisch dargestellt:

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 1: Funktionen der Evaluation

An anderen Stellen in der einschlägigen Literatur wird von Typen bzw. den Zwecken einer Evaluation gesprochen. Kromrey (2000: 25) verweist auf folgende drei Paradigmen:

(1) Das „ Kontrollparadigma “

Fokussiert auf Effektivitäts- und Effizienzfunktionen um so auf einen wirtschaftlichen Einsatz der Mittel die im Rahmen eines Projekts eingesetzt werden, hinzuwirken.

Schließlich geht es auch darum, Maßnahmen auf ihre Ziel Erreichung hin zu überprüfen.

Dieses Paradigma entspricht also im Wesentlichen der oben beschriebenen Kontroll- funktion.

(2) Das „ Entwicklungsparadigma “

Dieses Paradigma behandelt vor allem Programme bzw. Projekte die aus der Realisierung neuer Ideen hervor gegangen sind. Hier ist es das Ziel der Evaluation neue Produkte zu etablieren bzw. innovative Konzepte auf ihre Durchführbarkeit hin zu überprüfen.

(3) Das „ Forschungsparadigma “

Dieser wissenschaftliche Rahmen hat innovative Forschungsprojekte zum Gegenstand, die daran arbeiten neues Wissen zu schaffen.

1.3. Formen der Evaluation

Der Ablauf einer Evaluation lässt sich anhand des „ CIPP-Modells “ von Stufflebaeam (2000) gut nachvollziehen. Dieses Modell beschriebt den Prozess der Evaluation durch folgende vier Kategorien: „Kontext“ (im englischen: „Context“), „Input“, „Prozess“ und„Produkt“ (ebd.). Diese Kategorien habe ich im Folgenden tabellarisch zusammen gefasst:

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 2: Formen der Evaluation

Es zeigt sich, dass es für eine sachliche und an wissenschaftlichen Standrds orientierte Evaluation unbedingt notwendig ist, im Vorfeld einer Maßnahme oder eines Programms Ziele exakt und messbar zu definieren.

Eine Methode zur Zielformulierung stellt die SMART-Logik dar (vgl. Liebald 1998: 30):

- Ziele sollten nicht allgemein formuliert werden, sondern müssen sich an den spezifischen Rahmen- und Arbeitsbedingungen der jeweiligen Maßnahme bzw. des jeweiligen Programms orientieren.
- Um Ziele auf ihre Umsetzung hin zu überprüfen, müssen sie messbar sein. Das heisst, dass nicht nur die Ziele zu entwickeln sind, sondern auch die dazugehörigen Indikatoren, die ihre Verwirklichung anzeigen können.
- Zudem müssen Ziel aktzeptabel sein. Andernfalls besteht die Gefahr, dass Mitarbeiter nicht hinter diesen stehen und ihre Verwirklichung so behindert werden kann.
- Bezüglich der Erreichung von Zielen muss ein konkreter Zeitplan entwickeltt werden, der eine Terminierung festlegt.

3. Zur Bedeutung von Evaluation

Das Wort Evaluation ist in aller Munde, so dass man schnell geneigt ist, dieses als kurzfristige Mode Erscheinung abzutun. Diese Ansicht wird den gesellschaftlichen Bedingungen, auf welchen die die zunehmende Verbreitung der Evaluationsforschung beruht, nicht gerecht.

Kardoff (2006: 63 f) benennt „ staatliche Reformprogramme und Steuerungsversuche “ als als Faktoren, die zu einer Verbreitung der Evaluationsforschung beigetragen haben. Zudem bestehe in demokratischen Gesellschaften ein Verlangen, Transparenz „ü ber Sinn und Nutzen sowieüber Wirksamkeit, Qualt ä t und Effizienz staatlicher und markt- vermittelter Ma ß nahmen und Angebote “ herzustellen (ebd.). Ich denke, dass dieser Anspruch durchaus berechtigt ist, sehe aber auch die Gefahr, dass unter dem Deckmantel einer externen Evaluation, Einsparungen herbeigeführt bzw. begründet werden können.

Diese Gefahr kann abgewendet werden, wenn sich die Evaluation eines Programms bzw. einer Maßnahme an den Standards der Deutschen Gesellschaft für Evaluation (DeGEval: 2002: 8 ff) orientiert:

- „Die Nützlichkeitsstandards sollen sicherstellen, das die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen NutzerInnen ausrichtet.
- Die Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird.
- Der Fairnessstandard soll sichertellen, dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird.“

Durch diese Standards wird sowohl der an vorherige Absprachen geknüpfte Ablauf der Evaluation betont, als auch die Notwendigkeit eines objektiven bzw. fairen Verhältnisses zwischen Evaluator und den zu evaluierenden AkteurInnen unterstreichen. Es zeigt sich also, dass eine Evaluation nur unter dem Gesichtspunkt der Partizipation von der zu evaluierenden AkteurInnen als auch durch Fairness diesen gegenüber funktionieren kann.

3. Vorstellung eines Systems zur Evaluation von Jugendfreizeiten und internationalen Jugendbegegnungen

Im Folgenden fokussiere ich auf die Notwendigkeit, den Nutzen und die möglichen Vorgehensweisen bei der Evaluation von Jugendreisen und internationalen Jugend- begegnungen. Dabei bildet der Bericht des Forums „Evaluation für alle! “ (Ilg 2007) die Erkenntnis leitende Grundlage. Im Jahr 2004 begannen Vertreter und Evaluationsforscher im Rahmen des Workshops „Forscher-Praktiker-Dialog zur internationalen Jugend- begegnung“ in Frankfurt sich über Möglichkeiten und Bedarfslagen der Evaluation aus- zutauschen (Ilg 2007: 172).

[...]

¹ Mit dem Wort Handlungsmodelle beziehe ich mich auf die Planung und Durchführung von Dienstleistungen aus der Sozialen Arbeit