Eine idealtypische Evaluation eines Kommunikationstrainings

Inhaltsverzeichnis

Einleitung

Theorieteil

Begriffserklärung

Formen der Evaluation

Ziele von Evaluation

Kennzeichen von Evaluation

Einige Funktionen von Evaluation

Gründe für eine Evaluation

Voraussetzungen für eine Evaluation

Evaluationshindernisse

Evaluationsmodelle

Standards zur Durchführung einer Evaluation

Anwendung

Untersuchungsplan

Eine idealtypische Evaluation eines Kommunikationstrainings

Konkret angewendet: Evaluation eins Kommunikationstrainings

Evaluationsdesign und Erhebungsmethode

Vorarbeiten

Pretests

Posttest

Interviews

Quellenangaben

Einleitung

Ein „Baustein“ des Seminars: „Ausgewählte Kommunikationssituationen in Organisationen: Kommunikationstraining“ sollte sich mit der Frage beschäftigen, wie ein Kommunikationstraining idealtypisch evaluiert werden kann. Das Referat hierzu sollte den Abschluss der Trainingsreihe darstellen. Ziel des Seminars war es ein Kommunikationstraining für so genannte „Springer“ eines Callcenters zu entwerfen. Die theoretischen und praktischen Bausteine wurden im Seminar vorgestellt und angewendet. Eine praxisbezogene Anwendung im Unternehmen fand nicht statt. Dies ist – um es vorweg zu nennen – ein Grund, warum die vorgestellte Evaluation nur idealtypischen Charakter hat.

Das Referat zum Thema „Evaluation“ war in zwei übergeordnete Abschnitte gegliedert: Theorie und Anwendung, wobei gerade im Bereich der Anwendung wiederum darauf hingewiesen werden muss, dass eine Evaluation des fiktiven Kommunikationstrainings in einem Unternehmen nur idealtypisch konzipiert werden konnte, da „echte“ Probanden fehlten.

Innerhalb des Theorieabschnittes wurde eine Begriffserklärung von „Evaluation“ vorgenommen und, unter anderem, die Kennzeichen und Zielvorstellungen von Evaluation beschrieben. Zudem werden die einzelnen Evaluationsgegenstände dargestellt, unter dem Gesichtspunkt was evaluiert werden kann. Anschließend wurde eine Möglichkeit vorgestellt, wie Evaluation stattfinden kann. Dazu dient der Evaluationsplan mit konkreten Überlegungen zur Evaluation des Kommunikationstrainings. Er stellte Kern- und Mittelstück des Referates dar. Die Vorgaben dieses allgemeinen Plans wurden in eine idealtypische Evaluation des Kommunikationstrainings, wie es in dem Seminar konzipiert wurde, umgesetzt.

Der zweite Abschnitt hatte eine idealtypische Evaluationskonzeption zum Ziel. Es wurden hierzu Überlegungen zu Untersuchungsdesign und Methode angestellt. Zudem wurden Erhebungsmethoden besprochen.

Nachfolgend sollen die Bausteine des Referats dargelegt und erweitert werden. Eine Beschreibung einzelner Referatsschritte findet nur insofern statt, als es für das Verständnis der umgesetzten Aufgabe notwendig ist.

Begriffsklärung

Der Begriff „Evaluation“ bedeutet „Bewertung“, „Wertbestimmung“ oder „Beurteilung“. Eine Evaluation kann unterschiedlich verstanden werden: Im Alltag beruht eine Bewertung oft auf oberflächlicher Kenntnis des zu Bewertenden. Nach Will et al. wird Evaluation somit einfach verstanden als "Vorgang bzw. das Ergebnis einer bewerteten Bestandsaufnahme." (Will et. al. 13.) Auch müssen in diesem Fall die Kriterien, nach denen bewertet wird zumeist nicht offen gelegt werden.

In der Wissenschaft reicht dies nicht aus: Bewertungskriterien müssen genau dargelegt werden, um von Dritten nachvollzogen werden zu können. Laut Thierau, Stangel-Meseke und Wottawa (1992, 1999): ist eine „wissenschaftliche Evaluation“ oder „Evaluationsforschung“ eine Bewertung von Handlungsalternativen mithilfe systematisch angewandter, wissenschaftlicher Techniken und Methoden. Für Bortz/Döring (1995) beinhaltet die Evaluationsforschung „die systematische Anwendung empirischer Forschungsmethoden zur Bewertung des Konzeptes, des Untersuchungsplanes, der Implementierung und der Wirksamkeit sozialer Interventionsprogramme.“ Zudem sei Evaluation insoweit begrenzt, als lediglich der Erfolg oder Misserfolg einer Maßnahme interessiert.

Jedoch ist in der Wissenschaft laut Will et. al. eine "einheitliche organisatorische noch inhaltlich-theoretische Struktur der Evaluationsforschung" (13) nicht festzustellen. Eine allgemein anerkannte Definition von Evaluation gibt es demnach nicht, genauso wenig, wie es eine allgemeine Theorie gibt, die die zahlreichen Ansätze, Konzepte, Modelle, Verfahrensweisen, Methoden und theoretischen Überlegungen erfassen könnte. (vgl. Will et. al. 14). Die Bereiche, auf die sich Evaluation bezieht, wenn Maßnahmen und Programme evaluiert werden, sind: der pädagogisch-psychologische Bereich, der organisationspsychologische Bereich und der klinisch-psychologische Bereich. In Erstgenanntem bewegt sich nachfolgend entwickelte Evaluation eines Kommunikationstrainings.

Formen der Evaluation

Evaluationen können unterschiedliche Leistungsschwerpunkte haben und damit unterschiedliche Zwecksetzungen anstreben. Eine Unterscheidung hat Scrivens (1972) gefunden. Er spricht zwischen formativer und summativer Evaluation.

„Formative Evaluation“ zielt vor allem auf Verbesserungen. Sie begleitet die Gestaltung des Evaluationsgegenstandes. Die formative Evaluation dient dazu, den Evaluationsgegenstand und seinen Nutzen zu verbessern und Ressourcen möglichst gut einzusetzen. Sie hat zum Ziel möglichst während eines laufenden Programms, Informationen zur Optimierung desselben zu geben.

Anders die „summative Evaluation“– sie zieht Bilanz über einen Evaluationsgegenstand. Ihr Ziel ist es, grundlegende Entscheidungen über den Gegenstand der Evaluation zu ermöglichen. Eine Zwecksetzung ist die Verbesserung von Evaluationsgegenständen. Die summative Evaluation soll nach Durchführung des Interventionsprogramms den Grad der gewünschten Veränderung der Zielgruppe bestimmen. (vgl. Deutsche Gesellschaft für Evaluation, 2000)

Ziele von Evaluation

Die verfolgten Ziele der Evaluation hängen entscheidend von der Evaluationsperspektive ab. Es muss zuerst entschieden werden, ob es sich um eine Fremd- oder eine Selbstevaluation handelt. Diese Unterscheidung gibt an, wer der Auftraggeber der Evaluation ist.

Die Evaluation kann auch danach unterschieden werden, welche Zielvorstellungen die von ihnen zu bewertenden Interventionsmaßnahmen verfolgen. Mittag und Hager (2000, S. 104) beschreiben in ihrem Aufsatz über ein „Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen“, dass diese Zielvorstellungen auf Maßnahmen ausgerichtet sein können, die der allgemeinen Förderung und Entfaltung der seelischen und körperlichen Gesundheit dienen. Dies trifft auch auf Programme zu, die im Sinne präventiver Interventionen dazu eingesetzt werden, Störungen in bestimmten Bereichen vorzubeugen. Ziele der Interventionsmaßnahmen, die evaluiert werden, können auch in der Beseitigung der Störungen bzw. der Rehabilitation liegen.

Kennzeichen von Evaluation

Laut Wottawa & Thierau (1990, S. 9) dient Evaluation als Planungs- und Entscheidungshilfe. Evaluation hat somit mit der Bewertung von Handlungsalternativen zu tun. Zudem ist die Evaluation ziel- und zweckorientiert. Sie habe vornehmlich das Ziel, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden. Ihr Zweck liegt dabei in der Handlungsoptimierung. Nicht zuletzt weisen Wottawa und Thierau darauf hin, dass Evaluationsmaßnahmen dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein sollten.

Einige Funktionen der Evaluation

Welche funktionalen Zusammenhänge der Evaluation betrachtet werden, hängt vom Standpunkt des Betroffenen und von der konkreten Situation ab. So interessiert sich ein Auftraggeber eventuell für eine Bewertung, ein Personaler hingegen für Steuerung und Optimierung.

Steuerungs- und Optimierungsfunktion

Ist die Maßnahme, welche evaluiert werden soll, noch in der Planungsphase und in ihren Auswirkungen noch nicht genau erfasst, greift die Steuerungs- und Optimierungsfunktion. (vgl. Will et. al. S. 20f) Mit dieser werden beständig Zwischenergebnisse der Maßnahme ausgewertet und unmittelbar für die Verbesserung des Prozesses oder einzelner Aspekte der Maßnahme genutzt. Damit soll das Handlungsgeschehen unterstützen und optimiert werden.

Bewertungs- und Beurteilungsfunktion

Hier soll das Ergebnis einer Interventionsmaßnahme anhand vorgegebener Kriterien beurteilt werden. Diese Funktion wird meist durch eine Produktevaluation gesichert. Begriffe wie „Erfolgskontrolle“ und „Effizienzforschung“ fallen in diesem Zusammenhang. Diese Funktion ist normalerweise mit einer Entscheidung verbunden. (vgl. Will et. al. S. 21).

Entscheidungsfunktion

Die Evaluation kann als Informationslieferant für Entscheidungen unterschiedlicher Art dienen: die Entscheidungen über Interventionsmaßnahmen sind in Verbindung mit verfügbaren Ressourcen wie Zeit, Geld, Personal zu betrachten. Sie werden rational, auf Grundlage von objektiven und bewerteten Informationen getroffen, wenn eine Evaluation dazu einen qualifizierten Beitrag leistet.

Kontroll- und Disziplinierungsfunktion

Nicht nur der Erfolg oder Misserfolg einer Maßnahme kann durch Evaluationsergebnisse festgestellt werden – es sind auch Rückschlüsse auf die Leistungsfähigkeit des innerbetrieblichen Bildungssystems oder auf die Qualität einzelner Trainer möglich.

Gründe für eine Evaluation

Die Gründe für eine Evaluation können in der Rechenschaftslegung liegen, indem nachgewiesen werden soll, dass bestimmte Bildungsziele erreicht wurden. Sie können auch dem Lehrerfolgsnachweis dienen. In diesem Fall würde zum Beispiel der Weiterbildungseffekt untersucht werden. (Bronner & Schröder, 1983 zitiert nach Merzenich-Hieker, 1996)

Voraussetzung für eine Evaluation

Damit eine Interventionsmaßnahme auch von Nutzen sein kann, müssen vor Beginn dieser nachfolgende Punkte vom Evaluator geklärt worden sein: So muss er überlegen, welche Ziele für welche Beteiligten erreicht werden sollen und woran die Zielerreichung erkannt werden kann. Darüber hinaus muss feststehen, wie hoch die „Kosten“ der Maßnahme sein werden und wie sie mit dem „Nutzen“ der erreichten Ziele zu verrechnen sind. (vgl. Thierau, Stangel-Meseke & Wottawa 1992, 1999)

Evaluationshindernisse

Praktiker verzichten oft auf eine systematische Evaluierung von Maßnahmen, da sie Angst vor einer Bewertung und deren Konsequenzen haben. Zudem scheuen sie sich unter Druck zu geraten, Konsequenzen aus Ergebnissen der Evaluation ziehen zu müssen. Nicht zuletzt könnte das Selbstbild eines Evaluierten Schaden nehmen. Ein weiterer Punkt ist die Unkenntnis adäquater Evaluationsverfahren und –instrumente. Und oftmals führen Praktiker Gründe an, die bisweilen auch schlichtweg Ausflüchte sind: So sprächen gegen eine Evaluation geringe personelle Kapazitäten, begrenzte Budgets, Zeit- und Personalmangel. Auch das „Wissen“ um die Effektivität der Seminare, auch ohne Datenerhebung, werden als Ablehnungsgründe angeführt. Der Mangel an allgemein anerkannten Konzepten, Modellen, Erfolgskriterien und Theorien und die Angst vor mangelndem Datenschutz tun ein Übriges. (vgl. Merzenich-Hieker, 1996)

Evaluationsmodelle

Es gibt eine Vielzahl von Ansätzen und unterschiedlichen Zielsetzungen der Evaluation –zahlreiche Evaluationskonzepte bzw. Evaluationsmodelle existieren nebeneinander. Für den Fall einer idealtypischen Evaluation eines Kommunikationstrainings sind besonders Modelle aus dem Bereich der Weiterbildung geeignet.

Hölterhoff und Becker (1983) fordern ebenso wie Schindler (1979) und Will, Winteler und Krapp (1987), dass jede Phase des Weiterbildungsprozesses evaluiert werden müsse. Dies bedeutet im Einzelnen „eine Evaluierung der Umgebung und des Vorfeldes (Kontext), Programmplanung (Input), der Durchführung (Prozess), der Ergebnisse (Produkt/Output) und der Anwendung (Transfer)“. (Merzenich-Hieker, 1996. S. 43) Zudem betonen die Autoren, dass Evaluation nicht statisch sein dürfe, sondern als permanenter Prozess in einem Funktionszyklus gesehen werden müsse. Nur mit der Evaluierung aller Phasen könne eine systematische und differenzierte Analyse der Ursachen für etwaige Mängel stattfinden. (vgl. ebd.)

In folgender Tabelle (vgl. Merzenich-Hieker, 1996. S. 44) werden die einzelnen Evaluationsaspekte bzw. Evaluationsgegenstände eines Weiterbildungsprozesses mit ihren unterschiedlichen Zielsetzungen dargestellt. Jeder dieser Aspekte kann für sich selbst genommen evaluiert werden. So kann der Auftraggeber einer Evaluation daran interessiert sein zu erfahren, ob die Interventionsmaßnahme erfolgreich war (Erfolgskontrolle) oder ob der Transfer des Gelernten gelungen ist (Transferkontrolle). Selten werden alle Aspekte evaluiert, wie dies beispielsweise Hölterhoff und Becker (1983) fordern (siehe oben).

Abbildung in dieser Leseprobe nicht enthalten

Standards zur Durchführung einer Evaluation

Mit einer Evaluation wird ein Aspekt beispielsweise einer Weiterbildungsmaßnahme bewertet. Und auch die Evaluation selbst kann bewertet werden. Gemessen an ihren Zielen, gibt es erfolgreiche und weniger erfolgreiche Evaluationen.

Das „Joint Committee on Standards for Educational Evaluation“ hat Kriterien für die Bewertung von Evaluationen detailliert ausgearbeitet (1999). Diese Kriterien definierten Standards für Evaluationen im Bildungsbereich. Diese Standards werden drei Gruppen zugeordnet. Diese Gruppen sind: Nützlichkeit, Korrektheit und Durchführbarkeit. Daran orientiert hat sich die „Deutsche Gesellschaft für Evaluation“ (2002). Sie entwickelte eigene Standards und verabschiedete diese. Diese Standards lassen sich in vier Schwerpunkte gliedern:

- Nützlichkeit: Die Evaluation soll sich an geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen Nutzer und Nutzerinnen ausrichten.
- Durchführbarkeit: Eine Evaluation soll realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt werden.
- Fairness: In einer Evaluation soll respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen werden.
- Genauigkeit: Eine Evaluation soll gültige Informationen und Ergebnisse zum jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringen und vermitteln. Die Standards sollen eine Orientierungshilfe für die Beurteilung von Evaluationen darstellen. (vgl. Deutsche Gesellschaft für Evaluation, 2000)

Untersuchungsplan

Anhand des nachfolgenden, modifizierten Untersuchungsplans zur Evaluation betrieblicher Projekte von Thierau (1991) sollen Überlegungen zu einem Untersuchungsplan angestellt werden, der die Evaluation eines Kommunikationstrainings, wie es eingangs dargestellt wurde, zum Gegenstand hat. Der Untersuchungsplan kann für jeweilige Evaluationsaspekte angefertigt werden. Ein Teil einer Weiterbildungsmaßnahme, der untersucht werden soll, kann der Erfolg dieser Maßnahme sein; sprich: Ist das was intendiert wurde mit dieser Interventionsmaßnahme ­– in diesem Fall ist das ein Kommunikationstraining – auch erreicht wurden?

Der Untersuchungsplan würde demnach für eine Erfolgskontrolle erstellt werden. Im vorliegenden Fall soll angenommen werden, dass eine Erfolgskontrolle durchgeführt wird. Der potentielle Auftraggeber der Evaluationsstudie will wissen, ob sich das Kommunikationstraining für die Springer gelohnt hat.

Der nachfolgende Untersuchungsplan zeigt auf, wie die Evaluation durchgeführt wird. Er wurde dem Seminar in dieser Art vorgestellt.

Abbildung in dieser Leseprobe nicht enthalten

vgl. Evaluationsmodell, gekürzt, nach Thierau (1991). In: Thierau, H., Stangel-Meseke, M. & Wottawa, H. (1992, 1999). Evaluation von Personalentwicklungsmaßnahmen. In K.H. Sonntag (Hrsg.), Personalentwicklung in Organisationen (S. 329 – 347). Göttingen: Hogrefe.

Eine idealtypische Evaluation eines Kommunikationstrainings

Im Folgenden soll, wie auch im Referat zum Thema, kurz auf eine idealtypische Evaluation eines Kommunikationstrainings eingegangen werden, um dann – mit dem Vorbild der Arbeit von Merzenich-Hieker (1996) – das Evaluations-Methoden-Design anzureißen.

Das Ziel einer Evaluationsstudie – in diesem Fall im Beispiel der Erfolgskontrolle – ist es möglichst valide, reliable und objektive Aussagen über den Effekt, die Wirkung, einer Interventionsmaßnahme vornehmen zu können. Eine Intervention bzw. ein Training ist dann valide, wenn es das fördert, „was es fördern soll“. (Klauer, 1993) Klauer hat drei Punkte dargelegt, anhand derer Validität überprüft werden kann.

Dies sind

1. Effektstärke,
2. Effektdauer,
3. Effekttransfer.

Bevor es darum geht, diese drei Kriterien zu überprüfen, muss untersucht werden, ob die beobachtete Veränderung der abhängigen Variablen wirklich auf die Manipulation der unabhängigen Variablen zurückzuführen ist (interne Validität) und ob die aus dem (Quasi-) Experiment gezogenen Schlussfolgerungen verallgemeinert werden können (externe Validität). Voraussetzung für eine klare Darstellung der Kausalität zwischen unabhängiger und abhängiger Variablen ist die Reflexion potentieller Störfaktoren sowie der Kontrollmöglichkeiten der Einflüsse von Drittvariablen. Das heißt konkret: wenn Störfaktoren gemessen werden, kann das Messinstrument zwar das richtige sein; es wird aber etwas anderes gemessen als intendiert. Und dies führt zu einer Veränderung bzw. Verfälschung der Daten. Störvariablen können unterschiedlich ausfallen. So können Zeiteinflüsse (zeitlich parallele Organisationsumstrukturierung), Reifung (Altern, Ermüdung), Mortalität, Selektion (personelle Unterschiede in den Gruppen), Instrumentierung (Messinstrument [Beobachter] verändert sich [ermüdet]) die Messung beeinflussen. Falls Störvariablen vorhanden sind, stellt sich die Frage: wie können diese kontrolliert werden? Ein wirksames Kontrollinstrument ist ein komplexes Evaluationsdesign mit randomisierter Experimental- und Kontrollgruppe und zudem mit vielen unterschiedlichen Messzeitpunkten und – instrumenten. Allerdings ist die Umsetzung oft nicht möglich. Daher werden zumeist quasi-experimentelle Untersuchungspläne angewendet. So auch in diesem Fall.

Konkret angewendet: Evaluation eines Kommunikationstrainings

Im Folgenden idealtypischen Design einer Evaluation eines Kommunikationsseminars soll nachfolgende Untersuchungsfrage beantwortet werden:

Bewirkt das Seminar eine Veränderung der kommunikativen Kompetenzen der Teilnehmer?

Geklärt werden soll diese Frage mithilfe von Fragebögen und halbstandardisierten Interviews, angelehnt an Merzenich-Hieker (1996).

Das Evaluationsobjekt ist wie schon dargelegt ein Kommunikationstraining. Die Zielgruppe setzt sich aus so genannten Springern zusammen, für deren Tätigkeit die Entwicklung bzw. Stärkung der Kommunikation in ihrer Zusammenarbeit einen besonderen Stellenwert hat. Das Ziel des zu evaluierenden Trainings ist es, eigenes und fremdes Kommunikationsverhalten besser wahrzunehmen und zu verstehen, das „Wissen“ um die Regeln von konstruktiver Kommunikation und deren Umsetzung. Im Training werden Sach- und Beziehungsebene in der Kommunikation thematisiert, das Erkennen von Kommunikationsstörungen, aktives Zuhören, die Fähigkeit empfundene Störungen anzusprechen und anderes, trainiert. Vermittelt werden diese kommunikativen Fähigkeiten durch Rollenspiele, Lehrgespräche, Referate und Gruppenarbeit.

Evaluationsdesign und Erhebungsmethode

Für den vorliegenden Fall einer Evaluation eines Kommunikationstrainings wurde als Beispiel für eine Möglichkeit dieses Training zu evaluieren, die „Institutionelle-Zyklus-Analyse“ herausgegriffen. Der Vorteil dieser Analyse ist, dass sie Aussagen über einen längeren Zeitraum für verschiedene Gruppen erlaubt und zudem weniger aufwändig für das Unternehmen ist, da jedes Jahr nur eine Springergruppe geschult werden muss. Zudem wird eine Längsschnittstudie vorgeschlagen, um die Entwicklung einzelner Personen erfassen zu können.

Insgesamt werden qualitative und quantitative Methoden eingesetzt: eine Kombination aus halbstandardisierten Interviews, Persönlichkeitsfragebogen und trainingsspezifischen Fragebogen.

Quasi-experimentelle Design der Institutionellen Zyklus-Analyse:

Abbildung in dieser Leseprobe nicht enthalten

Legende: T= Treatment, O=Beobachtung, t1/tn=Zeitpunkt, TG= Trainingsgruppe

Es gibt aber auch andere Experimentelle Designs bzw. Quasi-experimentelle Designs, die Anwendung finden könnten. So zum Beispiel ein Mehrphasendesign. In diesem Fall würde die Gesamtgruppe der Springer in zwei vergleichbare Untergruppen aufgeteilt, die getrennt und phasenverschoben trainiert würden. In beiden Fällen würde vor und nach der Interventionsmaßnahme, dem Kommunikationstraining, eine Kriterienmessung vorgenommen werden – jedoch mit dem Unterschied, dass nur eine der beiden Gruppen jeweils trainiert wird. Nach der zweiten Messung würden die Rollen der Gruppen vertauscht werden. Die zweite Gruppe absolviert ihr Kommunikationstraining, die erste Gruppe wartet. Anschließend wird eine dritte Kriterienmessung vorgenommen. Veränderungen, die bei der ersten Gruppe durch das Training bewirkt wurden, können nun verglichen werden mit denjenigen Veränderungen der zweiten Gruppe, die durch das Training erreicht wurden. (Thierau, Stangel-Meseke, Wottawa, 1992, 1999)

Vorarbeiten

Folgende Items werden für die trainingsspezifischen Fragebogen entworfen und dort verwertet.

1. gezielter, sachorientierter Einsatz von Kritik/Feedback
2. kritische Reflexion des persönlichen Kommunikationsstils
3. Offenheit für Kritik von anderen
4. Fairer Umgang auch mit unsympathischen Kollegen
5. Auf Signale (verbale/nonverbale) adäquat reagieren
6. Wahrnehmung und Bearbeitung von Kommunikationsstörungen
7. Wissen um die Kommunikationsmodelle von Schulz von Thun

Pretests

Vor Seminarbeginn füllt jeder Teilnehmer der Gruppe(n) den ersten trainingsspezifischen Fragebogen zur Selbst- bzw. Fremdeinschätzung und die drei Persönlichkeitsfragebogen aus.

Die trainingsspezifischen Fragebögen beinhalten nachfolgend Fragen zur Selbsteinschätzung – Einstellung, individuelle Fähigkeit und der Wunsch nach Schulung werden erfragt. Diese Kriterien werden durch Fragen, die zu jedem Item („Feedbackeinsatz“) gestellt werden, operationalisiert. Diese erste Befragung ist für beide Gruppen, Versuchspersonengruppe und Kontrollgruppe, gleich:

a) Wie wichtig ist der genannte Punkt für ihre Arbeit?

Abbildung in dieser Leseprobe nicht enthalten

b) Wie schätzen sie ihre momentane persönliche Fähigkeit in diesem Bereich ein?

Abbildung in dieser Leseprobe nicht enthalten

c) Halten sie eine Schulung in diesem Bereich für sinnvoll?

Abbildung in dieser Leseprobe nicht enthalten

Mit obiger Skala und gleich bleibenden Items werden auch folgende Fragen beantwortet, die dem Fragebogen zur Fremdeinschätzung zugehörig sind:

a) Für wie wichtig halten sie den oben genannten Punkt für die Arbeit eines anderen Springers?
b) Beurteilen sie bitte die Fähigkeit dieses Springers in diesem Bereich.
c) Halten sie eine Schulung für diesen Bereich für sinnvoll?

Die dabei verwendeten Persönlichkeitsfragebogen können wie Merzenich-Hieker (1996) vorschlägt, folgende sein: der IPC von Krampen, der HAKEMP 90 von Kuhl und ein Fragebogen zur sozialen Erwünschtheit von Lück und Timaeus.

Posttest

Nachdem das Seminar beendet wurde, stellt sich die Frage, wie es nun um die Kompetenzen der Teilnehmer bestellt ist. Zudem sollen die Teilnehmer des Kommunikationstrainings zu Seminarinhalten und Lehrmethoden Stellung nehmen. Außerdem wird erfragt, ob Teilnehmer das Gelernte auch umsetzen wollen. Ein zweiter Fragebogen zur Selbsteinschätzung wird vorgelegt. Es werden nun die nachfolgenden Fragen zu den Items von den Trainingsgruppen beantwortet:

a) Wie schätzen sie ihre momentane persönliche Fähigkeit in diesem Bereich ein?
b) Was hat sich seit Seminarbeginn verändert?
c) Wie beurteilen sie im Rückblick die Übermittlung dieses Seminarinhaltes?
d) Wie beurteilen sie die hierzu eingesetzte Lehrmethode?
e) Wie viel Prozent des Erlernten meinen sie, in ihrem Arbeitsalltag umsetzen zu können?
f) Aufgrund welcher Hindernisse meinen sie, das Erlernte in der Praxis eventuell nicht umsetzen zu können?

- keine entsprechende Situation im Alltag,
- externe Behinderungen wie organisatorische Mängel,
- unzureichende Nachbereitung (Vergessen)
- persönliche Gründe (vgl. Merzenich-Hieker)

Nun folgen die Fragebogen zur dritten und vierten Selbsteinschätzung: Drei und sechs Monate nach Seminarende wird ein weiterer Fragebogen zu den Items an die Trainingsgruppen geschickt und auch an die Kontrollgruppen, die vor rund einem Jahr teilgenommen haben. Gefragt wird, wie momentane Fähigkeiten eingeschätzt werden, wieviel des Erlernten im Arbeitsalltag umgesetzt werden konnte und aufgrund welcher Hindernisse das Erlernte vielleicht doch nicht umgesetzt werden kann. Anschließend folgt ein Fragebogen zur fünften Selbsteinschätzung. Darin wird zudem nach der Einstellung gefragt. (vgl. Merzenich-Hieker, 1996)

Interviews

Zuletzt wird ein halbstandardisiertes Interview mit einer Teilgruppe der Teilnehmer durchgeführt. Die Daten hieraus sind zwar nicht generalisierbar; stellen jedoch gute eine Ergänzung zu den quantitativen Ergebnissen dar. Gefragt wird danach, wie das Training rückblickend bewertet wird, welche Erwartungshaltung die Seminarteilnehmer zuvor hatten, wie sie das Training fanden und was sie anders machen würden.

Anschließend wird ausgewertet, ob die Trainingsmaßnahme erfolgreich war: die rücklaufenden Fragebogen werden untersucht mit Itemanalyse, Normalverteilungsberechnung und auf Varianzhomogenität.

Quellen:

- Bortz, Jürgen/Döring, Nicola. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin, Heidelberg: Springer.
- Deutsche Gesellschaft für Evaluation. (2000). Standards für Evaluation. Köln.:
- Hieker/Merzenich, Carola. (1996). Evaluation von Kommunikations- und Verhaltenstraining in Organisationen. Eine empirische Studie. Aachen: Shaker.
- Holling, Heinz/ Gediga, Günther (Hrsg.) (1999). Evaluationsforschung. Göttingen: Hogrefe.
- Mittag, W. & Hager, W. (2000). Ein Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen. In W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Handbuch Evaluation psychologischer Interventionsmaßnahmen. Standards und Kriterien (S. 102-128). Bern: Huber.
- Will, Hermann/Blickhan, Claus. (1987). Evaluation in der beruflichen Aus- und Weiterbildung. Konzepte und Strategien. Sauer: Heidelberg.
- Thierau, H., Stangel-Meseke, M. & Wottawa, H. (1992, 1999). Evaluation von Personalentwicklungsmaßnahmen. In K.H. Sonntag (Hrsg.), Personalentwicklung in Organisationen (S. 329 – 347). Göttingen: Hogrefe.
- Thierau, H./Wottawa, H. (1990). Lehrbuch Evaluation. Bern: Huber.
- Schulze, Dirk. (2000). Evaluation in der Personalentwicklung. http://www.grin.com/de/fulltext/psb/3112.html
- http://www.erzwiss.uni-hamburg.de/personal/arnold/evaluationSo2005.pdf.