Lade Inhalt...

Nachhaltige Begutachtung von universitären E-Learning Veranstaltungen

Inhaltliche und Methodische Begutachtung von HILVE II und dem E-Learning Label

Examensarbeit 2010 128 Seiten

Pädagogik - Hochschulwesen

Leseprobe

Inhaltsverzeichnis

Vorwort

1. Einleitung

2. Hinführung zum Thema

3. Qualität – Qualitätssicherung - Qualitätsentwicklung
3.1 Der Begriff Qualität
3.2 Qualitätsverständnis
3.3 Qualitätssicherung oder Qualitätsentwicklung
3.4 Das Messen von Qualität

4. Der Darmstädter Weg – Das E-Learning-Label
4.1. Allgemeiner Teil / Entstehung
4.2. Dual Mode Strategie
4.3. Weitere Qualitätsinitiativen an der TU Darmstadt
4.3.1. TU Online
4.3.2. E-Teaching Award
4.3.3. TU Gütesiegel
4.3.4 ELKOPOS
4.3.5 Evaluationen durch die Hochschuldidaktische Arbeitsstelle (HDA)
4.4. Die Zielsetzung des E-Learning Label
4.4.1. Definition von „E-Learning“
4.4.2. Qualitätssicherung und Qualitätsentwicklung
4.4.3. Evaluation
4.4.4. Kennzeichnung von Lehrveranstaltungen
4.5. Der Begriff „Qualität“ im E-Learning-Label
4.6. Inhaltlicher Aufbau/ Konzeption
4.6.1. Qualitätsmodell nach Donabedian
4.6.2. Evaluationsmodell nach Robert E. Stake
4.6.3. Evaluationsintervall
4.6.4. Evaluation durch Fragebögen
4.7. Praktische Durchführung des Prozess E-Learning Label
4.7.1. Dozierendenbefragung
4.7.2. Studierendenevaluation
4.7.3. Auswertung und Feedback
4.7.4. Neubeantragung des E-Learning Labels
4.8. Label heute- Statistische Daten zum E-Learning-Label
4.9. E-Learning-Label Ausblick

5. Kritik am Modell „E-Learning Label“
5.1. Sprachliche Anforderungen in Evaluationen
5.2. Diskussion und Erläuterung des Evaluationsintervalls
5.3. Anmerkungen zur Verwendung des Qualitätsmodells nach Donabedian
5.4. Diskussion des Einsatzes von Stakes Evaluationsmodell
5.5. Mangelnder Bezug zu methodischen und didaktischen Modellen
5.6 Divergierende Selbsteinschätzung der Dozenten - „Mehr ist Besser-Problem“
5.7. Qualität und Rückkopplung der Evaluationsergebnisse

6. Fazit E-Learning-Label

7. Heidelberger Evaluations-Instrument – HILVE-II
7.1. Allgemeiner Teil / Entstehung
7.1.1. HILVE
7.1.2. HILVE-II
7.2. Zielsetzung HILVE und HILVE-II
7.3. Qualitätsverständnis
7.4. Inhaltlicher Aufbau / Konzeption
7.4.1 Spannungsfeld der Determinanten
7.4.2. Evaluationszeitraum Methoden Then-Post Tests
7.4.3. Evaluationsmodell
7.4.4. Beratungsansatz und Feedback an Dozenten
7.4.5. Weitere Beurteilungsmöglichkeiten – Peer Reviews
7.5. Empirische Studien zur Effektivität von HILVE und HILVE-II
7.6. Evaluation des computerbasierten multimedialen Unterrichts
7.7. Prozess HILVE-II
7.7.1. Allgemeine Hinweise zu Evaluationen
7.7.2. Then-Test
7.7.3. Feedback und Beratung
7.7.4. Post-Test
7.7.5. Feedback und Beratung II
7.8. Kritische Einschätzung von HILVE-II
7.8.1. Subjektive Messung des Lehrerfolges
7.8.2. Begutachtung von E-Learning Szenarien
7.8.3 Mehrwert und Aufwand durch HILVE-II

8. Vergleich der Evaluationskonzepte
8.1. Einsatzszenario
8.2. Begriff der Qualität
8.3. E-Learning
8.4. Effizienz, Effektivität und Durchführbarkeit der Evaluation
8.5. Evaluationsmethodik
8.6. Methoden für die Vermittlung von Feedback an den Dozenten
8.7. Nachhaltigkeit
8.8 Fazit des Methodenvergleichs

9. Weiterentwicklung des E-Learning Label - Label-II
9.1. Zielsetzung LABEL-II
9.1.1. Qualitätsentwicklung statt Qualitätssicherung
9.2. Erweiterte Definition des Qualitätsbegriffes
9.2.1. E-Learning
9.2.2. Lernerfolg
9.2.3. Redundanz und Archivierung
9.2.4. Lernerorientierung
9.2.5. Methodische und Didaktische Aspekte
9.2.6. Fachdidaktik
9.2.7. „Individuelle Qualität“
9.2.8. Nachhaltigkeit
9.3. Differenzierte Qualitätsbetrachtung
9.4. Evaluationsmethodik
9.4.1. Allgemeine Überlegungen
9.4.2. Zielsetzung der Evaluationen und Evaluationsintervall
9.4.3. Fragebögen
9.4.4. Items für die Evaluation von E-Learning Veranstaltungen im Rahmen von HILVE-II
9.4.5. „Micro-Evaluationen“
9.4.6. Feedback, Beratungsansatz und Peer-Reviews
9.5. Organisation und Durchführung
9.6. Neubeantragung des Label-II
9.7. Entwicklung von Lehr- und Lernszenarien
9.8. Bewertung von LABEL-II

10. Nachwort

11. Glossar
11.1. E-Learning Label
11.2. HILVE

12. Abbildungsverzeichnis

13. Abbildungsnachweis:

14. Literatur

Internet

Vorwort

Während meines Studiums bin ich über mehrere Lehrveranstaltungen mit dem Thema E-Learning in der Lehre in Kontakt gekommen. Zum einen habe ich selbst an Veranstaltungen teilgenommen, die E-Learning in komplexe Lernszenarien eingebunden haben. Ich habe die Vorzüge von E-Learning gestützter Lehre kennengelernt und schätzte z.B. guten Möglichkeiten der Interaktion und Kommunikation zwischen Veranstaltungsteilnehmern, der effizienten Bereitstellung von Lehrmaterialien, die eine produktive Unterstützung im Lernprozess boten.

Durch ein Praktikum im Bereich Software-Engineering bin ich 2005 erstmals mit dem neu gegründeten e-learning center der TU Darmstadt in Kontakt gekommen. Als Hilfswissenschaftlicher Mitarbeiter von Frau Dr. Sonnberger, der Entwicklerin des E-Learning-Label habe ich die Entstehung des Qualitätssicherungskonzeptes aktiv miterlebt. In den folgenden Jahren war ich als Hilfswissenschaftlicher Mitarbeiter des e-learning center im Bereich E-Learning-Label tätig.

Die Frage, wie Begutachtungen von Lehrveranstaltungen nutzerorientiert, effizient und nachhaltig gestaltet werden können, finde ich spannend.

1. Einleitung

Die Ihnen vorliegende Wissenschaftliche Hausarbeit mit dem Titel „Nachhaltige Begutachtung von universitären E-Learning Veranstaltungen“

Zu Beginn werde ich den Begriff „Qualität“ beleuchten. Wichtig ist hier insbesondere die Unterscheidung der Begriffe „Qualitätssicherung“ und „Qualitätsentwicklung“ die auf eine unterschiedliche Zielsetzung eines Begutachtungsprozesses hinweißt.

Es wird auch der Begriff „nachhaltig“ und seine Bedeutung für die Qualitätsentwicklung eingegangen, da nur eine nachhaltige Qualitätsentwicklung dem durch Begutachtungen und Evaluationen auftretenden Ressourcenverbrauch rechtfertigt.

Im Folgenden werden zwei Konzepte vorgestellt. Das E-Learning-Label und HILVE-II.

Das E-Learning-Label wird als Instrument zur Qualitätssicherung von E-Learning Veranstaltungen seit dem Wintersemester 2005/06 eingesetzt und wurde von Frau Dr. Sonnberger am e-learning center der TU Darmstadt entwickelt.

Das E-Learning-Label ist auf den Einsatz spezialisiert Veranstaltungen auf ihr E-Learning Potential zu überprüfen. Dabei werden Dozenten und Studenten über die Charakteristika der Veranstaltung anhand von Evaluationsbögen befragt. Auf Basis der Evaluationsdaten wird festgelegt ob die Veranstaltung die Mindeststandards einer E-Learning Veranstaltung erfüllt.

Hinsichtlich der Konzeption des E-Learning-Label gehe ich auf die Modelle von Stake und Donabedian ein, auf die sich Sonnberger als Basis des Instruments zur Qualitätssicherung bezieht.

Eine Reflexion über die Konzeption des E-Learning-Labels sowie methodischer Probleme die zu beobachten sind rundet die Darstellung dieses Instruments ab.

Anhand des Instruments zur Qualitätsentwicklung HILVE-II, das von Prof. Amelang und Prof. Rindermann entwickelt wurde wird ein alternatives Konzept eingeführt. HILVE-II zeichnet sich insbesondere dadurch aus, dass in der Konzeptionsphase zahlreiche Studien zum Thema Lehrqualität berücksichtigt werden und auf diese Forschungsergebnisse hin, HILVE und der Nachfolger HILVE-II entwickelt wurden.

Es wird der methodische Aufbau und die Zielsetzung erläutert sowie der Mehrwert des umfangreichen Beratungsansatzes aufgezeigt. Des Weiteren wird an dieser Stelle der empirisch nachgewiesene Nutzen von HILVE-II anhand der „Reichenauer Studien zum Beratungsansatz“ dargestellt.

Die Darstellung von HILVE-II wird durch eine Reflexion über den Mehrwert dieses Instruments zur Qualitätsentwicklung abgeschlossen.

Ein Vergleich zwischen E-Learning-Label und HILVE-II soll signifikante Unterschiede dieser beiden Instrumente aufzeigen und die jeweiligen Vorzüge erläutern.

Auf Basis des E-Learning-Labels und den spezifischen Bedürfnissen der TU Darmstadt und unter Beachtung des Modells HILVE-II wird der Versuch unternommen neue, realistische Perspektiven zur Qualitätssicherung und Qualitätsentwicklung aufzuzeigen. Dabei werden auch neue Evaluationstechniken eingeführt und deren Einsatz angeregt. Ergänzend werden Vorschläge gemacht über den Prozess der Qualitätsentwicklung hinaus Maßnahmen zur Verbesserung der Lehre zu treffen. Eine Entwicklung von Lernszenarien, die häufige Veranstaltungstypen, E-Learning Elemente sowie methodische und didaktische Aspekte einschließen können eine Bereicherung für den Lehrbetrieb darstellen.

Ein abschließendes Fazit beleuchtet den Mehrwert des Label-II und geht abschließend auf eine mögliche Umsetzbarkeit ein.

Anmerkung: Im Folgenden verwende ich die Begriffe Dozent und Student, damit sind selbstverständlich ebenfalls alle Dozentinnen und Studentinnen angesprochen. Die Verwendung der männlichen Form erfolg ausschließlich aufgrund der besseren Lesbarkeit.

2. Hinführung zum Thema

Innerhalb der letzten Jahre ist der E-Learning Anteil in der universitären Lehre stetig gestiegen. Dabei handelt es sich teilweise um komplexe Lernszenarien, die eine mannigfaltige Vielfalt an Informations- und Kommunikationstechniken verwenden, die mit methodischer und didaktischer Finesse organisiert wurden. Andere Lehrveranstaltungen nutzen E-Learning in minimalem Umfang um Vorlesungsskripte über einen Server zur Verfügung zu stellen.

Nach einem anfänglichen Hype des E-Learning in den 1970er Jahren, der einen nur geringen Einfluss auf die Lernkultur ausübte, führten technische Entwicklung zu Beginn der 2000er Jahre zu einer Renaissance. Insbesondere schnellere PCs und Notebooks, die ortsunabhängiges Arbeiten unterstützen, schnelle Internetverbindungen und eine stetig steigende Auswahl an Softwareprodukten machten den Einsatz von E-Learning in der Lehre interessant.

Die TU Darmstadt und seine Lehrenden haben dieses Potential erkannt und E-Learning in der Lehre systematisch durch verschiedene Konzepte und Strategien gefördert. Insbesondere die Dual Mode Strategie, das Konzept der Notebook-University und Projekte wie TU Online und der E-Teaching Award haben E-Learning gefördert und in das Bewusstsein von Dozenten und Studenten gerückt.

Insbesondere die umfassenden Ziele der Dual Mode Strategie beinhalten auch den Wunsch der Qualitätssicherung, sodass „E-Learning-Veranstaltungen“ ein definiertes Mindestmaß an E-Learning beinhalten. Ein solches Konzept zur Qualitätssicherung von E-Learning Veranstaltungen entwickelte Dr. Julia Sonnberger am e-learning center der TU Darmstadt. Das sogenannte E-Learning-Label ist ein Instrument zur Qualitätssicherung das seit 2005 eingesetzt wird um E-Learning Veranstaltungen der TU Darmstadt zu begutachten.

Qualitätssicherung an Universitäten wird inzwischen seit mehreren Jahrzehnten betrieben um die Lehre hinsichtlich bestimmter Qualitätsmerkmale zu optimieren. Hier hat sich eine Vielzahl an Definitionen dessen was Qualität ist, unterschiedliche Evaluationsmethoden und Fragebögen herausgebildet.

Ein besonders interessantes Konzept zur Qualitätssicherung ist HILVE bzw. die Weiterentwicklung HILVE-II, das von Prof. Amelang und Prof. Rindermann Anfang der 1990er Jahre entwickelt wurde. Das Modell umfasst nicht nur eine „Sicherung“ der Qualität sondern auch eine Reihe an Methoden die gemessene Qualität weiter zu steigern.

Was HILVE und HILVE-II insbesondere herausheben, sind die empirischen Studien die von Prof. Rindermann durchgeführt wurden um die Effekte von HILVE-II als Qualitätsentwicklungsinstrument, auf die Lehre zu messen. Im deutschsprachigen Raum gibt es keine weiteren Studien, die so umfassend die Effekte von Evaluationen und Feedbackmodelle untersuchen. Diese Studie belegt eine Qualitätssteigerung für curriculare Lehrveranstaltungen, die den Prozess HILVE-II durchlaufen haben. Dieser empirische Beleg sowie die gute allgemeine Verwendbarkeit von HILVE-II sind für mich der Grund dieses Modell auf seine Verwendbarkeit an der TU Darmstadt zu überprüfen.

Qualitätssicherung verursacht zunächst Kosten, die von bestehenden Ressourcen (Arbeitszeit, finanzielle Ressourcen für Schulungen, Lizenzen für Software etc.), die für die Lehre genutzt werden können abgehen. Daher ist es wichtig, dass die Qualitätssicherung bzw. Qualitätsentwicklung einen Mehrwert bietet, der größer ist als die anfallenden Aufwendungen.

Qualitätsentwicklung kann ist nur dann effizient wenn zum einen messbare, positive Effekte erzeugt werden, diese aber auch nachhaltig sind. Nachhaltig bedeutet in diesem Fall, dass die Qualitätssteigerung nicht nur ein kurzzeitiger Effekt ist sondern sich langfristig auswirkt. Dozenten sollen durch Evaluationsergebnisse langfristig profitieren sodass sich diese positiven Effekte auf ihre Lehrveranstaltungen auswirken, sodass auch die Studenten durch Qualitätsentwicklung profitieren.

Im der vorliegenden Arbeit werde ich zunächst das Konzept E-Learning-Label, wie es an der TU Darmstadt entwickelt und praktiziert wird vorstellen. Auf die konzeptionellen Stärken und Schwächen werde ich in den jeweiligen Kapiteln eingehen um das Entwicklungspotential für das E-Learning-Label aufzuzeigen.

Dem folgend wird das Modell HILVE-II vorgestellt, das einen unterschiedlichen Ansatz wählt um Daten zu Lehrveranstaltungen zu erheben. Auch die Feedback-Strategien, die Rindermann vorschlägt weisen interessante Aspekte auf, die für eine hohe Effektivität in Steigerung der Lehrqualität führen.

HILVE-II wurde für die konventionelle entwickelt und behandelt E-Learning nur äußerst peripher. Eine direkte Übertragung des Modell HILVE-II als Instrument zur Evaluation von E-Learning Veranstaltungen und weiteren für die TU Darmstadt spezifischen Anforderungen nicht sinnvoll möglich.

Auf dem E-Learning-Label wie es zur Zeit an der TU Darmstadt basierend und dem Instrument zur Qualitätsentwicklung HILVE-II entwickle ich einen neuen Ansatz zur Qualitätsentwicklung der an der TU Darmstadt denkbar ist.

Dieses neue Instrument zur Qualitätssicherung trägt den Titel „Label-II“ und ist, wie der Leser bemerken wird zum einen eine Anspielung auf das E-Learning-Label und zum anderen auf HILVE-II. Dieses neue, erweiterte Konzept beinhaltet zudem weitere Aspekte der Qualitätsentwicklung wie „Micro Evaluationen“, die noch keine breite Umsetzung erfahren haben.

Abgerundet wird das Konzept durch eine Erweiterung der Qualitätssicherung durch Einrichtungen wie das e-learning center auf eine Bereitstellung von sogenannten Lernszenarien die es ermöglichen, dass Lehrende auf Bausteine zurückgreifen können um so effizient neue methodische und didaktische Modelle zu nutzen und mit geringem Aufwand zentral bereitgestellte IuK-Techniken nutzen können.

Abschließend findet eine Reflexion von Label-II statt, dass auf allgemeine wie Modellspezifische Problematiken der Qualitätssicherung und Qualitätsentwicklung eingeht.

3. Qualität – Qualitätssicherung - Qualitätsentwicklung

3.1 Der Begriff Qualität

Der Begriff Qualität hat seinen Ursprung im lateinische Wort Qualis und bedeutet Beschaffenheit und ist ohne Wertung zu verstehen. Das lateinische Qualitas hat die Bedeutung „Verhältnis zu den Dingen“ (vgl. Zollondz 2002, S. 9). Im unserem kulturellen Verständnis verstehen wir und „Qualität“ eine positive Ausprägung bestimmter, charakterisierender Merkmale.

Um Qualität zu messen ist es notwendig bestimmte Parameter bzw. Variablen zu definieren die gemessen werden können und die „Qualität“ bestimmen. Qualität ist immer kontextgebunden. Es ist offensichtlich das wir die Qualität eines Apfels auf Basis anderer Variablen bewerten (Geschmack, Geruch, Konsistenz) als die Qualität eines Autos (Treibstoffverbrauch, Lebensdauer, Raumangebot). So benötigen wir auch für die Ermittlung der Qualität einer Lehrveranstaltung Variablen, die uns eine Messung der Qualität der Lehre erlauben.

Um Variablen zur Messung der Qualität zu ermitteln benötigen wir zunächst eine Definition dessen, was wir als Qualität begreifen möchten. Die an einer Lehrveranstaltung teilnehmenden Akteure, Dozent und Studierende beziehen sich nicht gezwungenermaßen auf die gleichen Aspekte, wenn sie über die Qualität einer Lehrveranstaltung sprechen. Dozenten könnten beispielsweise die Qualität Ihrer Lehrveranstaltung über den

- Nutzen der Inhalte für eine wissenschaftliche Karriere,
- Zeitaufwand des Dozierenden und der Mitarbeiter/Innen,
- Widerverwendbarkeit und Modularisierung der Veranstaltung definieren. Studenten können sich mit diesen Aspekten von Qualität nicht zwingend identifizieren und würden ggf. andere Variablen zur Messung der Qualität verwenden. Dabei könnte es sich um
- die erzielte Klausurnote
- Umfang und Beschaffenheit der zur Verfügung gestellten Lehrmaterialien,
- der Relevanz für das spätere Berufsleben

handeln. Aufgrund der unterschiedlichen Perspektiven der Akteure und dem damit verbundenen Blick auf Qualitätsfaktoren benötigen wir ein einheitliches Verständnis dessen was Qualität bestimmt. Dabei müssen die Aspekte der Dozenten und Studenten berücksichtigt werden. Dennoch sollten wir nicht davon ausgehen, dass es sich dabei um konkurrierende Qualitätsbegriffe handelt, sondern um sich gegenseitig ergänzende.

Um Qualität von Lehrveranstaltungen zu messen, ist eine einheitliche Definition vom Begriff der Qualität notwendig um Transparenz hinsichtlich der Zielsetzung und des Kontextes zu gewähren. Diese Definition kann nie allumfassend sein, sondern ist in der Hinsicht selektiv, dass nur eine begrenzte Auswahl an Variablen zur Messung verwendet werden kann. Qualität in der Lehre wird immer in einem bestimmten Kontext (Bildungsinstitution, Lehrszenario, Fachwissenschaft) hinsichtlich eines konkreten Qualitätsbegriffes durchgeführt. Kontext und Qualitätsbegriff sind nicht per se festgelegt, sondern ergeben sich zum einen aus dem Szenario für die Qualitätsbegutachtung und der Zielstellung mit der diese Begutachtung durchgeführt wird. Die Messung oder Begutachtung von Qualität sollte daher immer mit einer bestimmten, zweckgebundenen Zielsetzung erfolgen Hierzu kann es keine allgemeingültige Definition geben sondern es muss jeweils kontextabhängig entschieden werden was man als „Qualität“ bzw. als „Qualitativ hochwertig“ betrachten möchte und die entsprechenden Variablen festlegen und dokumentieren. Diese Zielstellung ist demnach der grundlegende Faktor für den Sinn und die Legitimität einer Begutachtung. Denn nur wenn ein dem Fall angemessenes Verständnis von Qualität definiert ist, kann diese gemessen und entwickelt werden.

3.2 Qualitätsverständnis

Ein allgemeines Verständnis dessen was als „Qualität in der Lehre“ zu bezeichnen ist gibt es nicht. Stattdessen findet man bei Autoren unterschiedliche Definitionen dieser Begrifflichkeit die jeweils im Kontext einer bestimmten Forschungsfrage stehen.

Die Autoren, der im Folgenden dargestellten Evaluationskonzepte verwenden jeweils eine eigene Definition des Begriffs „Qualität“.

Sonnberger ist in ihrem E-Learning-Label stark auf die Potentiale des E-Learnings fokussiert und setzt Qualität mit der Lernerorientierung gleich. Dabei begutachtet Sonnberger insbesondere Input- und Prozessvariablen.

Rindermann, Mitentwickler von HILVE-II definiert die Qualität einer Lehrveranstaltung über den sogenannten Lehrerfolg. Diesen misst er anhand einiger Variablen und untersucht welche Input- und Prozessvariablen defizitär sind um das Qualitätspotential zu steigern.

Auf die entsprechenden Methoden und das genauere Qualitätsverständnis gehe ich in den entsprechenden Kapiteln ein.

3.3 Qualitätssicherung oder Qualitätsentwicklung

In den Nachstehenden Kapiteln werden mehrfach die Begriffe Qualitätssicherung und Qualitätsentwicklung verwendet. Diese sind nicht synonym, sondern bezeichnen zwei unterschiedliche Methoden die aufeinander aufbauen.

Unter Qualitätssicherung verstehen wir das Ermitteln bestimmter Merkmale die als Indikatoren für das Vorhandensein und die Ausprägung von Qualität sind.

Qualitätsentwicklung baut auf Qualitätssicherung auf. Es werden Evaluationen verwendet um Qualität zu messen. Durch Feedback, Beratungen sowie erweiterten methodischen und didaktischen Modellen wird die Ausprägung der Qualitätsmerkmalegesteigert.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Qualität

Die Begriffe Qualitätssicherung und Qualitätsentwicklung enthalten keine fest definierten Methoden zur Qualitätsmessung oder zur Entwicklung von Qualität. Diese müssen auf Basis des jeweiligen Einsatzszenarios entwickelt bzw. ausgewählt werden.

Durch Qualitätssicherung entstehen Kosten z.B. durch die Bindung personeller Ressourcen, Schulungen für Mitarbeiter, dem Kauf von Softwarelizenzen. Damit sich der Verbrauch dieser Ressourcen, die potentiell auch auf andere Weise der Entwicklung der Lehre zugute kommen könnten, lohnt muss die Qualitätssicherung bzw. Qualitätsentwicklung einen nachweisbaren, positiven Effekt ausüben der die Kosten überwiegt.

Qualitätssicherung ist daher nur sinnvoll wenn eine entsprechende Qualitätsentwicklung nachgestellt ist. Wotta und Thierau führen hierzu aus, dass „Die Bewertung von Maßnahmen, Organisationsformen oder Einzelpersonen macht nur dann Sinn, wenn auf der Grundlage dieser Ergebnisse praktische Konsequenzen eingeleitet werden […]“ (Wotta, Thierau 1998, S. 83)

Qualitätssicherung und Qualitätsentwicklung betrachten wir als Rahmenwerk, das mit konkreten Definitionen und Methoden befüllt werden muss, damit diese Begriffe zu Methoden in einem spezifischen Begutachtungsszenario werden.

3.4 Das Messen von Qualität

Hinsichtlich der Frage wie Qualität gemessen werden kann, bieten sich mehrere Möglichkeiten. Zum einen werden Fragebögen häufig als entsprechendes Mittel empfohlen. Weitere Möglichkeiten sind Beratungen durch pädagogisch geschulte Mitarbeiter, Peer-Reviews und Peer-Ratings (vgl Baker 2006, S. 19 ff.).

Sowohl Rindermann als auch Sonnberger verwenden vorwiegend die Methode der Evaluation durch Fragebogen um Items durch Dozenten und Studenten messen zu lassen.

Insbesondere Evaluationen durch Fragebögen erfordern es vorab ein genaues Bild der Qualitätskriterien zu schaffen. Diese Kriterien müssen immer wieder auf ihre Validität, Reliabilität unter Berücksichtigung des verwendeten Lernszenarios und Qualitätsbegriffes überprüft werden. Dies gilt laut Sonnberger insbesondere für Evaluationen im Bereich des E-Learning, der eine hohe Dynamik und permanente Weiterentwicklungen auf technischer und methodischer Ebene aufweist.

Studenten als Veranstaltungsteilnehmer erfahren unmittelbar die Ausprägungen des zu evaluierenden Lehrszenarios und sind, neben dem Dozenten die einzigen Teilnehmer die hinsichtlich des Lehrszenarios eine Bewertung vornehmen können.

Hinsichtlich der Verwendung studentischer Lehrevaluation hält Rindermann auf Basis empirischer Studien fest, dass die „absoluten [methodischen] Anforderungen (z.B. durch Süllwold, 1992) nicht erfüllt werden können, ist es verfehlt in dem Sinne zu vertreten, dass die Lehre an den Universitäten durch Studierende nicht beurteilt werden könne und die Lehrqualität unbestimmbar sei“ (Rindermann 2009, S. 147). Er stellt zudem fest, dass bei „Variablen, die nicht den Dozenten beschreiben, stabile Validitätskoeffizienten beobachtet werden können.“ (Rindermann 2009, S. 175) und studentische „[Evaluations-]Angaben im Sinne von besser oder schlechter und Klassifikation in relativ gute und relativ schlechte Lehre vorgenommen werden; Informationen wie sie für den praktischen Einsatz völlig ausreichen.“ (ebenda, S. 175)

Auf Basis dieser empirisch ermittelten Daten gehen wir im Folgenden davon aus, dass studentische Evaluationen eine valide Methode der Datenermittlung ist.

4. Der Darmstädter Weg – Das E-Learning-Label

4.1. Allgemeiner Teil / Entstehung

Das E-Learning Label ist ein Instrument zur Qualitätssicherung von E-Learning gestützten Lehrveranstaltungen an der TU Darmstadt. Seit dem Wintersemester 2005/06 wird das E-Learning Label an der TU Darmstadt eingesetzt. Die Entwicklung dieses Instruments zur Qualitätssicherung fand im Rahmen der Dissertation von Julia Sonnberger, einer damaligen Mitarbeiterin des e-learning centers statt. Das e-learning center (inzwischen eine Abteilung des Hochschulrechenzentrums) betreut seitdem auch den Qualitätssicherungsprozess durch das E-Learning Label. Zudem stellt das e-learning center eine Reihe weiterer E-Learning bezogener Dienstleistungen wie die Verwaltung von Lernplattformen und das Aufzeichnen von Lehrveranstaltungen an.

Durch die damals immer größer werdende Verbreitung von Computern, schnellen Internetzugängen und einer immer größer werdenden Auswahl an Informations- und Kommunikationstechniken (IuK-Techniken) stieg auch die Verbreitung von E-Learning an den Hochschulen. Hier wirkte auch die Dual Mode Strategie der TU Darmstadt (siehe nächstes Kapitel) als Zielvereinbarung über die Förderung von E-Learning in der Lehre unterstützend. Die Dual Mode Strategie forderte die universitätsweite Umsetzung von E-Learning innerhalb von 10 Jahren, ausgehend vom Jahr 2004 (Sonnberger 2008, S.56).

Hinzu kam der Wunsch einer an der TU Darmstadt einheitlichen Terminologie bezüglich E-Learning sowie einem Instrument zur nachhaltigen Qualitätssicherung und Qualitätsentwicklung für die curricularen Lehrveranstaltung.

Aus diesen Anforderungen heraus entwickelte Julia Sonnberger im Rahmen ihrer Dissertation das Konzept E-Learning-Label. Dabei handelt es sich um einen mehrstufigen Prozess der Qualitätssicherung, der sowohl Dozierende als auch Studierende involviert um die Qualität einer E-Learning Veranstaltung zu erfassen.

Veranstaltungen die den Mindestanforderungen des E-Learning-Labels genügen, werden im Vorlesungsverzeichnis entsprechend als zertifizierte E-Learning Veranstaltung mit dem Symbol „Abbildung in dieser Leseprobe nicht enthalten“ gekennzeichnet. Dies hebt die E-Learning Veranstaltungen hervor und unterstützt Studierende in der Zusammenstellung ihres Semesterplans indem sie explizit diese Veranstaltungen auswählen können um von den Vorzügen dieses Veranstaltungstypus zu profitieren.

Das E-Learning Label wurde erstmals im Wintersemester 2005/06 als Instrument zur Qualitätssicherung eingesetzt. Seitdem können Dozierende aller Fachbereiche der TU Darmstadt für ihre Veranstaltungen das E-Learning-Label beantragen und den Qualitätssicherungsprozess durchlaufen.

Das Beantragen des E-Learning-Labels ist für den Dozierenden optional, es bestehen keinerlei institutionelle Auflagen oder Verbindlichkeiten, dass Veranstaltungen die E-Learning Elemente beinhalten, diesem Prozess unterworfen werden müssen.

Inzwischen wurde das E-Learning-Label an Veranstaltungen aus allen 13 Fachbereichen vergeben und ist als Methode der Qualitätssicherung an der TU Darmstadt anerkannt und fest verankert. Die inhaltliche und konzeptionelle Weiterentwicklung des E-Learning-Labels wurde mit der Beendigung der Promotion Dr. Julia Sonnbergers im Sommer 2008 abgeschlossen. Seitdem findet keine inhaltliche Weiterentwicklung des Qualitätskonzepts statt.

4.2. Dual Mode Strategie

Der Wunsch nach einem Instrument der Qualitätssicherung und Qualitätsentwicklung für E-Learning gestützte Lehre an der TU Darmstadt ist eng mit den Zielsetzungen der Dual Mode Strategie verbunden.

Die seit Juli 2004 vom Dual Mode Beirat der TU Darmstadt entwickelte und durch das Präsidium verabschiedete Dual Mode Strategie ist ein Konzept zur Förderung und Implementierung von E-Learning in der universitären Lehre. Dabei wird ein ausgewogenes und didaktisch sinnvolles Verhältnis zwischen klassischer Präsenzlehre und E-Learning angestrebt (vgl. ELC DMU). Die Dual Mode Strategie (Stand 2004) sieht vor, dass innerhalb der nächsten 10 Jahre bis zu 30% der Studienleistungen in E-Learning Veranstaltungen erbracht werden. Jeder Studierende soll während seiner Studienzeit an mindestens einer E-Learning Veranstaltung teilnehmen. Zielsetzung ist die aktive Einbindung der Studierenden und die Vermittlung der „Schlüsselqualifikation E-Learning“ (vgl. Sonnberger 2008, S. 56).

Die Dual Mode Strategie wurde über die letzten Jahre weiter entwickelt und den Entwicklungen des Lehrbetriebs angepasst. Auch für die Zielstellungen bezüglich der Verbreitung von E-Learning an der TU Darmstadt sind neue Vereinbarungen getroffen worden. Dabei liegt der Fokus der Dual Mode Strategie inzwischen stärker auf dem der Anzahl von angebotenen E-Learning Angeboten als auf der Anzahl der besuchten Veranstaltungen pro Student. Die Zielvereinbarungen des Dual Mode Beirats in der aktuellen Fassung umfassen verschiedene qualitative Ausprägungen von E-Learning wobei davon ausgegangen werden muss, dass alle Lehrveranstaltungen der TU Darmstadt in einem festgelegten Umfang E-Learning Elemente beinhalten (vgl. ELC DMU). Die Prozentangaben der Standards Gold-Silber-Bronze beziehen sich auf die angebotenen Lehrveranstaltungen pro Semester.

- 20 % der E-Learning-Veranstaltungen sollen dem hohen didaktischen Qualitätsanspruch des E-Learning-Label entsprechen. Diese Veranstaltungen werden als „E-Learning-Level professional – Gold“ bezeichnet und stellen die „Oberklasse“ der E-Learning Veranstaltungen dar.
- Weitere 30 % der Präsenzlehrveranstaltungen verfügen über digitalisierte Inhalte, Kommunikationsmöglichkeiten mit den Dozenten/innen und sind über homogene Zugriffswege erreichbar. Diese Veranstaltungen werden als „E-Learning-Level advanced – Silber“ bezeichnet und stellen eine Abstufung des Professional Levels dar.
- Für 100 % der Präsenzlehrveranstaltungen der TU Darmstadt werden im Web Lehrmaterialien dauerhaft dokumentiert und sind nachvollziehbar und leicht erreichbar. Alle Lehrveranstaltungen sollen dem „E-Learning-Level basic – Bronze“ genügen.

Das weiter steigende Angebot an E-Learning gestützten Veranstaltungskonzepten erfordert insbesondere auch in Hinblick auf die verschiedenen Qualitätslevels eine systematische und durch wissenschaftliche Kriterien gestützte Qualitätssicherung.

4.3. Weitere Qualitätsinitiativen an der TU Darmstadt

Neben dem bereits genannten E-Learning-Label gibt es an der TU Darmstadt weitere Projekte und Initiativen um qualitativ hochwertige Lehre zu fördern. Diese Initiativen bestehen unabhängig vom E-Learning Label und nehmen keine hierzu konkurrierende Stellung ein.

4.3.1. TU Online

TU Online ist ein Projekt, dass sich an die Dozenten der TU Darmstadt richtet, die Lehrveranstaltungen in Bild und Ton aufzeichnen möchten um „so den ersten Stein zu einer herausragenden E-Learning-Veranstaltung legen“ (vgl. ELC TUO). Veranstaltungen die in einem Bewerbungsverfahren ausgewählt werden, können am TU-Online-Förderprogramm teilnehmen. Dies bietet die Möglichkeit den Studenten weiteres Lernmaterial in Form von „Audio- und Vidomitschnitten, Podcasts oder auch Lehrfilme“ (ebenda) anzubieten um diese in komplexen Lehr- und Lernszenarien zu unterstützen.

4.3.2. E-Teaching Award

Seit dem Jahr 2004 wird jährlich der E-Teaching-Award (früher auch Best E-Teaching Award genannt) der Carlo und Karin Giersch Stiftung vergeben (ELC ETA 2010). Der E-Teaching Award wurde 2009 in den drei Kategorien verliehen:

- Best Practice
- Best Concept
- Student Proof

Bei Veranstaltungen die mit dem Best Practice Award ausgezeichnet werden, handelt es sich um Lehrveranstaltungen die in besonderem Maße E-Learning als didaktisches und methodisches Instrument benutzen.

Veranstaltungen der Kategorie Best Concept bestehen nur als Lehrkonzept und wurden noch nicht realisiert. Durch das Preisgeld, das mit der Vergabe des E-Teaching Awards verknüpft ist wird die Umsetzung des Lehrkonzeptes gefördert.

Der Preisträger der Kategorie Student Proof wird durch eine studentische Jury ermittelt und vermittelt somit verstärkt die Studierendenperspektive dessen, worin hochwertiges E-Learning besteht.

4.3.3. TU Gütesiegel

Das TU Gütesiegel ist ein Instrument zur Qualitätssicherung und Qualitätsentwicklung von computergestützten Lehr- und Lernszenarien. Der Fokus hierbei liegt auf der Begutachtung kommerzieller Lernsoftware. Das Angebot richtet sich vor allem an Softwareentwickler und Unternehmen die das Know How der TU Darmstadt im Bereich von Lehr- und Lernprogramme nutzen möchten. Eine Begutachtung anhand der Kriterien des TU Gütesiegels umfasst didaktische Kriterien, die Qualität des User-Interface (Usability), technische Kriterien sowie Aspekte zur Wirtschaftlichkeit des Produktes (siehe auch ELC TUG). Eine Userstudy beschreibt die Zielgruppe anhand demographischer Daten, dem Vorwissen der Nutzer auf inhaltlicher und methodischer Ebene um so zu überprüfen ob das Lehrangebot unter pädagogischen Aspekten für die Zielgruppe geeignet ist.

4.3.4 ELKOPOS

ELKOPOS ist das E-Learning-Kompetenz-Portfolio für Studierende. Studierende sollen die in E-Learning Veranstaltungen erworbenen Kompetenzen bescheinigt werden. Eine Ankopplung an das E-Learning-Label erfolgt in soweit, dass anhand des E-Learning-Labels ermittelt werden, welche Kompetenzen die Studierenden tatsächlich erworben haben. Hierzu sind weitere Kriterien, die auf die Ermittlung der den Studierenden vermittelten Kompetenzen abzielt notwendig. Dabei sollen Studierende in mehrfacher Hinsicht von ELKOPOS profitieren. „Die aktuelle Kompetenzbestätigung bietet den Studierenden…

- Bescheinigung erworbener überfachlicher Qualifikationen
- Unterstützung der individuellen Studienzielplanung mit einem
- Zertifikat überfachlicher E-Learning-Kompetenzen

Mittelbar zu expliziten und bewussten Förderung von Kompetenzen zum lebenslangen Lernen (hier: der E-Learning-Kompetenzen“ (Elkopos 2010)

Die Umsetzung von ELKOPOS befindet sich in einer experimentellen Phase, die in den kommenden Semestern ausgeweitet werden soll.

4.3.5 Evaluationen durch die Hochschuldidaktische Arbeitsstelle (HDA)

Die Hochschuldidaktische Arbeitsstelle bietet ebenfalls Evaluationen zur Qualitätssicherung von Lehrveranstaltungen an. Dabei hat die HDA keine Spezialisierung auf E-Learning Veranstaltungen vorgenommen. Die Evaluationen der HDA ergänzen sich mit denen durch das E-Learning-Label und werden als gleichwertig anerkannt. Hierdurch soll eine Konkurrenzsituation von HDA und e-learning center vermieden werden, sodass eine Kooperation zur Verbesserung der Lehre und der Qualitätssicherung zwischen den Einrichtungen stattfinden kann.

4.4. Die Zielsetzung des E-Learning Label

Das E-Learning-Label umfasst eine Reihe an Funktionen die aufeinander aufbauen. So galt es zunächst den Begriff „E-Learning“ mit einer universitätsweiten, einheitlichen Definition zu versehen. Auf dieser Definition aufbauend soll die Qualitätssicherung mit Hilfe von Evaluationen vorgenommen werden um zu überprüfen in wieweit E-Learning Veranstaltungen der gegebenen Definition entsprechen.

Um die durch das E-Learning-Label genannten Ziele zu erreichen, war es notwendig sich an den spezifischen Eigenheiten der TU Darmstadt zu orientieren.

Die TU Darmstadt besteht aus dreizehn Fachbereichen mit jeweils eigenen fachdidaktischen Modellen und fachspezifischen Anforderungen. Das E-Learning-Label berücksichtigt dies durch einen möglichst offenen Ansatz um die für die Lehre notwendige Freiheit der methodischen und didaktischen Stile zu gewährleisten und individuelle Lehrstile zuzulassen.

Ebenso darf das E-Learning Label nicht auf einzelne Veranstaltungstypen wie Vorlesungen oder Seminare spezialisiert sein, sondern es muss die gesamte Bandbreite an Veranstaltungsformaten, die an der TU Darmstadt genutzt werden, abdecken. Dabei müssen alle diese für die TU Darmstadt spezifischen Faktoren berücksichtigt werden, damit das E-Learning-Label auch in der Praxis bestehen kann.

Die Zielvorgaben der Dual Mode Strategie der TU Darmstadt förderten das Ansteigen von E-Learning Veranstaltungen für die ein qualitativer Mindeststandart gesichert werden kann. Dabei sollte eine Qualitätssicherung für E-Learning Veranstaltungen getrennt von den bisherigen Evaluationen der Hochschuldidaktischen Arbeitsstelle der TU Darmstadt (HDA) durchgeführt werden. Eine effiziente, ressourcenschonende, und aufgrund der breiten Anforderungen pragmatische Handhabung des E-Learning-Labels wurde notwendig um für eine Vielzahl an Veranstaltungen die Qualitätssicherung bereitstellen zu können.

Die Durchführung des E-Learning Label Prozesses soll durch das e-learning center vorgenommen werden. Eine Verankerung auf personeller Ebene in den Fachbereichen und Instituten ist aufgrund des Umfangs der bereitgestellten Ressourcen nicht realisierbar gewesen.

4.4.1. Definition von „E-Learning“

Der damalige, durch den Dual Mode Beirat formulierte Wunsch, an der TU Darmstadt zukünftig 30% E-Learning anzubieten (vgl. Sonnberger 2008, S. 63), führte zu der bereits benannten Problematik, dass zu diesem Zeitpunkt keine einheitliche Definition von E-Learning an der TU Darmstadt vorlag. Sonnberger illustriert dieses Problem anhand von Zielvereinbarungen zum Einsatz von E-Learning an den Fachbereichen der TU. Diese Zielvereinbarungen der Fachbereiche zeichneten ein heterogenes Verständnis dessen, was unter E-Learning zu verstehen sei und wiesen auch deutliche Unterschiede in der Terminologie auf. Eine einheitliche Definition von E-Learning bzw. E-Learning Veranstaltungen als Teil einer gemeinsamen Zieldefinition war somit unabdingbar. Sie fördert die Transparenz der Dual Mode Strategie und erleichtert die Kommunikation der Beteiligten untereinander dadurch, dass sie sich stets auf eine gemeinsame, einheitliche Definition verlassen können.

4.4.2. Qualitätssicherung und Qualitätsentwicklung

Das E-Learning Label soll als Instrument der Qualitätssicherung und Qualitätsentwicklung dienen. Basierend auf der durch das E-Learning-Label gegebenen begrifflichen Definition von E-Learning, soll die Mindestqualität von E-Learning Veranstaltungen gesichert werden. Dem liegt die Annahme zugrunde, dass E-Learning an sich noch keinen pädagogischen Mehrwert bedingt. „Die Nicht-Pädagogen haben entschieden, dass marktgängige Software oder das Internet per se von pädagogischem Wert seien. Sie haben sich getäuscht“ (Sesink 2004 S. 128, aus Sonnberger 2008 S.68).

„Das Potenzial von E-Learning, die Lehre zu verbessern, ist überwiegend anerkannt“ (vgl. Euler 2005, aus Sonnberger 2008, S. 66), dies gilt jedoch nur wenn entsprechendes Potential unter Berücksichtigung der methodischen und didaktischen Aspekte für die Lernszenarien genutzt wird. Dieses Potential darf langfristig nicht „immanenter Bestandteil dieser Lehr- und Lernform“ (Sonnberger 2008, S. 66) sein, daher ist es zusätzlich erforderlich das gesamte Potential der Lehrveranstaltung zu fördern. Dies umfasst z.B. auch allgemeine methodische und didaktische Aspekte, Betreuung der Studierenden, die Zufriedenheit mit der Lehre.

Es soll die Qualität der E-Learning Veranstaltungen, basierend auf der durch das E-Learning-Label gegebenen Definition von E-Learning gesichert und nach Möglichkeit weiter gefördert und entwickelt werden. Hierzu sollen verschiedene Methoden wie die Evaluationen der Dozenten und Studenten sowie Feedbackbögen an die Dozenten genutzt werden. Die Qualitätsentwicklung wird dabei mehr als ein implizites Ziel des E-Learning Labels betrachtet als aktiv gefördert.

4.4.3. Evaluation

Die Qualitätssicherung durch Evaluation ist die praktische Umsetzung des E-Learning-Label Konzeptes. Eine Evaluation durch Dozenten und Studierende dient dazu anhand, von ausgewählten, wissenschaftlich belegten Kriterien zu überprüfen, ob eine E-Learning Veranstaltung den Anforderungen, dessen was unter E-Learning an der TU Darmstadt zu verstehen ist, gerecht wird.

4.4.4. Kennzeichnung von Lehrveranstaltungen

Veranstaltungen die das E-Learning Label erhalten haben, sollen als solche öffentlich im Vorlesungsverzeichnis gekennzeichnet werden. Studierende haben hierdurch die Möglichkeit explizit E-Learning Veranstaltungen auszuwählen. Die Kennzeichnung einer Lehrveranstaltung signalisiert ebenfalls, dass der Dozent sich aktiv an der Umsetzung der Dual Mode Strategie beteiligt. Des Weiteren erhofft sich Sonnberger durch die öffentliche Kennzeichnung, dass sich auch Dozenten am E-Learning-Label beteiligen bzw. am Qualitätssicherungsprozess teilnehmen, die das bisher noch nicht in Erwägung gezogen haben.

4.5. Der Begriff „Qualität“ im E-Learning-Label

Das Ziel „Qualitätssicherung und –entwicklung“ durch das E-Learning Label zu fördern erklärt noch nicht was genau unter „Qualität“ zu verstehen ist.

Das Qualitätsziel benennt Sonnberger plakativ mit einer Überschrift „Das Qualitätsziel: Lernerorientierung“ (Sonnberger 2008, S. 81 ff.). Die Fokussierung auf Lernerorientierung wird anhand der Rolle und Aufgabe von universitären Bildungseinrichtungen hergeleitet, wobei Sonnberger sich unter anderem auf Dewey bezieht. Sie folgt im wesentlichen der Argumentation Deweys und führt aus, dass „Bildungs- und Erziehungsmaßnahmen der Hochschule mit dem Ideal ihrer Gesellschaft in Einklang stehen (Dewey 2000, S. 396 und S. 409), erfordert hochschuldidaktisches Handeln die Beachtung des Individuums, des individuellen Lerners“ (Sonnberger 2008, S. 82).

Eine exklusive Orientierung an einem bereits bestehenden methodischen oder didaktischen Modell wird jedoch negiert, da es noch kein „explizites didaktisches Modell der Lernerorientierung“ (Sonnberger 2008, S. 83) gibt, das dem Einsatz in der universitären Lehre genügt.

E-Learning wird dabei nicht als methodisches oder didaktisches Konzept per se verstanden, sondern es soll als Vehikel der Lernerorientierung dienen, da E-Learning eine Reihe an Potentialen bereitstellt, die Sonnberger folgend, in besonderem Maße förderlich für die Lernerorientierung, sprich Qualität, sind. Die vier Potentiale benennt Sonnberger wie folgt (vgl. Sonnberger 2008, S 82 ff):

- Individualisierung der Lehr- und Lernprozesse durch E-Learning:
- E-Learning fördert die örtliche und zeitliche Flexibilität bei dem Zugriff auf das Lernarrangement. Zudem können methodische und didaktische Variationen in Abhängigkeit der Lernziele bereitgestellt werden.
- Selbstgesteuertes Lernen durch E-Learning:
- Hierdurch soll insbesondere das eigenverantwortliche Selbststudium gefördert werden. Flexible Lehr- und Lernkonzepte können die Studierenden darin unterstützen.
- Multimedialität der Lehr- und Lernumgebung:
- Lerninhalte werden in verschiedenen Darstellungsformen (z.B. visuell, auditiv oder miteinander kombiniert) bereitgestellt, sodass die Sinneskanäle angesprochen werden können, die vom Lernenden bevorzugt werden.
- Vielfältige Kommunikations- und Kooperationsformen:
- Insbesondere durch die zeitliche und örtliche Flexibilität können Lernende untereinander oder mit dem Dozenten kommunizieren und entsprechende IuK-Techniken zur gemeinsamen Arbeit an Lerninhalten nutzen.

Anhand der genannten Potentiale und deren Auslegung lässt sich unschwer erkennen, dass E-Learning vor allem eine Funktion zugesprochen wird, die der Steigerung der Lernerorientierung.

4.6. Inhaltlicher Aufbau/ Konzeption

Wir gehen vom soeben beschriebenen Begriff der Qualität aus und betrachten das Evaluationsinstrument, das Sonnberger für die Sicherung und Entwicklung der Lehrqualität entwickelt hat. Dabei bezieht sie sich in der Konzeption des Evaluationsinstruments auf zwei Modelle die seit längerem in der Qualitätssicherung verwendet werden. Zum einen beruft sie sich auf die Qualitätsdimensionen nach Avedis Donebedian der Qualität nach Outputqualität, Throughputqualität und Inputqualität unterscheidet. Zum anderen bezieht sich Sonnberger auf das Evaluationsmodell von Robert E. Stake, der zwischen der Intention mit der eine Maßnahme durchgeführt wird und deren tatsächlicher Wirkung unterscheidet. Anhand dieser Unterscheidung wird durch Stakes Ansatz die Diskrepanz zwischen Intention und Wirkung ermittelt, sodass die Effizienz der Maßnahme bezüglich eines Zieles ermittelt werden kann.

4.6.1. Qualitätsmodell nach Donabedian

Das Modell Donabedians, das ursprünglich für die Qualitätssicherung des US amerikanischen Gesundheitswesens Mitte der 1960er Jahre entwickelt wurde, transferiert Sonnberger in den Bildungssektor. Donabedian differenziert in seinem Ansatz den Begriff Qualität und stellt dabei drei Ebenen heraus. Die

- Inputqualität,
- Throughputqualität- und
- Outputqualität.

Die Inputqualität umfasst alle Faktoren, die in das Bildungsangebot „hereingebracht“ werden. Dazu zählt die Ausstattung der Räumlichkeiten, Bibliotheken, PC-Ausstattung, Seminarliteratur. Auch die Veranstaltungskonzeption und Planung der Lehrveranstaltung ordnet Sonnberger (vgl. Sonnberger 2008, S27) dem Input zu.

Unter Throughputqualität (Prozessqualität) wird „die Beschaffenheit der Durchführung und Ausführung des Bildungsangebotes“ (Sonnberger 2008, S27) verstanden. Dies umfasst „Infrastruktur aber auch die Professionalität der Lehrenden“ (ebenda) sowie „die Entwicklung des Bildungsangebotes mit all den Wechselwirkungen zwischen Lernenden, Lehrenden und Bildungsangebot“ (ebenda). Des Weiteren ist das Engagement der Studierenden, die zur Verfügung stehende Zeit sowie die methodische und didaktische Umsetzung dem Throughput hinzuzurechnen.

Die Outputqualität (Produktqualität) umfasst die „Ergebnisse“ einer Lehrveranstaltung. Als Indikatoren für „gute Ergebnisse“ sind eine Reihe von Variablen möglich, z.B. Klausurergebnisse, Notenspiegel, qualitative Ausprägung von Seminararbeiten, Ergebnisse aus Kolloquien, subjektive Zufriedenheit der Studenten. Aufgrund der verschiedenen Veranstaltungsformate, und des heterogenen Outputs ist hier eine einheitliche Definition schwer möglich. Zudem ist z.B. die Ausprägung der Klausurergebnisse kein zuverlässiger Index für die Qualität einer Lehrveranstaltung. Ausgehend von der Problematik den Output nur schwerlich, falls überhaupt erfassen zu können und die starke Heterogenität nicht berücksichtigen zu können, hat sich Sonnberger entschieden die Outputqualität gar nicht erst zu ermitteln. Sie spart diese Qualitätsebene in ihrem Konzept zur Qualitätssicherung aus (Vgl. Sonnberger 2008, S. 157). Sonnberger verwendet daher nur eine eingeschränkte Variante des Modells von Donabedian.

Die Unterscheidung der drei qualitativen Ebenen ist wichtig um zielgerichtet „Schwerpunkt[e] im Qualitätssicherungsansatz“ (Sonnberger 2008, S. 28) zu legen und auf verschiedenen Ebenen eine Qualitätssteuerung vornehmen zu können. Dies bezieht sich insbesondere auf die „Prozessteuerung in einem rückkopplungsstarken Lernsystem“ (Hameyer 2004, S. 10 aus Sonnberger 2008, S. 28) um systemimmanente Bedingungen und deren Auswirkungen kontrollieren zu können.

4.6.2. Evaluationsmodell nach Robert E. Stake

Das zweite Modell, auf das sich Sonnberger bezieht ist das Qualitätskonzept von Robert E. Stake. Das Modell von Stake differenziert ebenfalls zwischen drei verschiedenen Prozessphasen:

- Vorfeld
- Aktionsfeld
- Feld der Wirkung.

Die Phasen Stakes Modell können den Prozessphasen Donabedians (Vorfeld à Inputqualität, Aktionsfeld à Throughputqualität, Feld der Wirkung à Outputqualität) zugeordnet werden.

Robert Stakes Modell zielt darauf ab, die Dichotomie zwischen den jeweiligen Phasen zu betrachten. Die Dichotomie der Prozessphasen besteht in der Differenz zwischen der Intention mit der eine Methode verwendet wird und der tatsächlichen Wirkung der angewendeten Methode. Eine Deckung zwischen Intention und Wirkung lässt auf eine hohe Effizienz und eine angemessene Effektivität der verwendeten Maßnahme schließen.

Um diese Dichotomie zu ermitteln werden zu mehreren (mindestens zwei) Zeitpunkten Evaluationen durchgeführt. Diese Evaluationen müssen jeweils die Selben Variablen umfassen sodass die Evaluationsergebnisse der unterschiedlichen Zeitpunkte untereinander in Relation gesetzt werden können. Die Variablen der Evaluationsbögen und die Zeitpunkte zu denen die Evaluationen vorgenommen werden sind den drei Prozessphasen jeweils zuzuordnen.

Die mehrfache Erhebung von Daten während des Lehrszenarios verhindert, das „eine wertfreie Datensammlung“ (Sonnberger 2008, S.40) generiert wird. Eine Evaluation zu nur einem Zeitpunkt die nur die intentionale oder tatsächliche Umsetzung berücksichtigt wäre in der Hinsicht wertfrei, dass sie nicht mit anderen Daten in Relation gesetzt werden können und daher keine Auskunft über die Diskrepanz der Prozessphasen getroffen werden könnte.

Der Mehrwert der größeren Anzahl an Datensätzen besteht darin, zwischen Intention und tatsächlicher Umsetzung eines Veranstaltungskonzeptes bzw. einer Lehrveranstaltung zu differenzieren. Die zu mehreren Zeitpunkten gesammelten Daten ermöglichen es, die Daten der Evaluationszeitpunkte untereinander in Relation zu setzen. Hierdurch werden Daten gewonnen, welche die Betrachtung zwischen intendiertem Ziel und umgesetztem Ziel ermöglichen sollen. Eine alleinige Betrachtung des intendierten oder des umgesetzten Ziels alleine lässt eine solche Relation nicht zu, da jeweils eine entsprechende Bezugsgröße fehlt. Eine dem Lehrszenario angemessene Wahl der Variablen lässt auf die Wirksamkeit der jeweiligen Variablen (bzw. Methoden, didaktische Konzepte, Ausstattung, investierte Zeit) schließen und entsprechend optimieren.

Der Grad der Deckung zwischen Intention und tatsächlicher Wirkung lässt Rückschlüsse darauf zu, zu welchem Anteil das ursprüngliche Lehrziel durch Dozenten und Studenten erreicht wurde.

4.6.3. Evaluationsintervall

Das E-Learning Label verfolgt eine modifizierte Variante des Pre-Post Test Modells. Bei dem Pre-Post Modell werden zwei Evaluationen durchgeführt. Die Wahl für diese Evaluationsmethodik geht auf die Verwendung des Stakeschen Evaluationsmodells zurück, dem die Absicht der Messung der „Kongruenz zwischen Intention und Beobachtung“ (Stake 1972, S. 104, aus Sonnberger 2008, S. 40) zugrunde liegt.

Bei Pre-Post Tests werden zwei Evaluationen durchgeführt. Der Pre-Test wird zu Beginn oder vor Beginn der Lehrveranstaltung durchgeführt. Dieser deckt nach Stakes Modell die intentionale Ebene des Dozenten ab. Unter Betrachtung des Modells von Donabedian ermittelt der Pre-Test die Inputqualität und die intendierte Throughputqualität.

Die zweite Evaluation, der Post-Test wird am Ende der Lehrveranstaltung durchgeführt und erfasst entsprechend dem Modell von Stake die „tatsächliche Umsetzung“ aus Sicht der Studierenden. Entsprechend Donabedians Modell werden durch die Post-Tests Variablen zur Throughputqualität ermittelt. Des Weiteren werden aber auch Aspekte der Inputqualität anhand der entsprechenden Variablen erhoben.

Der Pre-Post Test wirkt von der zeitlichen Abfolge der Evaluationen unterstützend auf die von Sonnberger gewählten Modelle von Stake und Donabedian. Dies heißt jedoch nicht, dass eine Evaluation sich an Stake, die zweite an Donabedian orientiert. Vielmehr sind die Evaluations-Fragebögen so konzipiert, das sie beide Evaluationskonzepte unterstützen.

Somit unterstützen die Pre-Post Tests die Begutachtung der für das E-Learning Label relevanten und verwendeten Prozessphasen, Input und Throughput. Der Output wird, wie bereits in den Erläuterungen des Qualitätsmodells von Donabedian erwähnt, in diesem Ansatz zur Qualitätssicherung nicht erfasst.

4.6.4. Evaluation durch Fragebögen

Wie es bereits im Abschnitt der Zielstellungen für das E-Learning-Label genannt wurde ist es ein Ziel dieses Qualitätssicherungskonzeptes Evaluation durchzuführen. Diese Evaluationen richten sich an Dozenten und Studenten gleichermaßen. Evaluationen erfüllen im Konzept E-Learning Label die Funktion bestimmte Parameter, auf die ich im Folgenden eingehen werde zu ermitteln. Anhand dieser Parameter kann überprüft werden in wiefern das Qualitätsziel umgesetzt wird. Des weiteren können veranstaltungsspezifische Eigenheiten erkannt werden die Spielraum für eine weitere Qualitätssteigerung bieten.

Die Qualitätssicherung wird in zwei Evaluationsphasen unterteilt, Dozierendenevaluation (intentionale Ebene) sowie der Studierendenevaluation (tatsächliche Umsetzung). Beide Evaluationen werden anhand von Fragebögen durchgeführt die entweder online oder in ausgedruckter Form zugänglich gemacht werden. Die Evaluationsbögen umfassen elf Kategorien die für die Vergabe des E-Learning Labels relevant sind. Diese Kategorien sollen ein breites Spektrum der Faktoren abbilden die dem verwendeten Qualitätsbegriff entsprechen oder dieses Qualitätsverständnis fördern. Die elf Kategorien in der Dozierenden- und Studierendenevaluation sind identisch um die Vergleichbarkeit der Evaluationsergebnisse gewährleisten zu können. Die Items (Fragen) der zugeordneten Kategorien sind ebenfalls identisch, allerdings werden diese einmal aus der Dozierendenperspektive und einmal aus Studierendenperspektive gestellt. Exemplarisch werden die für die Vergabe des E-Learning-Labels verwendeten Kategorien vorgestellt um den Eindruck bezüglich der Zielsetzung des Verfahrens zu erläutern.

Bei den Kategorien handelt es sich um

1. Benutzerfreundlichkeit
2. Aufnahme neuer Lehrinhalte
3. Neustrukturierung von Lerninhalten
4. Lernvoraussetzungen
5. Lehr- und Lernzielspezifikation
6. Lernweg
7. Mediale Darstellung der Lehrinhalte
8. Örtliche und zeitliche Zugänge
9. Interaktion und Kommunikation
10. Selbstorganisiertes Lernen
11. Lehr- und Lernevaluation

Jede Kategorie enthält eine Reihe von Kriterien, die auch als Qualitätskriterien oder Items bezeichnet werden. Jedes Kriterium beinhaltet mindestens einen Teilaspekt des Qualitätsbegriffs.

Dozierendenfragebogen

Die Dozierendenbefragung wird als Selbstevaluation durch den Verantwortlichen der Lehrveranstaltung durchgeführt. Es wird davon ausgegangen, dass der Dozent eine realistische und ehrliche Einschätzung seiner Intention bzgl. der Lehrveranstaltung vornimmt. Die Fragen sind als Ja/Nein Fragen konzipiert und bieten keinen Raum für weitere Kommentare, Anmerkungen oder Einschränkung bezüglich der Angaben. Die nachstehende Abbildung zeigt exemplarisch die Kategorie „Neustrukturierung von Lerninhalten“

Abbildung2: Dozierendenevaluation

Abbildung in dieser Leseprobe nicht enthalten

Eine Kategorie gilt als erfüllt wenn mindestens ein Kriterium durch den Dozenten mit „Ja“ angegeben wurde. Für eine erfolgreiche Beantragung des E-Learning Labels ist es notwendig, dass mindestens 6 von 11 Kategorien beantragt wurden. Um welche Kategorien es sich handelt ist nicht relevant. Alle Kategorien sind von der Gewichtung her gleich gestellt, obwohl die Kategorien eine unterschiedliche Anzahl an Kriterien aufweisen.

Ergänzend zu den Items aus den elf genannten Kategorien nimmt der Dozent Angaben zur Verwendung von Informations- und Kommunikationstechniken vor. Der „Zweck des Medieneinsatzes [soll] bewusst“ gewählt werden „um die Fragen in der Selbstevaluation beantworten zu können“ (Sonnberger 2008, S. 154). Die Anzahl und Art der IuK-Techniken werden jedoch nicht für die Vergabe des E-Learning Labels verwendet sondern haben vielmehr die Funktion von Metadaten. Diese Metadaten können helfen, bestimmte Probleme und Abläufe der Veranstaltung besser zu interpretieren. Diese Form der Selbstevaluierung erfüllt neben der Funktion der Qualitätssicherung auch die Funktion, den Dozenten in der Reflexion über seine Methoden und Techniken zu unterstützen.

Studierendenfragebogen

Anhand der Studierendenevaluation wird zum Ende des Semesters überprüft, ob die Intention des Dozierenden bzw. seines Veranstaltungskonzeptes der tatsächlichen Umsetzung entspricht. Bei der Studierendenevaluation handelt es sich der Evaluationsmethodik entsprechend um einen Post-Test, der in den letzten Wochen des Semesters durchgeführt wird.

[...]

Details

Seiten
128
Jahr
2010
ISBN (eBook)
9783668314894
ISBN (Buch)
9783668314900
Dateigröße
1.1 MB
Sprache
Deutsch
Katalognummer
v193753
Institution / Hochschule
Technische Universität Darmstadt – Pädagogik
Note
2
Schlagworte
E-Learning E-Learning-Label HILVEII Qualitätssicherung Hochschuldidaktik Evaluation Medienpädagogik

Autor

Teilen

Zurück

Titel: Nachhaltige Begutachtung von universitären E-Learning Veranstaltungen