Lade Inhalt...

Lehrevaluation im Fokus. Darstellung und Bewertung von drei Forschungsartikeln

Essay 2013 18 Seiten

Pädagogik - Hochschulwesen

Leseprobe

I. Einleitung

II. Artikel 1: Der Einfluss von Lernumgebungen auf die Lehrveranstaltungsevaluation
Darstellung der Argumentationslinie und Methodik
Zusammenfassende Bewertung des Artikels

III. Artikel 2: Der Einfluss des Examens auf die Lehrveranstaltungsevaluation
Darstellung der Argumentationslinie und Methodik
Zusammenfassende Bewertung des Artikels

IV. Artikel 3: Zur Vorhersage der studentischen Zufriedenheit durch die Lehrevaluation
Darstellung der Argumentationslinie und Methodik
Zusammenfassende Bewertung des Artikels

V. Gegenüberstellung und Fazit

VI. Literaturverzeichnis

I.Einleitung

Die Aussagekraft und Nützlichkeit von mittlerweile auch im deutschsprachigen Raum obligatorisch durchzuführenden studentischen Lehrevaluationen werden von Lehrenden an Hochschulen immer wieder in Frage gestellt. Spätestens bei Betrachtung der seit den 1960igern stark angewachsenen Publikationen in fachspezifischen Journalen der Pädagogik, Psychologie und Evaluationsforschung zeigt sich, dass dieses Thema relevante Fragestellungen bereithält.

Unter studentischer Lehrevaluation werden die spezifischen und systematischen Verfahren zur Rückmeldung des Lehrerfolgs verstanden, wobei die universitäre Lehrevaluation seit den 1930igern Jahren in den USA ein Forschungsgebiet ist. So wurde 1926 der erste standardisierte Evaluationsbogen „Purdue Rating Scale for Insstructors“ veröffentlicht. Im deutschsprachigen Raum ist seit den 1990igern die Lehrevaluation zu einem brisanten Thema geworden, wobei in Österreich die Evaluierung von Pflichtveranstaltungen an Universitäten und Fachhochschulen seit dem Universitätsgesetz 1993 verankert ist.

Ausgangslage dieser Darstellung sind meine eigenen Erfahrungen mit Lehrveranstaltungs-evaluationen. Als Lehrende pflege ich einen sehr pragmatischen Zugang zu dem Feedback von Studierenden, der darauf ausgerichtet, nützliche Informationen für die Verbesserungen meiner Lehrhandlungen zu erhalten, welche letztlich zu besseren Lernergebnissen bei den Studierenden führen sollen. Ich bin jedoch immer wieder überrascht über die Heterogenität des Feedbacks der TeilnehmerInnen innerhalb eines Kurses sowie bei Vergleich von unterschiedlichen Kursgruppen mit demselben Kursinhalt. Benutzt wird bei meinen Lehrveranstaltungen der an der Fachhochschule selbst entwickelte Evaluationsbogen am Ende einer Lehrveranstaltung, der eine Bewertung von kurs- und lehrbezogenen, geschlossenen Fragen auf einer 5-Punkt-Likertskala und eine offene Frage beinhaltet. Auch wenn die meisten führenden ForscherInnen und ExpertInnen übereinstimmen, dass studentische Lehrevaluationen valide sind oder sein können, beschäftigt auch mich die Frage, ob nicht andere als die Lehre betreffende Merkmale, die Bewertung meiner Lehre beeinflussen könnten. In der Literatur werden unterschiedliche Kurs-, Lehrenden- und Studierendenmerkmale als Ursache von Verzerrungen erwähnt (vgl. Rindermann 2003). Die Lehrevaluation durch Studierende ist in einigen Punkten nach wie vor umstritten, da die Ergebnisse selten zu einer Lehrverbesserung beitragen und auch die Urteilskompetenz der Studierenden immer wieder in Frage gestellt wird. Es wird in der Literatur darauf hingewiesen, dass eine umfassende Bewertung der Lehre, vor allem was inhaltliche Belange betrifft, neben studentischer Einschätzung auch Selbst-, Peer-, KollegInnen und ExpertenInnenbeurteilung in qualitativer Form benötigt. Rindermann (2003) bemerkt auch, dass Hochschulen als wissenschaftliche Institutionen gelten, jedoch die Evaluationsmaßnahmen von Lehrveranstaltungen nur beschränkt den Kriterien einer wissenschaftlichen Methodik und einer Praxisorientierung gerecht zu werden scheinen. Die studentische Lehrevaluation wird in Bildungsinstitutionen als leistungsorientierte Kennzahl neben Kennzahlen wie Studienerfolgsquoten, Abbruchsquoten, durchschnittliche Studiendauer u.a. herangezogen. Die verschiedenen Evaluationsmaßnahmen sollen Mindeststandards von Ausbildungen sichern und sind oft Teil des Akkreditierungsverfahren Es stellt somit das vorrangig eingesetzte Instrument zur Qualitätssicherung dar.

Der vorliegende Essay ist eine Annäherung an das Thema der Lehrveranstaltungsevaluation, mit der ich mich erstmals intensiver beschäftige. Einerseits soll die Annahme, dass es verzerrende Faktoren in der Bewertung durch die Studierenden geben kann, genauer untersucht werden. Andererseits soll durch die Auseinandersetzung die vorliegende Thematik in ihrer Breite zugänglich gemacht und praktische Implikationen daraus abgeleitet werden.

Es wurde in Open Access und lizenzierten Datenbanken im Bereich „Higher Education“, „Educational Research“, „Evaluation Research“ mittels spezifischer Schlüsselwörter (student evaluation of teaching, student ratings of instruction, self-serving bias) nach relevanten Artikeln gesucht und der jeweilige Journal Impact Factor überprüft. Die Suche wurde vorerst im Bereich der Ausbildungen zu Gesundheitsberufen (health professionals education, health sciences education, medical education) vorgenommen, da ich in diesem Bereich tätig bin. Es konnten jedoch keine relevanten Artikel mit quantitativen Forschungsmethoden eruiert werden. Es wurden 10 Studien aus unterschiedlichen Domänen identifiziert und drei Artikel als relevant gefunden. Im Folgenden werden drei Studien in ihrer Argumentationslinie, ihrer Methodik und Aussage dargestellt, analysiert und gegenüberstellend diskutiert.

II. Artikel 1: Der Einfluss von Lernumgebungen auf die Lehrveranstaltungsevaluation

Der im Jahr 2011 im Journal Internet and Higher Education (JIF 2011 1.015) publizierte Artikel “A course is a course is a course: Factor invariance in student evaluation of online, blended and face-to-face learning environments” von Charles Dziubian & Patsy Moskal geht der Fragestellung nach, ob das an einer amerikanischen Universität benutzte Evaluationsinstrument in unterschiedlichen Unterrichtsformen (face-to-face, blended oder online) die gleichen Lehr- und Lernkonstrukte misst? Die Forscherinnen stellen bisherige Forschungsergebnisse, die in der Bewertung von Lehrveranstaltungsevaluationen einen Unterschied zwischen online, blended und face-to-face Lernumgebungen darstellen, in Frage. Des Weiteren wird die Multidimensionalität, mit der Studierende die Lehre bewerten, angezweifelt.

Darstellung der Argumentationslinie und Methodik

Als Ausgangslage der Untersuchung stellen die AutorInnen die Veränderung von Kursmodalitäten und Lehrarragements durch den zunehmenden Einsatz von Informationstechnologien dar, welche auch für die Lehrevaluation zu veränderten Bedingungen und Möglichkeiten führt. Neben einer meist institutionsgebundenen, computerbasierten Evaluation am Ende einer Lehrveranstaltung kann heute eine Kurs- und Lehrendenevaluation durch Publikation der Bewertung von Kursen durch die Studierenden (wie soziale Netzwerke, Websites und Facebookeinträgen) einer breiten Öffentlichkeit zugänglich gemacht werden.

Die AutorInnen stellen bei ihrem Literaturüberblick das große Ausmaß an veröffentlichten Studien fest. Die früheren Evaluationsstudien werden eingeteilt in zwei sich gegenüberstehenden Gruppen. Die erste Gruppe sieht wenig bis keinen Nutzen in der studentischen Lehrveranstaltungsevaluation bzw. stellt diese als zu beschränkt für die Messung des Lehreffektes dar. Dem gegenüber wird eine Gruppe an ForscherInnen gestellt, die in der Lehrevaluation eine reliables und viables Instrument für die Messung der Lehrwirksamkeit sehen und die Studierenden für kompetent halten, die Bewertung vorzunehmen. Lehrevaluation wird als nützlich für die Verbesserung der Lehre angesehen und herrschende Mythen wie z.B., dass milde Benotungen zu höheren Ratings führen, Lehrevaluationen Beliebtheitsbewerben gleichkommen und Studierenden die Erfahrung und Weisheit für die Durchführung einer adäquaten Lehrevaluation fehle, abgelehnt.

Des Weiteren führen die AutorInnen auf die Frage der Ein- und Mehrdimensionalität der Lehrbewertung hin und verweisen auf faktoranalytische Studien, die latente, dahinterliegende Faktoren bei der Lehrevaluation identifizieren. Von anderen AutorInnen wird die Mehrdimensionalität abgelehnt und der einzig bestimmende Faktor im allgemeinen Eindruck der Lehrveranstaltung gesehen.

Adressiert werden im Speziellen auch die Besonderheiten von webbasierter Lernumgebungen, welche zunehmend Anlass zur Untersuchung geben. Diskutiert werden die Ergebnisse von einer vom U.S. Department für Education durchgeführten Metaanalyse im Jahr 2009, welche auf bessere Lernergebnisse in Online-Lernumgebungen als bei Präsenzveranstaltungen (face-to-face) hinweisen. Diese Resultate werden sehr kontrovers diskutiert, da verschiedene AutorInnen bemerken, dass bestimmte Studierendengruppen z.B. von niedriger sozialer Schichten oder mit minderer Vorbildung nicht berücksichtigt werden sowie Studien auf gegenteilige Ergebnisse hinweisen. Faktoranalytische Studien in Online-Lernumgebungen fokussieren die spezifischen Faktoren (wie technische Aspekte, Darstellung und Bedienung, Beziehungsgestaltung, Kooperation zwischen Lehrenden und Studierenden sowie der Studierenden untereinander, Inhaltsdarstellung u.a.) die mit diesen Lernumgebungen einhergehen.

Nach der literarischen Einführung leiten die AutorInnen auf ihre Fragen über, die sich für die Lehrveranstaltungsbewertung in neuen Lernumgebungen ergeben. Es soll erhoben werden, ob das an einer amerikanischen Universität benutzte Evaluationsinstrument in unterschiedlichen Unterrichtsformen (face-to-face, blended oder online) die gleichen Lehr- und Lernkonstrukte misst? Diese Fragestellung fußt auf einer Annahme in der psychometrischen Literatur, dass dieselben Frageitems in verschiedenen Kontexten unterschiedliche Konstrukte messen können. Es wurden die Faktorenmuster in den drei Kursmodalitäten verglichen, um zu erkennen, ob diese erstens ein- oder mehrdimensional in jeder Modalität sind und zweitens gleich oder unterschiedlich sind.

Um diese Frage zu beantworten wurde eine Stichprobe von 1.124.929 Lehrveranstaltungsevaluationen aus online (n=80316), blended (n=48327) und face-to-face (n=996426) Kursen an einer Universität in Florida gesammelt. Benutzt wurde das bereits viele Jahre verwendete „Student Evaluation of Instruction Rating Scale Instrument“, welches dem Artikel angehängt wurde. Dieser Fragebogen wurde für alle Kursmodalitäten online ausgefüllt. Die Datenanalyse erfolgte mittels einer Faktoranalyse, wobei für den Vergleich der Dimensionalität der drei Kursmodi eine Image-Analyse nach Guttmann durchgeführt wurde.

Die Eigenwerte zeigen, dass die 16 Items des Instruments eine gute Stichprobe für jede Modalität darstellen und eine einzelne Komponente für ungefähr 70% der Gesamtvarianz in blended, online und face-to-face Kursen angezeigt wird. Es wurde mittels Berechnung der Korrelationsmatrix und den Korrelationskoeffizienten dargestellt, dass eine Eindimensionalität vorliegt.

Die Ergebnisse zeigen laut der AutorInnen ein kontroverses Ergebnis gegenüber vielen bisherigen Studien auf, die einerseits besagen, dass online und gemischte Lernumgebungen andere Lernergebnisse und Bewertungen produzieren als Präsenzveranstaltungen. Andererseits wird die Eindimensionalität der studentischen Lehrveranstaltungsevaluation untermauert. Sie argumentieren, dass Studierende mehr Aufmerksamkeit der allgemeinen Lehr- und Lernerfahrung beimessen und weniger den einzelnen zu beantwortenden Merkmalen eines Kurses. Als Erklärung wird auf zwei Aspekte verwiesen: Einerseits werden Studierende bei Bewertung der einzelnen Items in einem Kurs, dies nicht im Vergleich zu einem Präsenzkurs durchführen. Andererseits bilden Studierende möglicherweise in einer technologieunterstützten Lernumgebung ihre eigene persönliche Lernumgebung. Es hat somit wenig mit der Struktur des Kurses zu tun, wie Studierende ihre Lernerfahrung bewerten. Die eindimensionale Struktur bedeutet jedoch nicht unbedingt, dass die Zufriedenheit in allen Kursmodi gleich ist, sondern lediglich, dass Studierende das gleiche allgemeine Kriterium in jeden Kursmodus anwenden. Es wird gezeigt, dass der Kursmodus kein wirksamer Prädiktor für Erfolg oder Kursabbruch ist. Der beste Prädiktor für Erfolg wird von Dziuban (2011)[1] in vorherigen akademischen Leistungen gesehen. Die Aussage „a course is a course“ bezieht sich daher darauf, wenn Studierende in vielen Kurs erfolgreich sind, dann werden sie das in jeden Modus.

Die AutorInnen sehen die Lehrevaluation am Ende des Kurses in den neuen Lernkontexten als beschränkend, da in diesen die Grenzen einer „Klasse“ verschwimmen, es ein komplexes Netzwerk an Interaktionsmöglichkeiten gibt und somit die Evaluation als summatives Instrument durch reflexive, interaktive Bewertung ersetzt werden könnte. Dies würde zwar eine größere Zeit- und Ressourceninvestition benötigen, aber die Studierenden hätten mehr Mitsprache in ihrem Lernprozess.

[...]


[1] Dziuban, C., Moskal, P. 2011, S. 240

Details

Seiten
18
Jahr
2013
ISBN (eBook)
9783668061385
ISBN (Buch)
9783668061392
Dateigröße
608 KB
Sprache
Deutsch
Katalognummer
v307898
Institution / Hochschule
Johannes Kepler Universität Linz
Note
1
Schlagworte
lehrevaluation fokus darstellung forschungsartikeln

Autor

Teilen

Zurück

Titel: Lehrevaluation im Fokus. Darstellung und Bewertung von drei Forschungsartikeln