Ist der Web Usability Index ein brauchbares Instrument zur Evaluation von Webangeboten?

Inhaltsverzeichnis

1. Einleitung
1.1 Anlass der Arbeit
1.2 Ziel und Vorgehensweise

2. Theoretische Grundlagen
2.1 Software-Ergonomie
2.1.1 Begriffsklärungen
2.1.2 Software-ergonomische Normen nach DIN EN ISO
2.1.3 Definition von Usability
2.1.4 Grundsätze der Dialoggestaltung
2.2 Methoden zur Messung von Usability
2.2.1 Klassifikation der Evaluationsmethoden
2.2.2 Web Usability Index (WUI)
2.2.3 Usability-Test
2.3 Erläuterungen zu der untersuchten Software
2.3.1 Auswahlverfahren
2.3.2 Startseiten der untersuchten Webangebote

3. Eigene Fragestellung

4. Methodisches Vorgehen
4.1 Evaluation mit dem WUI
4.1.1 Gutachter
4.1.2. Durchführung
4.1.3 Geräte
4.2 Usability-Test
4.2.1 Versuchspersonen
4.2.2 Versuchsdurchführung
4.2.3 Versuchsmaterialien
4.2.4 Versuchsgeräte
4.3 Versuchsdesign

5. Verwendete Verfahren der Datenanalyse
5.1 Verfahren zur Bestimmung der Interraterreliabilität des WUI
5.1.1 Wilcoxon-Test
5.1.2 Rangkorrelation nach Spearman (Spearmans rho, rs)
5.2 Testverfahren für den Usability-Test
5.2.1 Einfaktorielle Varianzanalyse mit Messwiederholungen
5.2.2 Friedman-Test
5.3 Verfahren zur Berechnung der Zusammenhänge zwischen WUI und Usability-Test
5.3.1 Rangkorrelation nach Spearman (Spearmans rho, rs)
5.3.2 Produkt-Moment-Korrelation nach Pearson (r)

6. Ergebnisse
6.1 Web Usability Index
6.1.1 Übereinstimmung der beiden Gutachter (Interraterreliabilität)
6.1.2. Auswertung der Evaluation
6.2 Usability-Test
6.2.1 Auswertung der Leistungsmaße
6.2.2 Auswertung der Zufriedenheitsmaße
6.2.3 Auswertung der Ranglisten der Webangebote
6.2.4 Zusammenfassung der Ergebnisse
6.3 Zusammenhänge zwischen WUI und Usability-Test

7. Diskussion
7.1 Kritische Reflexion des Untersuchungsansatzes
7.1.1 Mögliche Einflussfaktoren auf die Ergebnisse des Usability-Tests
7.1.2 Expertenorientierte versus nutzerorientierte Methode
7.2. Interpretation der Ergebnisse
7.2.1 Reliabilität des Web Usability Index
7.2.2 Validität des Web Usability Index
7.2.3 Erklärungen für die ermittelten Zusammenhänge
7.3 Folgerungen aus den Ergebnissen für den WUI

8. Zusammenfassung

9. Literaturverzeichnis

10. Anhänge
Anhang A: Versuchsmaterialien
Anhang B: Versuchsergebnisse

Tabellenverzeichnis

1: Versuchsdesign der vorliegenden Untersuchung

2: Prüfung der Homogenität der Randverteilungen der Gutacher-Urteile mit dem Wilcoxon-Test. Es werden die Rangvergleiche zwischen den Gutachtern und die jeweiligen Rangsummen und mittleren Ränge auf-geführt. Im unteren Tabellenteil sind die Ergebnisse der Signifi-kanzprüfung zu sehen

3: Übereinstimmung zwischen den beiden Gutachtern (Interraterreliabi-lität) bei der Beurteilung von drei Webangeboten mit drei Kategorien des WUI

4: WUI: Usability-Mängel sowie NZ-Koeffizient (in Klammern) in % be-zogen auf die einzelnen Kategorien und auf die Gesamt-Usability der Website

5: WUI: Gegenüberstellung der Webangebote mit den wenigsten und den häufigsten Usability-Mängeln in der Kategorie NO

6: WUI: Gegenüberstellung der Webangebote mit den wenigsten und den häufigsten Usability-Mängeln in der Kategorie II

7: WUI: Gegenüberstellung der Webangebote mit den wenigsten und den häufigsten Usability-Mängeln in der Kategorie AQ

8: WUI: Gegenüberstellung der Webangebote mit den wenigsten und den häufigsten Usability-Mängeln in der Kategorie IT

9: WUI: Gegenüberstellung der Webangebote mit den wenigsten und den häufigsten Usability-Mängeln in der Kategorie AZ

10: Prozentsatz der gelösten Aufgaben für jede Aufgabe und über alle Auf-gaben bei den Instituts-Websites im Usability-Test

11: Deskriptive Daten zur Variable Effektivität

12: Ergebnis der ANOVA für abhängige Stichproben (Effektivität).

13: Deskriptive Daten zur Variable Zeitbedarf

14: Deskriptive Daten zur Variable Klickhäufigkeit

15: Deskriptive Daten zur Variable Effizienzzeit

16: Deskriptive Daten zur Variable Effizienzklick

17: Ergebnis der ANOVA für abhängige Stichproben (Effizienzzeit)

18: Ergebnis der ANOVA für abhängige Stichproben (Effizienzklick)

19: Paarweise Vergleiche der Webangebote mit signifikanten Unterschie-den durch den Bonferroni-Test (Effizienzklick)

20: Deskriptive Daten zur Variable Aufgabenzufriedenheit

21: Ergebnis der ANOVA für abhängige Stichproben (Aufgabenzufrieden-heit).

Tabelle Seite

22: Mittelwerte der fünf Webangebote bei den Skalen des ISONORM 9241/10

23: Deskriptive Daten zur Variable Gesamtwert des ISONORM 9241/10

24: Ergebnis der ANOVA für abhängige Stichproben (ISONORM 9241/10)

25: Paarweise Vergleiche der Webangebote mit signifikanten Unterschie-den durch den Bonferroni-Test (ISONORM 9241/10)

26: Deskriptive Daten zur Variable Ranglisten der Webangebote

27: Ergebnis des Friedman-Tests (Rangliste der Webangebote)

28: Paarweise Vergleiche der Webangebote mit signifikanten Unterschie-den durch den Vorzeichenrang-Tests (Rangliste der Webangebote).

29: Mittelwerte und Ränge der Variablen des Usability-Test

30: Rangkorrelation nach Spearman zwischen den Ranglisten der Weban-gebote des WUI und des Usability-Test

31: Produkt-Moment Korrelation zwischen den Gesamtwerten des ISO-NORM 9241/10 aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI

32: Produkt-Moment Korrelation zwischen der Skala Selbstbeschreibungs-fähigkeit des ISONORM 9421/10 aus dem Usability-Test und den Pro-zentwerten der Usability-Mängel der Kategorie II aus dem WUI

33: Produkt-Moment Korrelation zwischen der Aufgabenzufriedenheit aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI

34: Produkt-Moment Korrelationen zwischen der Effizienz in Bezug auf den Zeitbedarf sowie der Effizienz in Bezug auf die Klickhäufigkeit aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI

35: Produkt-Moment Korrelation zwischen der Effektivität aus dem Usabi-lity-Test und den Prozentwerten der Usability-Mängel aus dem WUI

36: Mittelwerte der Variable Effektivität bei den Gruppen „Psychologie-Studenten“, „Studenten aus anderen Studiengängen“ und „berufstätige Personen“ sowie über alle drei Gruppen (in Klammern SD).

37 Paarweise Vergleiche der Gruppen mit signifikanten Unterschieden durch den Bonferroni-Test (Effektivität).

38 Rangmittelwerte der Variable Rangliste der Webangebote bei den Gruppen „Psychologie-Studenten“, „Studenten aus anderen Studien-gängen“ und „berufstätige Personen“ sowie über alle drei Gruppen

39 Produkt-Moment Korrelationen zwischen den Kategorien des WUI und den Skalen des ISONORM 9241/10, N = 5

40 Produkt-Moment Korrelationen zwischen den Kategorien des WUI und dem Gesamtwert des ISONORM 9241/10, N = 5

41 Rangmittelwerte der Variable Rangliste der Webangebote bei den stu-dentischen Versuchspersonen

Tabelle Seite

B-2-1 Effizienzklick: Paarweise Vergleiche der Webangebote durch den Bonferroni-Test

B-2-2 ISONORM 9241/10, Skala Aufgabenangemessenheit (AA): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test

B-2-3 ISONORM 9241/10, Skala Selbstbeschreibungsfähigkeit (SB): Paar-weise Vergleiche der Webangebote durch den Bonferroni-Test

B-2-4 ISONORM 9241/10, Skala Steuerbarkeit (ST): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test

B-2-5 ISONORM 9241/10, Skala Erwartungskonformität (EK): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test

B-2-6 ISONORM 9241/10, Skala Fehlertoleranz (FT): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test

B-2-7 ISONORM 9241/10, Skala Lernförderlichkeit (LF): Paarweise Ver-gleiche der Webangebote durch den Bonferroni-Test

B-2-8 Gesamtwert des ISONORM 9241/10: Paarweise Vergleiche der Web-angebote durch den Bonferroni-Test

B-2-9 Paarweise Vergleiche der Webangebote durch den Vorzeichenrang-Test (Rangliste der Webangebote).

B-2-10 Paarweise Vergleiche der Gruppen "Psychologie-Studenten", "Studen-ten aus anderen Studiengängen" und "berufstätige Personen" durch den Bonferroni-Test (Effektivität)

B-2-11 Paarweise Vergleiche der Gruppen "Psychologie-Studenten", "Studen-ten aus anderen Studiengängen" und "berufstätige Personen" durch den Mann-Whitney U-Test (Rangliste der Webangebote).

B-2-12 ISONORM 9241/10: Mittelwerte der Items bei den fünf Webangebo-ten

B-2-13 Korrelationen zwischen Effektivität und Gesamtwert des ISONORM 9241/10

B-2-14 Korrelationen zwischen Aufgabenzufriedenheit und Effektivität

B-2-15 Korrelationen zwischen Aufgabenzufriedenheit und Effizienzklick

B-2-16 Korrelationen zwischen Aufgabenzufriedenheit und Effizienzzeit

B-2-17 Usability-Test: Daten zu den Versuchspersonen

Abbildungsverzeichnis

1: Struktur der software-ergonomischen Normen DIN EN ISO 9241 Teil 2 und Teile 10 bis 17 (aus Dzida et al., 2001, S. 34).

2: Komponenten der Usability (aus DIN, 2004, S. 98)

3: Ausschnitt aus dem Tabellenblatt „Evaluation“ des WUI

4: Ausschnitt aus dem Tabellenblatt „Auswertung-numerisch“ des WUI

5: Häufigkeitsverteilung der Professuren an psychologischen Instituten an deutschen Universitäten

6: Startseite der Website des Instituts der Psychologie der Technischen Universität Braunschweig

7: Startseite der Website des Instituts für experimentelle Psychologie der Universität Düsseldorf

8: Startseite der Website des Fachbereichs Psychologie der Universität Koblenz-Landau

9: Startseite der Website des Instituts für Psychologie der Universität Magdeburg

10: Startseite der Website des psychologische Instituts der Universität Tübingen

11: Skala zur Angabe der Zufriedenheit mit der Website

12: Beispielitem des Fragebogens ISONORM 9421/10

13: WUI: Häufigkeitsverteilung der Noten durch die beiden Gutachter. Grauer Balken: Gutachter 1, Weißer Balken: Gutachter 2

14: WUI: Grafische Übersicht über die Usability-Mängel der evaluier-ten Websites bei den fünf Kategorien und bei der Gesamt-Usability (GU)

15: WUI: Usability-Mängel der Webangebote in der Kategorie NO

16: WUI: Usability-Mängel der Webangebote in der Kategorie II

17: WUI: Usability-Mängel der Webangebote in der Kategorie AQ

18: WUI: Usability-Mängel der Webangebote in der Kategorie IT

19: WUI: Usability-Mängel der Webangebote in der Kategorie AZ

20: Grafische Übersicht über die Skalenmittelwerte des ISONORM 9241/10 bei den Webangeboten der fünf psychologischen Institute

21: Box-Plots der Webangebote (Rangliste der Webangebote).

22: Streudiagramm zur Korrelation der Webangebote zwischen den Ranglisten des Usability-Test und des WUI mit Regressionsgerade

23: Streudiagramm zur Korrelation der Webangebote zwischen den Mit-telwerten der Variable Rangliste der Webangebote des Usability-Tests und den Gesamtkennwerten des WUI mit Regressionsgerade

1. Einleitung

1.1 Anlass der Arbeit

Im World Wide Web des Internets bietet eine nahezu unüberschaubare Menge von Dienstleistern den Betreibern von Webangeboten eine Überprüfung ihrer Webpräsenz^[1] auf Gebrauchstauglichkeit bzw. Usability an. Eine Abfrage unter dem Stichwort „Web Usability Test“ in der Suchmaschine „Google“ im April 2006 ergab eine Anzahl von 236 Einträgen mit Links zu Unternehmen, die unter Anwendung unterschiedlicher Methoden versprachen, Websites auf Usability-Mängel zu testen und Vorschläge für eine benutzerfreundlichere Gestaltung von Websites zu unterbreiten. Dieser große Markt im deutschsprachigen Raum lässt darauf schließen, dass es einen ebenso großen Bedarf an Kunden gibt, die ein Interesse an der Verbesserung ihrer Webpräsenz zeigen. Tatsächlich ist in den letzten Jahren die Einsicht von Firmen in die Notwendigkeit einer gebrauchstauglichen Aufmachung ihres Webangebots gestiegen. Die zunehmende Konkurrenz auf Grund des exponentiellen Wachstums des Internets eröffnet den Nutzern des Internets mehr Auswahlmöglichkeiten in allen Bereichen^[2]. Die Konsequenz ist, dass es den Benutzern von Webangeboten zunehmend leichter fällt, von einer für sie unbefriedigenden Website zu einer anderen Website mit einer ähnlichen Angebotspalette zu wechseln. Damit nimmt gleichzeitig die Bedeutung der benutzerfreundlichen Gestaltung von Webangeboten zu, sodass die Betreiber von Webpräsenzen gezwungen sind, ihre Webseiten an die Bedürfnisse der Nutzer anzupassen.

Eine detailliertere Betrachtung der von diesen Internet-Dienstleistern angewandten Methoden zur Prüfung der Usability zeigt, dass hauptsächlich Checklisten bzw. Kriterienkataloge verwendet werden. Dabei orientieren sich so genannte Experten bei der Usability-Inspektion an Standards oder Richtlinien, die in Checklisten zum Abhaken zusammengefasst werden. Diese auf Grund ihrer schnellen und damit kostengünstigen Anwendbarkeit populärste Form der Evaluation bezieht sich allerdings auf Kriterien, deren Gültigkeit und Zuverlässigkeit nicht hinreichend überprüft worden sind. So setzen beispielsweise einige Dienstleister den Kriterienkatalog Web Usability Index ein, ohne zu wissen, ob dieses Instrument tatsächlich die Usability-Mängel erfasst, die es zu erfassen vorgibt.

Der Web Usability Index (WUI) stammt aus dem Jahr 2002 und ist von deutschen Informationswissenschaftlern basierend auf einem bereits vorhandenen Kriterienkatalog, dem Keevil Usability Index (KUI), entwickelt worden. Es handelt sich um einen der ersten Versuche, die in wissenschaftlichen Untersuchungen gewonnenen Erkenntnisse zu Merkmalen der Usability in einen deutschsprachigen Kriterienkatalog zu integrieren. Wegen seiner einfachen Bedienbarkeit und der automatischen Auswertung der Evaluationsergebnisse erfreut er sich einer steigenden Attraktivität bei Anbietern von Usability-Tests, die zudem den wissenschaftlichen Hintergrund dieses Instruments bei der Anwerbung ihrer Kunden hervorheben. Aber auch Forschende im Bereich der Software-Evaluation sind an einem Verfahren interessiert, mit dem sie unter geringem Aufwand die Usability von Software-Produkten erheben und gegebenenfalls mit den Ergebnissen anderer Testverfahren vergleichen können. Aus dem vorhandenen Bedarf nach einer seriösen, effizienten Methode zur Bestimmung der Usability von Webangeboten ergibt sich der Anlass für diese Arbeit, die Aussagekraft des Web Usability Index einer genaueren Überprüfung zu unterziehen.

1.2 Ziel und Vorgehensweise

Das Ziel der vorliegenden Arbeit besteht darin, den Kriterienkatalog Web Usability Index auf seine Validität bzw. Gültigkeit zu überprüfen. Neben der Objektivität und Reliabilität ist die Validität ein Hauptgütekriterium in Bezug auf die Beurteilung, ob eine Methode brauchbare und verlässliche Aussagen liefert (Lienert und Raatz, 1994). Im Falle des WUI gibt die Validität den Grad der Genauigkeit an, mit dem dieses Instrument tatsächlich diejenigen Usability-Mängel erfasst, die es erfassen soll. Der WUI wäre vollkommen valide, wenn die Ergebnisse einen unmittelbaren und fehlerfreien Rückschluss auf den Ausprägungsgrad der Usability-Mängel zuließen.

Um die Validität des WUI bestimmen zu können, ist es erforderlich, die Evaluationsergebnisse mit diesem Instrument mit den Ergebnissen eines Außenkriteriums, d. h. eines anderen Verfahrens zur Erfassung der Usability, zu vergleichen. Bei der Bestimmung dieser so genannten kriterienbezogenen Validität wird die Übereinstimmung bzw. der Zusammenhang zwischen den Ergebnissen dieser beiden Verfahren erhoben. Der berechnete Validitätskoeffizient gibt als Maßzahl für den Grad der Validität an, wie genau der WUI die in einem Webangebot vorhandenen Usability-Mängel bestimmen kann.

Die vorliegende Untersuchung gliederte sich in zwei Abschnitte. Zunächst untersuchte der Verfasser dieser Arbeit mit Hilfe des WUI die Websites von fünf an deutsche Universitäten angeschlossenen psychologischen Instituten auf ihre Usability. Danach führte er mit einer Anzahl von 30 Versuchspersonen einen so genannten Usability-Test durch. Bei diesem auch unter dem Begriff Nutzertest bekannten Verfahren erprobten Versuchspersonen unter kontrollierten Laborbedingungen und vorgegebenen, vergleichbaren Aufgabenstellungen die Usability von denjenigen Webangeboten, die bereits zuvor mit dem WUI evaluiert worden waren. Nachdem die Versuchsteilnehmer die Webangebote sowohl unter Leistungs- als auch unter Akzeptanzbedingungen getestet hatten, erstellten sie eine persönliche Rangliste der Webangebote. Die Rangmittelwerte aller Versuchspersonen fungierten als Außenkriterium für die Bestimmung der Validität des WUI. Daneben wurden bei der Durchführung der Usability-Tests verschiedene objektive und subjektive Variablen erhoben, die als weitere Kriteriumswerte mit den Werten des WUI korreliert wurden.

Im Folgenden werden zunächst die theoretischen Hintergründe der vorliegenden Arbeit dargestellt (Abschnitt 2). Dem schließt sich eine Herleitung der empirischen Fragestellung an (Abschnitt 3). Abschnitt 4 informiert über das methodische Vorgehen bei der Evaluation mit dem WUI und dem Usability-Test. Nach einer Darstellung der statistischen Verfahren (Abschnitt 5) werden die Ergebnisse der Datenerhebungen vorgestellt (Abschnitt 6). In der abschließenden Diskussion erfolgt neben einer kritischen Reflexion des Untersuchungsansatzes die Interpretation der Ergebnisse, woraus wiederum Folgerungen für den WUI abgeleitet werden (Abschnitt 7).

2. Theoretische Grundlagen

Eine Evaluation der Usability von Webangeboten setzt voraus, dass die theoretischen Hintergründe von Usability bekannt sind. Aus diesem Grund erfolgt in Abschnitt 2.1 zunächst eine Einordnung dieser Thematik in den wissenschaftlichen Kontext. Die Usability von Webseiten fällt in den Bereich der Software-Ergonomie, die als Teilgebiet der Ergonomie Gegenstand arbeitspsychologischer Forschung ist (2.1.1). Erkenntnisse der Ergonomie finden sich in der Definition von Normen wieder, weshalb die für die Softwaregestaltung relevante Norm DIN EN ISO 9241 vorgestellt wird (2.1.2). In dieser Norm wird definiert, was unter Usability zu verstehen ist (2.1.3) und es werden konkrete Empfehlungen aus dieser Definition abgeleitet, die in Form von Grundsätzen der Dialoggestaltung eine angemessene Software-Ergonomie gewährleisten sollen (2.1.4). Gegenstand von Abschnitt 2.2 sind die in der vorliegenden Arbeit verwendeten Methoden zur Evaluation der Webangebote. Nach einer Zuordnung der Methoden in eine Klassifikation von Evaluationsmethoden (2.2.1) werden die in der vorliegenden Arbeit eingesetzten Verfahren, der Web Usability Index (2.2.2) und der Usability-Test (2.2.3), beschrieben. Die untersuchten Webangebote werden abschließend in Abschnitt 2.3 vorgestellt.

2.1 Software-Ergonomie

2.1.1 Begriffsklärungen

Als eine Teildisziplin der Arbeitswissenschaft beschäftigt sich die Ergonomie mit der menschlichen Arbeit im Hinblick auf den individuellen Gesundheitsschutz. Ihr Ziel ist, dass die Arbeitenden schädigungslose, ausführbare, erträgliche und beeinträchtigungsfreie Arbeitsbedingungen vorfinden (Riechenhagen, Prümper und Wagner, 1997, S. 1). Es geht demnach bei ergonomischen Fragestellungen darum, die Arbeitsbedingungen und -werkzeuge an die Merkmale des Menschen anzupassen. Aus dieser Zielstellung leitet sich das Aufgabenfeld der Ergonomie, die Analyse und Optimierung menschlicher Arbeitsmittel und Arbeitsbedingungen, ab (Wandmacher, 1993, S. 1, Heinecke, 2004, S. 34). Da der Mensch im Mittelpunkt steht, ist die Ergonomie ein originäres Themenfeld der Psychologie, wobei je nach Bereich und Fragestellung andere wissenschaftliche Disziplinen im Vordergrund stehen können.

In einer Teildisziplin der Ergonomie, der Software-Ergonomie, verbinden sich die Informatik, die Psychologie, das Ingenieurwesen und die Arbeitswissenschaften (Heinecke, 2004, S. 43f). Unter Software versteht man Computerprogramme, welche die Hardware eines Computers zur Ausführung von Aktionen veranlassen (Microsoft Computer Lexikon, 2005, S. 629). Betriebssysteme wie Windows und Anwenderprogramme wie das Office-Paket oder Webseiten fallen unter den Begriff der Software.

Aufgabe der Software-Ergonomie ist die Gestaltung der Mensch-Maschine-Kommunikation bzw. der Mensch-Maschine-Schnittstelle. Der zentrale Aspekt der Software-Ergonomie besteht in der Untersuchung der Benutzbarkeit von Software. Sie befasst sich vorrangig mit der Frage, wie der Dialog des Nutzers mit dem Computer benutzungsfreundlich gestaltet werden kann. Bei der Gestaltung von benutzerfreundlicher Software ist es demnach erforderlich, das Dialogsystem an die physischen und psychischen Eigenschaften des Menschen anzupassen (Frieling und Sonntag, 1999, S. 332; Wandmacher, 1993, S. 1; Riechenhagen et al., 1997, S. 68). Es müssen die kognitiven, mentalen, psychischen und physiologischen Grundlagen und Grenzen der Benutzer berücksichtigt werden. So spielen beispielsweise Benutzermerkmale wie Lerngewohnheiten, der Grad an Erfahrung, die Aufmerksamkeitsspanne, die Grenzen des Kurzzeitgedächtnisses, das mentale Modell des Benutzers sowie die Häufigkeit der Benutzung der Software eine entscheidende Rolle bei der Anwendung von Computerprogrammen (Deutsches Institut für Normung [DIN], 2004, S. 84).

In national und international festgelegten Normen und Richtlinien wird die menschengerechte Gestaltung von Software explizit konkretisiert. In Deutschland regelt die Verordnung über Sicherheit und Gesundheitsschutz bei der Arbeit an Bildschirmgeräten (Bildschirmarbeitsverordnung) den gesetzlichen Arbeitsschutz zur Bildschirmarbeit. Die auf internationaler Ebene von der Internationalen Organisation für Normung (ISO) festgelegten Normen für Dialogsysteme sind als Auslegungshilfe zur Bildschirmarbeitsverordnung heranzuziehen (Riechenhagen et al., 1997, S. 17; Schneider, 1998, S. X). Diese so genannten DIN EN ISO-Normen^[3] dienen der Konkretisierung von Anforderungen der Ergonomie und beinhalten somit auch Anforderungen an Software. Sie werden im nächsten Abschnitt erläutert.

2.1.2 Software-ergonomische Normen nach DIN EN ISO

Die Internationale Organisation für Normung bezieht sich in der seit 1996 geltenden Normenreihe ISO 9241 Part 10 bis 17 auf software-ergonomische Anforderungen. Diese Normen sind auf europäischer Ebene übernommen worden und entsprechen in der deutschen Übersetzung den Normen DIN EN ISO 9241 Teil 10 bis 17. Grundlage für die ergonomische Gestaltung von Bildschirmarbeit ist Teil 2, in dem Anforderungen an die Qualität von Arbeitaufgaben definiert werden. Die Erfüllung dieser Anforderungen ist Voraussetzung für eine zufriedenstellende Arbeitssituation und beeinflusst somit auch die Mensch-Computer-Interaktion über das Medium Software. Beispielsweise kann die beste Software bei monotonen, überdauernden Eingabetätigkeiten keine zufriedenstellende Arbeitssituation herbeiführen (Dzida et al, 2001, S. 34). Abbildung 1 verdeutlicht die Struktur der software-ergonomischen Normen:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Struktur der software-ergonomischen Normen DIN EN ISO 9241 Teil 2 und Teile 10 bis 17 (aus Dzida et al, 2001, S. 34)

Teil 11 bildet den software-ergonomischen Rahmen, in dem definiert wird, was Gebrauchstauglichkeit bzw. Usability^[4] von Softwareprodukten ist. Die Teile 10 und 12 enthalten Designgrundsätze und bilden somit den Überbau für die Benutzerführung (Teil 13) und für die Gestaltungsmerkmale spezieller Dialogtechniken, die in den Teilen 14 bis 17 (Menü-Dialoge, Kommando-Dialoge, direkte Manipulationen, Bildschirmformulare) beschrieben werden.

Im Rahmen der vorliegenden Arbeit stehen die Teile 10 und 11 der ISO 9241 im Vordergrund. Die Dialoggrundsätze aus Teil 10 sind in dem Benutzerfragebogen ISONORM 9421/10 von Prümper und Anft (1993) in Form von 35 Items operationalisiert worden. Dieser Fragebogen ist im Rahmen der Datenerhebung der vorliegenden Arbeit eingesetzt worden und wird in Abschnitt 4.2.3 näher erläutert. Aus den Leitsätzen der Usability von Softwareprodukten aus Teil 11 leiten sich alle weiteren software-ergono-mischen Normen ab. Sie bilden demnach auch die Grundlage für die Untersuchungen in der vorliegenden Arbeit. Im Folgenden wird zunächst der Begriff der Usability näher erläutert. Danach werden die im Teil 10 wiedergegebenen Grundsätze der Dialoggestaltung dargestellt.

2.1.3 Definition von Usability

Usability ist „das Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen“ (DIN, 2004, S. 96). Diese allgemeine Begriffsbestimmung von Usability nach der Internationalen Organisation für Normung beinhaltet mehrere Komponenten, die in der ISO 9241-11 spezifiziert (DIN, 2004, S. 97ff) und auf die Untersuchungen in der vorliegenden Arbeit angewandt werden können:

- Das Produkt ist die Software, die evaluiert werden soll. In der vorliegenden Arbeit waren das die Websites von sechs universitären Psychologie-Institute.
- Der Nutzungskontext umfasst die Benutzer, die Arbeitsaufgabe, die Arbeitsmittel und die Umgebung, in der das Produkt genutzt wird. Diese Aspekte werden in Abschnitt 4 ausführlich erläutert.
- Das Ziel ist das angestrebte Arbeitsergebnis. In der vorliegenden Arbeit bestand das Ziel zum einen in der Erfassung von Usability-Mängeln bei der Evaluation mit dem Web Usability Index. Zum anderen sollten beim Usability-Test die Versuchsteilnehmer Aufgaben lösen sowie daran anschließend die Akzeptanz der Webangebote bewerten.
- Effektivität, Effizienz und Zufriedenstellung sind Maße zur Messung der Usability und werden folgendermaßen definiert:
- Die Effektivität ist die Genauigkeit und Vollständigkeit, mit der Benutzer ein bestimmtes Ziel erreichen. Beim Usability-Test ist die Anzahl der gelösten Aufgaben ein Indikator für die Effektivität der jeweiligen Webangebote.
- Die Effizienz ist der im Verhältnis zur Genauigkeit und Vollständigkeit eingesetzte Aufwand, mit dem Benutzer ein Ziel erreichen. Beim Usability-Test sind der Zeitbedarf und die Klickhäufigkeit zur Lösung einer Aufgabe Indikatoren für den Aufwand.
- Die Zufriedenstellung ist das Ausmaß, in dem Benutzer von Beeinträchtigungen frei sind, und ihre Einstellungen zur Nutzung des Produkts. Beim Usability-Test wird die Einstellung der Benutzer durch den Benutzerfragebogen ISONORM 9421/10 erfasst.

Die Beziehungen zwischen den einzelnen Komponenten der Usability werden in Abbildung 2 verdeutlicht.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2:

Komponenten der Usability (aus DIN, 2004, S. 98).

2.1.4 Grundsätze der Dialoggestaltung

Die im Teil 10 der ISO 9241 veröffentlichten „Grundsätze der Dialoggestaltung“ setzen zusammen mit den Teilen 12 bis 17 die im vorherigen Abschnitt erläuterte Definition von Usability in konkrete Empfehlungen um. Die Erfüllung dieser sieben Kriterien sollen unter Einbezug der anderen Normen eine angemessene Software-Ergonomie gewährleisten, was gleichbedeutend ist mit einer guten Usability der Software. Zur besseren Anschaulichkeit werden zu jedem Gestaltungsgrundsatz Beispiele gegeben.

(1) Aufgabenangemessenheit: „Ein Dialog^[5] ist aufgabenangemessen, wenn er den Benutzer unterstützt, seine Arbeitsaufgabe effektiv und effizient zu erledigen“ (DIN, 2004, S. 85).
Bei der Gestaltung von Grafiken wird auf minimale Wartezeiten Wert gelegt. Auf einer Website sind Ansprechpartner zu finden, so dass ein Benutzer sein Ziel, eine E-Mail persönlich zu adressieren, erreichen kann.
(2) Selbstbeschreibungsfähigkeit: „Ein Dialog ist selbstbeschreibungsfähig, wenn jeder einzelne Dialogschritt durch Rückmeldung des Dialogsystems unmittelbar verständlich ist oder dem Benutzer auf Anfrage erklärt wird“ (DIN, 2004, S. 86).
Die Angabe des Änderungsdatums auf jeder Seite stellt dar, ob der Inhalt einer Seite neueren Datums ist oder sich seit dem letzten Besuch geändert hat. Ein Web-Angebot hat eine Online-Hilfe, die kontextspezifische Bedienhinweise gibt.
(3) Steuerbarkeit: „Ein Dialog ist steuerbar, wenn der Benutzer in der Lage ist, den Dialogablauf zu starten sowie seine Richtung und Geschwindigkeit zu beeinflussen, bis das Ziel erreicht ist“ (DIN, 2004, S. 87).
Umfangreiche Grafiken werden als „Thumbnails“ dargestellt, die bei Bedarf vom Benutzer vergrößert werden können. Während des Ladens einer Webseite ist bereits der Inhalt erkennbar, damit der Benutzer den Ladevorgang abbrechen kann.
(4) Erwartungskonformität: „Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzers entspricht, z. B. seinen Kenntnissen aus dem Arbeitsgebiet, seiner Ausbildung und seiner Erfahrung sowie allgemeinen anerkannten Konventionen“ (DIN, 2004, S. 87).
Unterstrichene Wörter sind immer Hypertext-Links. Der Link zur Startseite ist unter dem Firmenlogo oben links platziert.
(5) Fehlertoleranz: „Ein Dialog ist fehlertolerant, wenn das beabsichtigte Arbeitsergebnis trotz erkennbar fehlerhafter Eingaben entweder mit keinem oder mit minimalem Korrekturaufwand seitens des Benutzers erreicht werden kann“ (DIN, 2004, S. 88).
Fehlermeldungen werden nicht technisch verklausuliert oder als Nummer angezeigt, sondern in der Sprache der Benutzer formuliert. Über ein Skript werden die Daten eines Formulars auf Plausibilität, fehlende oder unvollständige Eingaben geprüft, bevor sie abgesendet werden.
(6) Individualisierbarkeit: „Ein Dialog ist individualisierbar, wenn das Dialogsystem Anpassungen an die Erfordernisse der Arbeitsaufgabe sowie an die individuellen Fähigkeiten und Vorlieben des Benutzers zulässt“ (DIN, 2004, S. 89).
Auf der Startseite einer Website besteht die Möglichkeit, eine HTML- oder Flash-Version anzuwählen.
(7) Lernförderlichkeit: „Ein Dialog ist lernförderlich, wenn er den Benutzer beim Erlernen des Dialogsystems unterstützt und anleitet“ (DIN, 2004, S. 90).

In einer Sitemap kann sich der Benutzer ansehen, nach welcher Logik eine Website strukturiert ist. Selten verwendete Icons sind so gestaltet, dass sie selbsterklärend sind und mit Zusatzinformationen versehen sind.

2.2 Methoden zur Messung von Usability

In diesem Abschnitt erfolgt die Beschreibung der in der Untersuchung verwendeten Evaluationsmethoden. Es wird der Web Usability Index vorgestellt, der in der vorliegenden Arbeit einer Überprüfung im Hinblick auf seine Validität unterzogen wird. Getestet wird die Güte des WUI mit einem so genannten Usability-Test, dessen Merkmale im Anschluss an die Darstellung des WUI beschrieben werden. WUI und Usability-Test unterscheiden sich in ihrem Zugang zur Erfassung von Usability, weil sie unterschiedlichen Hauptkategorien von Evaluationsmethoden angehören. Zum Verständnis der kategorialen Unterschiede zwischen diesen beiden Verfahren erfolgt zunächst eine Klassifikation der Evaluationsmethoden, bevor der WUI und der Usability-Test im Einzelnen vorgestellt werden.

2.2.1 Klassifikation der Evaluationsmethoden

Gediga und Hamborg (2002, S. 43ff) klassifizieren Methoden der Software-Evaluation in zwei Hauptkategorien, die deskriptiven und prädiktiven Evaluationsmethoden.

Deskriptive Evaluationsmethoden zielen auf eine objektive, reliable und valide Beschreibung des Software-Status ab. Sie können aufgeteilt werden in

- verhaltensbasierte Methoden, bei denen die tatsächliche Benutzung der Software durch die Benutzer aufgezeichnet wird. Die Verhaltensbeobachtung, die Videokonfrontation und das „laute Denken“ zählen zu dieser Unterkategorie.
- meinungsbasierte Methoden, bei denen die subjektive Bewertung der Software durch die Benutzer im Vordergrund steht. Beispiele sind Interviews und Fragebogenmethoden.
- Benutzbarkeitstests, die in früheren Zeiten dem klassischen experimentellen Design verpflichtet waren, mittlerweile jedoch verhaltens- und meinungsbasierte Methoden kombinieren.

Der in der vorliegenden Arbeit eingesetzte Usability-Test entspricht den Benutzbarkeitstest, da sowohl verhaltens- als auch meinungsbasierte Methoden eingesetzt werden und die Benutzbarkeit bzw. Usability der Software getestet wird.

Prädiktive Evaluationsmethoden zielen direkt auf die Identifikation von Schwächen der Benutzbarkeit der Software und auf Gestaltungsempfehlungen für die weitere Entwicklung der Software. Diese Methoden erfordern den Einsatz von Software-Experten, die ihre Kenntnisse einsetzen, um die ergonomische Qualität der Software beurteilen zu können. Dabei stehen den Experten verschiedene Techniken und Hilfsmittel zur Verfügung, die sich in ihrem Strukturiertheitsgrad unterscheiden:

- Das strukturierte Expertenurteil enthält detaillierte Angaben zu Kriterien, die häufig entweder Richtlinien, Standards, Normen oder allgemeinen Gestaltungsgrundsätzen entstammen.

Die heuristische Evaluation von Nielsen (1993) ist das prominenteste Beispiel für diese Art von Urteil. Hierbei handelt es sich um eine Technik, bei der mehrere Experten mit Hilfe einer Liste von standardisierten Heuristiken in mindestens zwei Durchgängen die Ergonomie von Software begutachten. Nielsen schlägt vor, bei der Begutachtung von Software die folgenden zehn Kriterien zu beachten: „1) simple and natural dialogue; 2) speak the user’s language; 3) minimize user memory load; 4) consistency; 5) provide feedback; 6) clearly marked exits; 7) shortcuts; 8) good error messages; 9) prevent errors, and 10) help and documentation“ (Nielsen, 1993, 115ff). Die Experten fassen die Ergebnisse der Evaluation in einer Liste mit einzelnen Usability-Problemen zusammen, die Begründungen für verletzte Prinzipien beinhaltet. Anschließend bewerten die Experten für jedes dokumentierte Problem, inwieweit gegen eine Heuristik verstoßen wurde.

- Das methodengeleitete Expertenurteil umfasst ein festgelegtes Auswertungs- und Bewertungsvorgehen. Neben den Prüfkriterien werden auch die anzuwendenden Methoden für die Prüfung der Software vorgegeben.

Der Evaluationsleitfaden EVADIS II (Oppermann, Murchner, Reiterer und Koch, 1992) ist ein Beispiel für diese Art von Urteil. Dieses Verfahren gibt eine genaue Vorgehensweise bei der Evaluation der Software vor. Ein Experte beantwortet ausgewählte Testitems aus einem vorgegebenen Kriterienkatalog mit Bezug auf die für einen Anwendungsbereich typischen Aufgaben sowie im Hinblick auf die Nutzergruppe. Das Ergebnis ist eine computergestützte Bewertung der Software, die in einem Prüfbericht erläutert wird.

Der in der vorliegenden Arbeit eingesetzte Web Usability Index ist eher dem strukturierten Expertenurteil zuzuordnen, enthält aber auch einige Merkmale des methodengeleiteten Expertenurteils. Diese leitfadenorientierte Methode enthält wie beim strukturierten Expertenurteil konkrete Kriterien zur Bewertung von Webangeboten, unterscheidet sich jedoch zum Beispiel von der heuristischen Evaluation dadurch, dass die Anzahl der Prüfkriterien deutlich höher und das Auswertungsverfahren festgelegt ist. Im Gegensatz zum methodengeleiteten Expertenurteil werden die Schritte der Evaluationsprozedur nicht explizit vorgegeben und der Experte wird nicht von einer großen Anzahl von Materialien, Datenbanken und Durchführungsvorschriften unterstützt. Allerdings besteht eine Übereinstimmung in Bezug auf die große Menge von detaillierten Prüffragen und bezüglich der vorgegebenen Bewertungs- und Auswertungsprozedur. Der Web Usability Index wird im folgenden Abschnitt ausführlich beschrieben.

2.2.2 Web Usability Index (WUI)

Ziele und Grundlagen des Verfahrens

Der Web Usability Index wurde von den Informationswissenschaftlern Schweibenz und Strobel entwickelt und erstmals im Jahr 2002 auf der 24. DGI-Online-Tagung in Frankfurt am Main der Öffentlichkeit vorgestellt. Schweibenz und Strobel verfolgten mit der Erstellung dieser expertenorientierten Evaluationsmethode zwei Ziele (Schweibenz, 2002):

- eine relativ einfache und schnelle Evaluation von informationsorientierten Webangeboten sowie
- die Möglichkeit einer quantitativen Vergleichbarkeit der Usability-Mängel von konkurrierenden oder thematisch ähnlichen Webangeboten.

Entsprechend dieser beiden Zielvorstellungen erstellten Schweibenz und Strobel basierend auf der Grundidee einer anderen Checkliste, dem Keevil Usability Index (KUI), einen Kriterienkatalog. Der vom kanadischen Beratungsunternehmen Keevil & Associates zusammengestellte Index ist als Tabelle in Microsoft Excel gestaltet. Er besteht aus 203 Fragen, die in fünf Kategorien eingeteilt sind. Zu jeder Frage gibt es die drei Antwortmöglichkeiten „Ja“, „Nein“ oder „Nicht zutreffend“, die von einem Experten in die Excel-Tabelle eingetragen werden. Das Excel-Programm errechnet automatisch für jede der fünf Kategorien und für den gesamten Index eine Prozentzahl, mit der die Usability einer Website angegeben wird.

Der WUI übernimmt einige Grundelemente des KUI, versteht sich jedoch durch die Einarbeitung einiger Verbesserungen als eine Weiterentwicklung dieses Verfahrens. Erstens wurden die Kategorien an den Stand der Forschung angepasst, indem Ergebnisse aus verschiedenen Untersuchungen zur Usability und Anregungen aus anderen Verfahren aufgegriffen wurden. Zweitens erfolgte eine Differenzierung der Bewertungsmöglichkeiten, sodass die Beschränkung des Beurteilungsspielraums auf Grund absoluter Ja- oder Nein-Aussagen aufgehoben wurde. Drittens wurde die Berechnungsformel verbessert, indem eine separate Berechnung der Kategorien ermöglicht und der Kontext der Fragen innerhalb einer Kategorie berücksichtigt wurde. Die Formel bezieht die Anzahl der Fragen innerhalb einer Kategorie und die Anzahl der mit „Nicht Zutreffend“ beantworteten Fragen mit ein. Im Gegensatz zum KUI, der mit seiner Kennzahl die Usability einer Website abbildet, liefert der WUI als Ergebnis den Anteil der Usability-Mängel einer Website.

Kennwerte

Der WUI enthält zwei Kennwerte, die (a) den Mangel an Usability eines Webangebots und (b) die Aussagekraft der Evaluation abbilden.

(a) Usability-Mängel ermittelt das Excel-Programm mittels der folgenden Berechnungsformel:

Abbildung in ieser Leseprobe nicht enthalten

Das Ergebnis dieser Berechnung drückt den Anteil von Usability-Mängeln in einer Prozentzahl aus. Je niedriger der Prozentwert ist, umso weniger Mängel hat eine Website. Dementsprechend zeigt ein hoher Prozentwert an, dass viele Usability-Mängel existieren.

Die Summe der Fragenwerte berechnet sich aus den Skalenwerten der einzelnen Fragen. In Anlehnung an das Schulnotensystem reicht die Skala von „sehr gut“ über „gut“, „befriedigend“, „ausreichend“ bis zu „mangelhaft“. Als sechste Stufe der Skala gibt es die Bewertungsmöglichkeit „Nicht zutreffend (NZ)“, die vergeben wird, wenn der Gutachter ein Merkmal als unzutreffend für die Bewertung eines Webangebots einstuft. Das Excel-Programm vergibt automatisch für die Schulnoten Werte von 1 bis 5 und für „NZ“ den Wert 0 und errechnet mit der Formel neben dem Gesamtergebnis die Prozentwerte für die einzelnen Kategorien.

(b) Neben der Prozentzahl der Usability-Mängel berechnet das Excel-Programm den NZ-Koeffizienten, der angibt, wie aussagekräftig die Bewertung der einzelnen Kategorien und der Gesamtindex ist. Dieser Koeffizient ist das Verhältnis der von „NZ“ gekennzeichneten Fragen zu allen mit 1 bis 5 bewerteten Fragen. Je geringer der Koeffizient ist, desto größer ist die Aussagekraft. Dieser Zusammenhang ergibt sich aus der Feststellung, dass die mit einer Schulnote bewerteten Fragen eine zu starke Rolle zugewiesen bekommen, wenn zu viele Fragen mit „NZ“ beantwortet werden. Die Basis der Bewertung wäre dann auf Grund der geringen Anzahl von bewerteten Fragen zu klein, um eine angemessene Aussage über Usability-Mängel machen zu können.

Kategorien und Merkmale

Der WUI umfasst insgesamt 137 Fragen, die sich auf fünf Kategorien verteilen. Innerhalb der Kategorien gibt es einige Unterkategorien, die mehrere Merkmale bzw. Fragen beinhalten. Im Folgenden werden die einzelnen Kategorien vorgestellt. Die einzelnen Fragen zu den Kategorien können im Anhang B-1 eingesehen werden.

- Navigation und Orientierung: Diese Kategorie enthält 30 Fragen zur Steuerbarkeit einer Website. Die Merkmale für die Evaluation beziehen sich auf den Navigationsbereich, auf die Orientierung und auf Links.
- Interaktion und Informationsaustausch: Zu dieser Kategorie werden 24 Fragen gestellt, die sich auf den Dialog zwischen Benutzer und den Webangebot beziehen. Diese Merkmale helfen, den Informations- und Kommunikationsfluss zu erleichtern und entsprechen in etwa dem Dialoggrundsatz „Selbstbeschreibungsfähigkeit“ der ISO-Norm 9241-10 (siehe Abschnitt 2.1.4), da sich die Fragen auf die Handhabung der Website und auf Rückmeldungen des Dialogsystems beziehen.
- Aktualität und Qualität: In dieser kleinsten Kategorie mit nur 13 Fragen geht es um die Glaubwürdigkeit einer Website. Es werden Fragen gestellt zur Aktualität, Zuordenbarkeit und Genauigkeit der Informationen.
- Informations- und Textdesign: Die Merkmale in dieser größten Kategorie mit insgesamt 50 Fragen befassen sich mit der Text- und Bildgestaltung eines Webangebots.
- Auffindbarkeit und Zugänglichkeit: Die Kategorie analysiert, inwieweit eine Webpräsenz auffindbar und technisch zugänglich ist. Es sind 20 Fragen zu beantworten, die diese Merkmale sowohl aus der Sicht von Benutzern als auch im Hinblick auf technische Aspekte beleuchten.

Anwendung des WUI

Der WUI kann unter der Leitseite des Arbeitsbereichs Usability der Fachrichtung Informationswissenschaft der Universität Saarbrücken kostenlos als Excel-Datei heruntergeladen werden. Es ist möglich, den WUI unmittelbar für die Evaluation eines Webangebots einzusetzen, da der Gutachter lediglich die vorgegebenen 137 Fragen beantworten muss. Dafür steht für jede Frage eine Menüauswahl der Bewertungsmöglichkeiten zur Verfügung, aus der ein Gutachter die passende Note oder „Nicht zutreffend“ auswählen kann (siehe Abbildung 3).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Ausschnitt aus dem Tabellenblatt „Evaluation“ des WUI.

Die Auswertung führt das Tabellenkalkulationsprogramm Excel durch, indem es automatisch die Usability-Mängel und den NZ-Koeffizienten für die einzelnen Kategorien sowie für den gesamten Index nach der bereits beschriebenen Formel errechnet. Die einzelnen Ergebnisse werden in einem anderen Tabellenblatt in Tabellenform wiedergegeben (siehe Abbildung 4).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Ausschnitt aus dem Tabellenblatt „Auswertung-numerisch“ des WUI.

In weiteren Tabellenblättern bietet der WUI einen Vergleich der Ergebnisse mittels grafischer Darstellungen an. Balken- und Liniendiagramme geben eine Übersicht über die Verteilung sowohl der Gesamtwerte als auch der Werte für jede Kategorie und erleichtern somit die quantitative Vergleichbarkeit der Usability-Mängel von konkurrierenden Webangeboten.

2.2.3 Usability-Test

Bei einem Usability-Test handelt es sich um eine subjektive, nutzerorientierte Methode zur Überprüfung eines Software-Produkts (z. B. das Webangebot eines Unternehmens) durch geeignete Versuchspersonen. Indem die Versuchspersonen als Nutzer dieses Produkts zuvor festgelegte Aufgaben lösen, kann ein Versuchsleiter verschiedene Maße zur Erfassung der Usability des Produkts erheben. Erhebungsmaße sind beispielsweise Leistungsdaten wie die benötigte Zeit zur Bewältigung der Aufgaben oder der Prozentsatz der korrekten Erfüllung der Aufgaben (= Erfolgsrate) und subjektive Daten wie die Zufriedenheit der Nutzer (Zhu, Proctor und Vu, 2005; Rubin, 1994).

Es gibt verschiedene Varianten des Usability-Tests, die sich u. a. in ihrer methodischen Strenge und in der Anzahl der Versuchspersonen voneinander unterscheiden. In der vorliegenden Arbeit ist der so genannte konkurrierende Ansatz („competitive usability testing“) zum Einsatz gekommen, bei dem ähnliche Produkte, die in Konkurrenz zueinander stehen, miteinander verglichen werden (Shneiderman, 2002, S. 168). Dieser Ansatz erfordert die Konstruktion von parallelen Aufgabengruppen für alle Produkte und einen Ausgleich bei der Reihenfolge der präsentierten Produkte, um mögliche Fehlerquellen zu kontrollieren. Durch das Ausbalancieren der Treatmentreihenfolge der einzelnen Untersuchungsbedingungen können Positions- und Übertragungseffekte vermieden werden (Bortz und Döring, 2002, S. 549f). Außerdem müssen die Versuchsteilnehmer jedes Produkt testen können, um Vergleiche zwischen den Produkten anstellen zu können. Bei diesem so genannten within-subjekt-design bzw. Messwiederholungsdesign nimmt jede Versuchsperson an jeder Versuchsbedingung teil.

Der Usability-Test in der vorliegenden Arbeit zielte darauf ab, die Probanden in die Lage zu versetzen, eine Rangliste der Akzeptanz der betrachteten Webangebote der psychologischen Institute Braunschweig, Düsseldorf, Landau, Magdeburg und Tübingen aufzustellen. Jede der 30 Versuchsperson hat demnach fünf Webangebote der universitären Psychologie-Institute betrachtet, um auf der Grundlage von Vergleichen zwischen den konkurrierenden Webangeboten eine Rangordnung der Institute bilden zu können (siehe Abschnitt 4). Erläuterungen zu den in dieser Arbeit untersuchten Websites folgen nun in Abschnitt 2.3.

2.3 Erläuterungen zu der untersuchten Software

2.3.1 Auswahlverfahren

Bei der untersuchten Software handelt es sich um Websites universitärer Psychologie-Institute. Die Auswahl dieser Produkte orientierte sich an der Zusammensetzung der Stichprobe beim Usability-Test, die überwiegend aus Studentinnen und Studenten bestand. Da ein Usability-Test von Software-Produkten nach den Erkenntnissen der Usa-bility-Forschung (Zhu et al., 2005; Rubin, 1994) am besten mit Personen durchgeführt wird, die mit den Produkten vertraut sind, war es folgerichtig, Webangebote mit universitärem Bezug auszuwählen. Wegen der zu erwartenden Versuchsteilnahme von Psychologie-Studentinnen und -Studenten fiel die Wahl der zu evaluierenden Produkte auf die Websites von Instituten, die den Diplomstudiengang Psychologie anbieten.

In Deutschland gibt es insgesamt 44 psychologische Institute an Universitäten (Stand: November 2005). Für die Untersuchung kamen nur Institute in Frage, in denen Psychologie als Diplomstudiengang angeboten wird. Um das Kriterium der Vergleichbarkeit der konkurrierenden Webangebote einzuhalten, mussten die Institute ungefähr gleich groß sein. Maßstab für die Größe der Institute war die Anzahl der Professuren. Die Häufigkeitsverteilung der Professuren bildet Abbildung 5 ab.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 5: Häufigkeitsverteilung der Professuren an psychologischen Instituten an deutschen Universitäten.

Zur Bestimmung der Institute für die Untersuchung wurden die Institute in drei Untergruppen aufgeteilt. Maßeinheit für die Aufteilung in Untergruppen war eine Standardabweichung vom Mittelwert (M = 9.14, SD = 3.74), sodass es folgende Kategorien an Gruppen gab: kleine Institute (2 bis 5 Professuren), mittelgroße Institute (6 bis 12 Professuren) und große Institute (13 bis 17 Professuren).

Die mittelgroße Kategorie enthielt 27 Institute, von denen diejenigen Institute ausgeschlossen wurden, bei denen der Navigationsbereich innerhalb der Webseiten uneinheitlich war. Zugelassen wurden nur Institute, bei denen lediglich bei einer Abteilung innerhalb der Institute ein anderer Navigationsbereich im Unterschied zur Startseite vorkam. Dieses Ausschlusskriterium wurde getroffen, um eine Vergleichbarkeit der Webangebote im Hinblick auf Bedien- und Gestaltungselemente zu gewährleisten.

Es blieben letztlich noch acht Institute übrig, von denen sechs Institute mit einer ähnlichen Anzahl an Professuren für die Evaluation mit dem WUI in Frage kamen. Als Ersatz im Falle eines Ausfalls eines Webangebots wurde demnach ein weiteres Institut mit dem WUI evaluiert. Tatsächlich fiel das Webangebot des Instituts der Psychologie der Universität Greifswald zwischenzeitlich aus, sodass am Ende die fünf folgenden Webangebote als Untersuchungsgegenstände für den Usability-Test übrig blieben (in Klammern die jeweilige URL der Startseite, Stand: Januar 2006):

- das Institut der Psychologie der Technischen Universität Braunschweig (http://www.tu-braunschweig.de/psychologie),
- das Institut für experimentelle Psychologie der Universität Düsseldorf (http://www.psycho.uni-duesseldorf.de),
- der Fachbereich Psychologie der Universität Koblenz-Landau
(http://www.uni-landau.de/fb8/index.htm),
- das Institut für Psychologie der Universität Magdeburg
(http://www.uni-magdeburg.de/ipsy),
- das psychologische Institut der Universität Tübingen

(http://www.uni-tuebingen.de/psychologie).

Im folgenden Abschnitt sind mit den Abbildungen 6 bis 10 die Startseiten der Webangebote dieser Institute zu sehen.

2.3.2 Startseiten der untersuchten Webangebote

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 6: Startseite der Website des Instituts der Psychologie der Technischen Universität Braunschweig.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 7: Startseite der Website des Instituts für experimentelle Psychologie der Universität Düsseldorf.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 8: Startseite der Website des Fachbereichs Psychologie der Universität Koblenz-Landau.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 9: Startseite der Website des Instituts für Psychologie der Universität Magdeburg.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 10: Startseite der Website des psychologische Instituts der Universität Tübingen.

3. Eigene Fragestellung

Die vorliegende Arbeit untersucht die Fragestellung, ob der Web Usability Index ein valides Instrument zur Erfassung der Usability von Webangeboten ist. Die Usability von Webangeboten definiert sich über die Effektivität und Effizienz von Webangeboten sowie über die Zufriedenheit der Benutzer mit den Webangeboten (siehe Abschnitt 2.1.3). Zur Überprüfung der Validität des WUI werden die Ergebnisse aus der Evaluation von fünf universitären Psychologie-Instituten in Beziehung gesetzt mit den Ergebnissen eines Usability-Tests, bei dem sowohl die objektiven Variablen „Effektivität“ und „Effizienz“ als auch die subjektive Variable „Benutzerzufriedenheit“ erhoben wurden. Als übergeordnetes Maß dieser drei Variablen legte jede Versuchsperson eine Rangliste der Webangebote fest, die als Hauptkriterium für die Überprüfung der externen Validität des WUI gilt. Die erste Hypothese lautet entsprechend:

Hypothese 1:

Es besteht ein signifikanter positiver Zusammenhang zwischen der von den Versuchsteilnehmern erstellten Rangliste der Webangebote und der Rangliste der Webangebote, die sich aus der Evaluation mit dem Web Usability Index ergibt.

Die weiteren Hypothesen leiten sich aus der Fragestellung ab, inwieweit die Ergebnisse der Evaluation mit dem WUI mit den anderen Variablen des Usability-Tests zusammenhängen. Eine Ausnahme bildet Hypothese 2b, bei der nicht zwischen Gesamtwerten, sondern zwischen Werten aus einer Skala bzw. Kategorie Beziehungen vermutet werden. Diese Hypothese wurde auf Grund der inhaltlichen Nähe der Kategorie Interaktion und Informationsaustausch des WUI zur Skala Selbstbeschreibungsfähigkeit des ISONORM 9421/10 aufgestellt (siehe Abschnitt 2.2.2).

Hypothese 2a:

Es besteht ein signifikanter negativer Zusammenhang zwischen den Gesamtwerten des ISONORM 9421/10 aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI.

Hypothese 2b:

Es besteht ein signifikanter negativer Zusammenhang zwischen der Skala Selbstbeschreibungsfähigkeit des ISONORM 9421/10 aus dem Usability-Test und den Prozentwerten der Usability-Mängel der Kategorie Interaktion und Informationsaustausch aus dem WUI.

Hypothese 3:

Es besteht ein signifikanter negativer Zusammenhang zwischen der Aufgabenzufriedenheit aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI.

Hypothese 4a:

Es besteht ein signifikanter negativer Zusammenhang zwischen der Effizienz in Bezug auf den Zeitbedarf aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI.

Hypothese 4b:

Es besteht ein signifikanter negativer Zusammenhang zwischen der Effizienz in Bezug auf die Klickhäufigkeit aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI.

Hypothese 5:

Es besteht ein signifikanter negativer Zusammenhang zwischen der Effektivität aus dem Usability-Test und den Prozentwerten der Usability-Mängel aus dem WUI.

Die im Usability-Test erhobenen Variablen zur Effektivität, Effizienz und Zufriedenheit werden im folgenden Abschnitt über das methodische Vorgehen ausführlich erläutert.

4. Methodisches Vorgehen

4.1 Evaluation mit dem WUI

4.1.1 Gutachter

Der vollständige Web Usability Index wurde auf den fünf Websites der psychologischen Institute von einem Gutachter (Gutachter 1), dem Verfasser der Diplomarbeit, angewandt. Ein zweiter Gutachter (Gutachter 2) evaluierte drei von fünf Kategorien bei den drei Webangeboten der psychologischen Institute der Universitäten Düsseldorf, Magdeburg und Tübingen. Beide Gutachter verfügten über große Erfahrung im Umgang mit Software, da sie als langjährige freie Mitarbeiter für einen Software-Verlag arbeiteten. Im Rahmen dieser Tätigkeit testeten sie verschiedene Software-Produkte auf Usability-Mängel, sodass sie den WUI nach einer kurzen Einarbeitungszeit zur Evaluation der Webangebote einsetzen konnten.

4.1.2. Durchführung

Die Evaluation der Websites mit dem Web Usability Index durch die beiden Gutachter wurde zwischen Ende November 2005 und Anfang Februar 2006 durchgeführt. Vor der Anwendung des WUI trafen sich beide Gutachter, um die Bedeutung der einzelnen Fragen zu erläutern und Unklarheiten zu beseitigen. Es wurde der Ausschluss von einigen auf die Webseiten der Institute nicht zutreffenden Fragen beschlossen und festgelegt, welche Instituts-Websites und Kategorien des WUI Gutachter 2 evaluieren sollte. Es wurde vereinbart, dass die Gutachter 2 die Webangebote der psychologischen Institute aus Düsseldorf, Magdeburg und Tübingen mit den Fragen aus den Kategorien „Navigation und Orientierung“, „Interaktion und Informationsaustausch“ sowie „Informations- und Textdesign“ beurteilen sollte. Bis zur Übergabe der Daten Anfang Februar 2006 gab es während der Durchführung der Evaluation keine Absprachen der beiden Gutachter über die Bewertung der Websites, um eine unabhängige Begutachtung zu gewährleisten.

4.1.3 Geräte

Es wurden unterschiedliche Computer in zwei CIP-Pools der Universität Münster verwendet. Gemeinsam war allen, dass die Größe des Bildschirms 17 Zoll betrug und der Internetzugang über eine Standleitung mit dem Rechenzentrum der Universität und den Browser-Versionen Mozilla 1.4 und 1.7 hergestellt wurde.

4.2 Usability-Test

Dieses Kapitel informiert über die verwendete Stichprobe, das Versuchsmaterial, die abhängigen Variablen zur Erfassung der Usability sowie über den Ablauf der Untersuchung. Zunächst werden jedoch die Aufgaben beschrieben, welche die Probanden zur Bestimmung der Akzeptanz der Websites erhalten haben.

4.2.1 Versuchspersonen

Die Stichprobe bestand aus 30 Personen im Alter zwischen 21 und 41 Jahren. Das durchschnittliche Alter betrug 29 Jahre. Es nahmen 14 Frauen und 16 Männer an dem Versuch teil. Die Stichprobe setzte sich aus 10 Personen, die in unterschiedlichen Berufsfeldern wie Altenpfleger oder Lehramt tätig waren, und 20 Studenten zusammen, wovon 11 Personen Psychologie auf Diplom oder Magister studierten und 9 Studenten aus anderen Studiengängen stammten (siehe Tabelle B-2-17 im Anhang B-2).

Voraussetzung für die Teilnahme am Versuch waren das sichere Beherrschen der deutschen Sprache und Grundkenntnisse beim Umgang mit dem Internet. Die durchschnittliche Nutzungsdauer des Internets betrug ca. 6 Jahre (M = 6.33, SD = 2.71). Im Mittel surften die Probanden ca. 23 Tage (M = 22.77, SD = 8.20) im Monat im Internet mit einem Median von 25 Tage im Monat. Diese Zahlen verdeutlichen, dass die überwiegende Mehrzahl der Versuchspersonen als erfahrene Internetnutzer gelten konnten. Die Teilnahme am Versuch erfolgte unentgeltlich, wobei die Psychologie-Studenten zwei Versuchspersonenstunden erhielten.

4.2.2 Versuchsdurchführung

Alle Versuche wurden in einem Versuchsraum des psychologischen Instituts an der Universität Münster durchgeführt. Während der Durchführung des Versuchs saßen die Versuchsteilnehmer immer auf dem selben Arbeitsplatz rechts neben dem Versuchsleiter. Zur Bearbeitung der Aufgaben verwendeten sie die gleichen Arbeitsmaterialien. Die Versuche fanden im Zeitraum vom 16. Januar bis 2. Februar 2006 zwischen 9 und 21 Uhr statt.

Die Probanden erhielten vor Beginn des Versuchs eine schriftliche Instruktion, die sie über das Ziel, den Ablauf und der Dauer der Untersuchung informierte (siehe Anhang A-2). Um Missverständnisse zu vermeiden, wurden alle Versuchspersonen dazu ermuntert, vor und während des Versuchs Fragen zu stellen und Unklarheiten anzusprechen. Der Versuch bestand insgesamt aus drei Teilen, die im Folgenden näher beschrieben werden:

- Teil 1: Lösung von je fünf Aufgaben pro Institut
- Teil 2: Bewertung der Websites anhand eines Fragebogens
- Teil 3: Erstellung einer Rangliste der Webangebote der Institute.

Teil 1: Lösung von fünf Aufgaben pro Institut

Im ersten Teil des Versuchs erhielten die Versuchspersonen für jedes der fünf Institute einen Aufgabenzettel, auf denen fünf Aufgaben und eine Bewertungsskala zur Angabe der Zufriedenheit mit der Website standen (siehe Anhang A-4). Die Aufgaben wurden immer in der gleichen Reihenfolge vorgegeben und ähnelten sich in ihrer Aufgabenstellung bei jedem Institut. So sollten die Versuchspersonen zum Beispiel in der zweiten Aufgabe bei jedem Institut die Prüfungsordnung des Diplomstudiengangs Psychologie finden. Für die Lösung jeder Aufgabe hatten die Probanden jeweils zwei Minuten lang Zeit. Dabei wurde der Zeitraum vom Beginn der Suche der Lösung auf der Startseite des Instituts bis zum Finden der Lösung auf der entsprechenden Webseite vom Versuchsleiter mittels einer Stoppuhr festgehalten. Die Versuchsteilnehmer wurden angewiesen, sowohl ihre Bereitschaft zur Lösungssuche als auch die Entdeckung der Lösung mitzuteilen. Die Zeit für das Aufschreiben der Lösung in dem vorgegebenen Lösungsfeld wurde nicht erfasst. Dadurch sollte gewährleistet werden, dass allein die Nettoexplorationszeit gewertet wurde. Hatte ein Versuchsteilnehmer innerhalb von zwei Minuten keine Lösung angegeben, galt die Aufgabe als nicht gelöst. In diesem Fall blieb das Lösungsfeld leer und der Proband sollte sich der nächsten Aufgabe zuwenden.

Neben der Zeit wurde auch die Klickhäufigkeit vom Versuchsleiter manuell mittels einer Strichliste protokolliert. Dabei wurden nur die Mausklicks gezählt, die vom Probanden beabsichtigt waren und die sich im engeren Sinne auf die Navigation bezogen. So wurden beispielsweise Klicks zum Zwecke des Scrollens einer Webseite nicht berücksichtigt, wohingegen Klicks zur Aktivierung von Hyperlinks oder einer Suchfunktion erfasst wurden. Um vergleichbare Bedingungen über alle Versuchspersonen zu haben, wurde jede Aufgabe von der Startseite der Website eines Instituts aus begonnen.

[...]

---

^[1] Im Verlauf dieser Arbeit sind die Begriffe „Website“ oder „Webpräsenz“ als Synonym für „Webangebot“ zu verstehen. Eine „Website“ besteht aus einer Gruppe zusammengehöriger „Webseiten“.

^[2] Die weltweite Anzahl der Websites hat sich in den vergangenen drei Jahren verdoppelt. Während im April 2003 die 40 Millionen-Marke überschritten wurde, gab es im April 2006 bereits über 80 Millionen Websites (http://news.netcraft.com, Stand: 28.04.2006).

^[3] Im Folgenden wird die Norm kurz als ISO 9241 bezeichnet oder bestimmte Teile der Norm wie ISO 9241-11 benannt. DIN EN ISO bedeutet, dass es eine deutsche, europäische und international gültige Norm darstellt.

^[4] In der deutschen Fassung der ISO 9241-11 wurde U sability offiziell mit Gebrauchstauglichkeit übersetzt. Da der Begriff Usability jedoch mehr umfasst als der Begriff Gebrauchstauglichkeit, wird in dieser Arbeit stets der erstere verwendet.

^[5] Ein Dialog wird definiert als Interaktion zwischen einem Benutzer und einem Dialogsystem, um ein bestimmtes Ziel zu erreichen (DIN, 2004, S. 84). Ein Dialogsystem ist eine Kombination von Hardware- und Softwarekomponenten. In der vorliegenden Arbeit bestand das Dialogsystem aus den Hardwarekomponenten der verwendeten Computer sowie aus den fünf Webangeboten der universitären Psychologie-Institute als Softwarekomponenten.