Lade Inhalt...

Evaluation von Netzwerken

Das Beispiel des Informations- und Normenanwendernetzwerkes der ANP-Regionalgruppe Hamburg

Masterarbeit 2011 290 Seiten

BWL - Sonstiges

Leseprobe

Inhaltsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

Abkürzungsverzeichnis

1. Einleitung
1.1. Einführung
1.2. Zielsetzung
1.3. Konzept der Arbeit

2. Konzeptionelle Grundlagen zur Evaluation von Netzwerken
2.1. Begriffsbestimmungen und Verständnisgrundlagen
2.1.1. Der Begriff Evaluation
2.1.2. Der Begriff Netzwerk
2.1.3. Der Begriff Netzwerkevaluation
2.2. Evaluation von Netzwerken
2.2.1. Nutzen von Netzwerkevaluationen
2.2.2. Einflussfaktoren auf die Evaluation von Netzwerken
2.2.2.1. Exemplarische Systematisierungen nach Teller et al. und Sy- dow/Goebel
2.2.2.2. Einflussfaktoren weiterer Autoren
2.2.2.3. Zusammenfassung und Implikationen
2.2.3. Verfahren, Methoden und Techniken für Netzwerkevaluationen .
2.2.3.1. Qualitativ
2.2.3.2. Quantitativ
2.2.3.3. Intermediär
2.2.4. Herausforderungen und Probleme bei Netzwerkevaluationen . .

3. Normung und Netzwerke
3.1. Definition normungsspezifischer Begrifflichkeiten
3.1.1. Die Begriffe Normung und Standardisierung
3.1.2. Die Begriffe Normenanwender und Normenanwendernetzwerk .
3.2. Normung und Normenanwendung in Deutschland
3.2.1. Das Deutsche Institut für Normung e.V. (DIN)
3.2.2. Der Ausschuss Normenpraxis (ANP)
3.2.3. Interaktion zwischen dem DIN und dem ANP
3.3. Netzwerknutzen für die Normenanwender

4. Durchführung einer Netzwerkevaluation am Beispiel des Normenanwendernetzwer- kes der ANP-Regionalgruppe Hamburg
4.1. Konzeptionelle Basis der Untersuchung
4.1.1. Zugrundegelegter Evaluationsansatz
4.1.2. Merkmalsdimensionen und Strukturmodell nach Neugebauer/Beywl in der Erweiterung nach Schmidt/Koßmann
4.1.3. Bewertungskriterien zur Erfolgsbestimmung
4.2. Konzeption der Untersuchung
4.2.1. Beschreibung des Evaluationsgegenstandes - Die ANP-Regionalgruppe Hamburg
4.2.2. Beschreibung der weiteren Einflussfaktoren auf die Evaluation der ANP- Regionalgruppe Hamburg
4.2.3. Ziel der Untersuchung
4.2.4. Gang der Untersuchung
4.2.5. Erhebungsinstrumente
4.2.6. Grundgesamtheit und Auswahlverfahren
4.3. Erhebungsergebnisse
4.3.1. Grad der Aufgabenerfüllung
4.3.2. Priorisierung der Merkmalsdimensionen der ANP-Regionalgruppe Hamburg
4.3.3. Merkmalsdimensionen der ANP-Regionalgruppe Hamburg
4.3.3.1. Komplementarität
4.3.3.2. Gemeinsame Vorstellungen
4.3.3.3. Koordination
4.3.3.4. Kommunikation
4.3.3.5. Nutzen
4.3.3.6. Nachhaltigkeit
4.3.3.7. Kosten
4.3.3.8. Vertrauen und Gegenseitigkeit
4.3.4. Bewertung der Erhebungsergebnisse
4.4. Besondere Handlungsfelder und Handlungsempfehlungen
4.4.1. Kommunikation: Digitales Forum für den gegenseitigen Informationsaus- tausch
4.4.2. Nutzen: Steigerung des Nutzens der Netzwerkkontakte
4.4.3. Nachhaltigkeit: Steigerung der Mitgliederzahl der ANP-Regionalgruppe Hamburg durch verstärkte Werbemaßnahmen
4.5. Entwicklungspotential der ANP-Regionalgruppe Hamburg
4.6. Kritische Reflexion des Evaluationsvorgehens

5. Schlussbetrachtung
5.1. Zusammenfassung
5.1.1. Zusammenfassung der theoretischen und konzeptionellen Ergebnisse . .
5.1.2. Zusammenfassung der praktischen Evaluationsergebnisse
5.2. Ausblick

A. Anhang
A.1. Fragebogen zur Evaluation der ANP-Regionalgruppe Hamburg
A.2. Interviewleitfaden zur Evaluation der ANP-Regionalgruppe Hamburg
A.3. Grundauswertung
A.3.1. Standardisierter Fragebogen
A.3.1.1. Teil 1 - Statistische Daten
A.3.1.2. Teil 2 - Aufgabenerfüllung der ANP-Regionalgruppe Hamburg
A.3.1.3. Teil 3 - Merkmale der ANP-Regionalgruppe Hamburg
A.3.2. Prioritätenanalyse der Merkmalsdimensionen
A.4. Interviews
A.5. Übersicht über weitere Methoden der Netzwerkevaluation

Literaturverzeichnis

Abbildungsverzeichnis

1. Einflussfaktoren („Dimensionen der Netzwerkevaluation“) nach Teller et al

2. Einflussfaktoren („Potentielle Komponenten eines Evaluationsverfahrens“) nach Sydow/Goebel

3. Beispiel einer Präferenzmatrix

4. Beispiel zur Darstellung des Verhältnisses von möglichem Nutzen und Risiken einer Netzwerkteilnahme

5. Beispiel zur Auswertung einer Nutzen-Risiko-Analyse

6. Organisationsplan des DIN

7. Finanzierung des DIN

8. Organisationsplan des ANP

9. Interaktion zwischen dem DIN und dem ANP

10. Kombinierter Evaluationsansatz nach Schmidt/Koßmann auf Basis der Klassifika- tion nach Fitzpatrick et al

11. Merkmalsdimensionen und Strukturmodell nach Neugebauer/Beywl in der Erwei- terung nach Schmidt/Koßmann

12. Branchen in der ANP-Regionalgruppe Hamburg

13. Grad der Aufgabenerfüllung in der ANP-Regionalgruppe Hamburg . .

14. Prioritätenanalyse der Merkmalsdimensionen

15. Merkmalsdimension „Komplementarität“ - Auswertung Item 1 .

16. Merkmalsdimension „Gemeinsame Vorstellungen“ - Auswertung Item 1

17. Merkmalsdimension „Gemeinsame Vorstellungen“ - Auswertung Item 4

18. Merkmalsdimension „Gemeinsame Vorstellungen“ - Auswertung Item 3

19. Merkmalsdimension „Gemeinsame Vorstellungen“ - Auswertung Item 2

20. Itemmittelwerte über die Merkmalsdimension „Koordination“ .

21. Merkmalsdimension „Koordination“ - Auswertung Item 3

22. Merkmalsdimension „Koordination“ - Auswertung Item 5

23. Merkmalsdimension „Koordination“ - Auswertung Item 6

24. Merkmalsdimension „Kommunikation“ - Auswertung Item 10

25. Merkmalsdimension „Kommunikation“ - Auswertung Item 6 . .

26. Merkmalsdimension „Kommunikation“ - Auswertung Item 2 . .

27. Merkmalsdimension „Kommunikation“ - Auswertung Item 7 . .

28. Merkmalsdimension „Kommunikation“ - Auswertung Item 1 . .

29. Merkmalsdimension „Kommunikation“ - Auswertung Item 3 . .

30. Merkmalsdimension „Kommunikation“ - Auswertung Item 9 . .

31. Merkmalsdimension „Nutzen“ - Auswertung Item 1

32. Merkmalsdimension „Nutzen“ - Auswertung Item 5

33. Merkmalsdimension „Nutzen“ - Auswertung Item 2

34. Merkmalsdimension „Nutzen“ - Auswertung Item 3

35. Itemmittelwerte über die Merkmalsdimension „Nutzen“ - Wettbewerbsvorteile

36. Merkmalsdimension „Nachhaltigkeit“ - Auswertung Item 2

37. Merkmalsdimension „Nachhaltigkeit“ - Auswertung Item 1

38. Merkmalsdimension „Nachhaltigkeit“ - Auswertung Item 3

39. Merkmalsdimension „Nachhaltigkeit“ - Auswertung Item 5

40. Merkmalsdimension „Nachhaltigkeit“ - Auswertung Item 4

41. Merkmalsdimension „Nachhaltigkeit“ - Auswertung Item 7

42. Itemmittelwerte über die Merkmalsdimension „Kosten“

43. Merkmalsdimension „Kosten“ - Auswertung Item 2

44. Merkmalsdimension „Kosten“ - Auswertung Item 4

45. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 1

46. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 2

47. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 3

48. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 10 .

49. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 6

50. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 8

51. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 9

52. Merkmalsdimension „Vertrauen und Gegenseitigkeit“ - Auswertung Item 7

Tabellenverzeichnis

1. Auswahl möglicher Evaluationsdefinitionen

2. Typisierungsmöglichkeiten interorganisationaler Netzwerke

3. Blickwinkel auf den Begriff der Netzwerkevaluation

4. Vor- und Nachteile der internen und externen Evaluationsdurchführung

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

1. Einleitung

1.1. Einführung1

„The issue of network evaluation is, in many respects, more complicated than it seems.“

Sydow/Milward 2003, S. 3

Wie misst man den Erfolg von Netzwerken? Diese auf den ersten Blick als relativ harmlos da- herkommende Frage beschäftigt die Netzwerkforschung schon seit einiger Zeit sehr intensiv (vgl. Sydow 2008, S. 55 f.). Denn wie misst man den Erfolg, innerhalb eines Zusammenschlusses, von mehreren verschiedenen Akteuren? Was bedeutet in diesem Zusammenhang überhaupt Erfolg? Definiert denn nicht jeder Akteur, nach seinen eigenen Interessen und Zielsetzungen - individu- ell - was Erfolg, innerhalb eines Netzwerkes, für ihn bedeutet? Beziehungsweise warum sollte der Erfolg nicht vielmehr am Output/Outcome des Zusammenschlusses gemessen werden? Mit den vorhandenen Methoden und Instrumenten der betriebswirtschaftlichen Erfolgsmessung und -bewertung2 lassen sich diese Fragen nicht mehr hinreichend beantworten. Der Grund dafür liegt zum einen im Gegenstandsbereich der Instrumente, die sich nicht, oder nur sehr schwierig, auf die Ebene von Netzwerken übertragen lassen (vgl. Aulinger 2008, S. 8). Zum anderen vermögen es klassische Methoden und Instrumente aber auch nicht, die für Netzwerke spezifischen Erfolgsfaktoren3 angemessen zu berücksichtigen.

Die bisher fehlende Anpassung vorhandener Instrumente, bzw. deren Neuentwicklung zur Erfolgs- messung in Netzwerken, wäre vermutlich gegenstandslos, könnte man davon ausgehen, dass es sich bei der Bildung von Netzwerken um einen kurzzeitigen Trend handeln würde. Dies scheint jedoch so nicht zu sein, da bis zum heutigen Tage - aus den unterschiedlichsten Gründen - eine zu- nehmende Verbreitung von Netzwerken zu beobachten ist (vgl. Sydow/Duschek 2011, S. 12, 44).4 Aus diesem Faktum ergibt sich ein Spannungsfeld, respektive eine Forschungslücke, welches in den letzten Jahren auch von der Netzwerkforschung erkannt wurde (vgl. Sydow 2008, S. 55 f.). Dieses liegt vor allem im Bedeutungs- und Interessenzuwachs der Koordinationsform Netzwerk, unter dem gleichzeitigen Mangel an geeigneten Verfahren zur Evaluation dieser, begründet.

Dass eine Evaluation bzw. Erfolgsmessung von Netzwerken keinen Selbstzweck darstellen sollte, beweist das relativ hohe Niveau an festzustellenden Netzwerkversagen (vgl. Sydow 2008, S. 55). In diesem Zusammenhang stellt die fehlende Bereitschaft oder Fähigkeit zur Netzwerkevaluation nur einen kleinen Bereich an möglichen Gründen für ein Versagen dar, der allerdings nicht zu unterschätzen ist. Viele der möglichen Ursachen für misslungene Netzwerkaktivitäten können im Rahmen einer Evaluation mit untersucht werden. Hierdurch lassen sich Lernprozesse im Netzwerk initiieren, die eine Möglichkeit zur Verbesserung des Netzwerkes darstellen können.

Netzwerkevaluationen können grundsätzlich für alle Typen von Netzwerken durchgeführt werden. Ein Netzwerktypus, der allerdings in den letzten Jahren stetig an Bedeutung gewonnen hat, ist der des Informationsnetzwerks. Bestimmte noch vor gut 50 Jahren der Handel mit materiellen Gütern den Erfolg eines Unternehmens auf seinem jeweiligen Markt, so tritt an diese Stelle heutzutage vermehrt auch der Zugang und das Auffinden von Informationen sowie deren effiziente Verarbei- tung (vgl. Lemberger 2008, S. 20). Verantwortlich für den erhöhten Bedarf und das gestiegene Volumen an Informationen sowie ihre verstärkte strategische Bedeutung sind im Allgemeinen die zunehmende Dynamik und Komplexität der Umwelt. Diese Rahmenbedingungen führen zu im- mer komplexeren Produkten und Produktionsprozessen sowie zur stetigen Weiterentwicklung von Informations- und Kommunikationstechnologien (vgl. Erichson/Hamann 2005, S. 339). Insbeson- dere in diesen Bereichen spielen Normen und Normung eine wesentliche Rolle, nehmen diese doch maßgeblichen Einfluss auf die Entwicklung von Produkten und Prozessen sowie deren spätere An- wendung. Als Resultat sind jedoch nicht nur Unternehmen oder allgemeiner formuliert Organi- sationen hiervon betroffen, sondern auch deren Kunden und somit letztendlich ein jeder von uns (vgl. Thierbach 2007, S. 40). Im Vergleich zu den Kunden erfordert allerdings die Erarbeitung und Anwendung von Normen, für die Organisationen, „heute mehr denn je einen erheblichen finanzi- ellen und ideellen Einsatz“ (Thierbach 2007, S. 40). Insbesondere durch die immer zahlreicheren und komplexeren Normen steigt der Anwendungsaufwand in den Organisationen nicht unerheb- lich. Informationen darüber, wie möglichst effizient mit den durch die Normung aufgeworfenen Herausforderungen umgegangen sowie Einfluss auf normungskritische Prozesse ausgeübt werden kann, liefern Informationsnetzwerke deren Mitglieder Normenanwender sind. Dieses Beispiel im Bereich der Normung verdeutlicht somit, welche wesentliche Rolle Netzwerke bei der Schaffung und dem Transfer von Wissen spielen (vgl. Lemberger 2008, S. 75).

Um die für die Akteure relevanten Aspekte einer Beteiligung an einem Netzwerk sowie schlussendlich auch den Erfolg eines Netzwerkes, zu überprüfen, kann es von Zeit zu Zeit notwendig sein, eine Netzwerkevaluation durchzuführen. Wie dies methodisch und strukturiert gelingen kann, soll im weiteren Verlauf der Arbeit aufgezeigt werden.

1.2. Zielsetzung

Ziel dieser Arbeit ist die Durchführung einer Netzwerkevaluation am Beispiel eines Informations- und Normenanwendernetzwerkes. Ausgangsbasis hierfür ist eine vorherige Literaturanalyse in diesem Themenkomplex. Hierbei werden ausgewählte und bisher in der Literatur besprochene Aspekte zur Evaluation von Netzwerken systematisch zusammengefasst. Aufgrund der Komple- xität des Themenfeldes kann jedoch zunächst lediglich ein Ziel dieser Arbeit sein, einen syste- matischen Überblick hierüber zu vermitteln, nicht aber alle Einzelheiten im Detail zu betrachten. Darauf aufbauend sollen die aus der Literaturanalyse gewonnenen Erkenntnisse im Rahmen die- ser Arbeit konzeptionell angewendet werden. Entsprechend kann das Ziel dieser Arbeit in zwei wesentliche Kernbereiche aufgeteilt werden:

1. Darstellung des aktuellen Standes der wissenschaftlichen Diskussion zum The- menkomplex Netzwerkevaluation.
2. Darstellung und Durchführung einer empirischen Netzwerkevaluation auf der Basis von aus der Literatur abgeleiteten Erkenntnissen.

Das in dieser Arbeit untersuchte Evaluationsobjekt ist das Informations- und Normenanwendernetzwerk der ANP-Regionalgruppe Hamburg.

1.3. Konzept der Arbeit

Aus der zuvor dargestellten Zielsetzung leitet sich für diese Arbeit folgendes vierstufiges Vorgehen ab:

In einem ersten Schritt werden zunächst die konzeptionellen Grundlagen für eine Evaluation von Netzwerken beschrieben. Somit entspricht dieser Teil der Arbeit der in der Zielsetzung beschriebe- nen Literaturanalyse. Neben der Erläuterung, der für diese Arbeit wichtigen Begriffsbestimmun- gen, werden wesentliche Bereiche aus dem Themenkomplex der Netzwerkevaluation wiedergege- ben, beschrieben und teilweise systematisiert. Hierbei stellt die Darstellung der Einflussfaktoren sowie der Methoden zur Evaluation von Netzwerken einen besonderen Schwerpunkt dar.

In einem zweiten Schritt wird der Zusammenhang zwischen den Themenkomplexen Normung und Netzwerke hergestellt. Dieser Schritt ist eine wichtige Vorarbeit für das Verständnis der späte- ren Netzwerkevaluation, entstammt doch der zu evaluierende Gegenstand aus dem Bereich der Normung. Dementsprechend ist es auch hier notwendig, normungsspezifische Begrifflichkeiten zu erläutern sowie das wesentliche Umfeld, indem der Evaluationsgegenstand eingebettet ist, darzu- stellen.

Der dritte Schritt bildet den Schwerpunkt dieser Arbeit. In diesem werden die aus der Literatur- analyse gewonnenen Erkenntnisse auf den zu evaluierenden Gegenstand operationalisiert. Darüber hinaus wird auf die Konzeption der Untersuchung sowie der sich daraus abgeleiteten Erhebungsin- strumente eingegangen. Die sich aus diesen Erhebungsinstrumenten ergebenen Untersuchungser- gebnisse werden anschließend dargestellt und bewertet. Für die Evaluation des Evaluationsgegen- standes besonders positive oder problematische Handlungsfelder werden nachfolgend detaillierter betrachtet, sowie gegebenenfalls entsprechende Handlungsempfehlungen zur Lösung formuliert. Schlussendlich wird das gesamte Erhebungsdesign, bezogen auf Verbesserungspotential, kritisch reflektiert.

In einem vierten Schritt werden die zentralen Ergebnisse dieser Arbeit abschließend zusammengefasst und ein Ausblick auf weiteres Forschungspotential gegeben.

2. Konzeptionelle Grundlagen zur Evaluation von Netzwerken

Das Kapitel, „Konzeptionelle Grundlagen zur Evaluation von Netzwerken“, dient der Darstellung der in der Literatur besprochenen Aspekte zum Themenkomplex Netzwerkevaluation und bildet den ersten Teil, der beiden eher konzeptionellen Bereiche, dieser Arbeit.5

Insofern beschäftigt sich dieses Kapitel konkret mit der in der Zielsetzung beschriebenen Literaturanalyse auf dem Themengebiet der Netzwerkevaluation. Neben einer Erläuterung, der für diese Arbeit wichtigen Begriffsbestimmungen, wird dem Ziel dadurch entsprochen, dass wesentliche Bereiche dieses Themenkomplexes wiedergegeben, beschrieben und teilweise systematisiert werden. So wird insbesondere auf die in der Literatur beschriebenen Aspekte des Nutzens, der Einflussfaktoren, der Methoden sowie der Herausforderungen von Netzwerkevaluationen, eingegangen. Hierbei stellen die Darstellung der Einflussfaktoren sowie die Methoden zur Evaluation von Netzwerken, einen besonderen Schwerpunkt dar.

2.1. Begriffsbestimmungen und Verständnisgrundlagen

2.1.1. Der Begriff Evaluation

Sich den Themenkomplexen „Evaluation6 “ bzw. „Evaluierung7 “ anzunähern, bedeutet sich einem Feld heterogener Begriffs- und Verständniserläuterungen, mehr oder weniger bewusst, auszusetzen. Bereits im Jahr 1974 wies Weiss (1974, S. 19) darauf hin, dass Evaluation ein „vieldeutiges Wort“ sei, „mit dem die verschiedensten Arten von Beurteilungen gemeint sein können“. Diese Sichtweise, zur Bedeutungsvielfalt des Wortes, hat sich bis zum heutigen Tage wenig verändert8, klingt doch der Grundtenor auch in anderen Quellen9 sehr ähnlich. Nach Einschätzung Kromreys liegt dies vor allem an folgenden Gründen (vgl. Kromrey 2001, S. 105):

- Eine kaum durchschaubare Vielfalt an Evaluationsmethoden und -verfahren sowie Forschungs- und Beratungsansätzen
- Ein unüberschaubares Spektrum an Evaluationsgegenständen
- Eine unüberschaubare Fülle an Evaluationsfragestellungen
- Eine inflationäre Begriffsverwendung10 in extrem unterschiedlichen Bedeutungszusammenhängen

Um der Gefahr, sich in den Tiefen und somit den Feinheiten der Evaluationswissenschaft zu ver- lieren, zu entfliehen, soll im Folgenden die Diskrepanz zwischen der alltäglichen und der wissen- schaftlichen Verwendung des Begriffes Evaluation kurz beleuchtet werden.11 Diese Abgrenzung erscheint sinnvoll, weil sie herausstellt, was „wissenschaftliche Evaluation“ von einem „einfachen Bewerten“ unterscheidet. Gegen Ende dieser Darstellung wird eine Auswahl an möglichen Eva- luationsdefinitionen präsentiert, die einen groben Überblick über das weite Feld an verfügbaren Definitionen gibt.

Dem umgangssprachlichen Verständnis nach ist Evaluation etwas äußerst unspezifisches, kann doch ein und derselbe Sachverhalt von unterschiedlichen Personen verschieden - bis gar gegen- sätzlich - „bewertet“ bzw. evaluiert werden. Anders formuliert: „Irgend etwas wird von irgend jemanden nach irgendwelchen Kriterien in irgendeiner Weise bewertet“ (Kromrey 2001, S. 106). Durch dieses „irgend...“ wird alles, was im Zusammenhang mit Evaluation steht, unpräzise und entzieht sich einer mehr oder weniger objektiven Nachvollziehbarkeit. Gegen diese Kritik muss deshalb eine wissenschaftliche Begriffsdefinition, durch Präzisierungen, immunisiert werden.12

Eine Immunisierung kann angestrebt werden, indem nicht „irgend etwas“ evaluiert wird. Der be- trachtete Evaluationsgegenstand muss vielmehr klar definiert und von anderen Gegenständen ab- gegrenzt werden. Ebenso sollte nicht „irgend jemand“ die Evaluation durchführen, da diese spe- zifisches Wissen, über den zu evaluierenden Gegenstand, erfordert. Dieses Wissen sollten Eva- luatoren13 mitbringen. Weiterhin sollte ein Evaluationsergebnis nicht auf „irgendeine Weise“ zu- stande kommen, sondern weitestgehend objektiviert werden. Beispielsweise dadurch, dass Krite- rien nicht beliebig gewählt, sondern dem Evaluationsgegenstand entsprechend angepasst, werden (vgl. Kromrey 2001, S. 106 f.).

Auch wenn an dieser Stelle nicht ins Detail gegangen wurde, sollte doch der wesentliche Unter- schied zwischen dem alltagsprachlichen und dem wissenschaftlichen Verständnis von Evaluation bewusst gemacht worden sein - nämlich, dass es im wissenschaftlichen Verständnis besonders darauf ankommt, den Evaluationsprozess weitestgehend zu systematisieren, bzw. diesen für eine kritische Auseinandersetzung14 zu objektivieren. Eine Abgrenzung des Evaluationsgegenstandes, eine Auswahl geeigneter Evaluatoren und die Erstellung eines systematischen Evaluationsdesigns

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 1: Auswahl möglicher Evaluationsdefinitionen

sind hierbei nur einige konzeptionelle Maßnahmen, unter einer Vielzahl weiterer, die im Rahmen des wissenschaftlichen Evaluierens berücksichtigt sowie ausgestaltet werden müssen.15

Bevor schlussendlich der für diese Arbeit zugrundegelegte Evaluationsbegriff bestimmt wird, sei kurz zuvor auf die ebenso vielfältigen wissenschaftlichen Definitionen des Evaluationsbegriffes hingewiesen. Die häufiger anzutreffenden Definitionen sind oben in Tabelle 1 dargestellt. Anhand dieser Auflistung zeigt sich noch einmal eindringlich die angesprochene Heterogenität des Begrif- fes. Daher soll im Rahmen dieser Arbeit der Begriff Evaluation auch allgemein als Synonym für den zuvor beschriebenen, wissenschaftlich präzisierten, Begriff Bewertung verstanden werden. Ei- ner einzelnen Definition wird sich daher bewusst nicht angeschlossen. Wenn überhaupt kann sich nach Meinung der Autoren höchstens darauf festgelegt werden, dass Evaluationsvorhaben allge- mein einem gewissen Dreiklang folgen, der aus den Phasen Beobachtung (Informationssamm- lung), Auswertung (Analyse) und Interpretation (Bewertung) besteht (vgl. Schwippert/Klinger 2008, S. 19).

2.1.2. Der Begriff Netzwerk

Da es sich bei dem in dieser Arbeit zu evaluierenden Objekt, die ANP-Regionalgruppe Hamburg, um ein Netzwerk handelt, ist es zunächst notwendig, sich mit dem Begriff Netzwerk näher zu be- schäftigen und diesen zu definieren. Neben der Begriffsdefinition der Evaluation in Abschnitt 2.1.1 bildet der Netzwerkbegriff aber auch die Grundlage für den Begriff der Netzwerkevaluation. So- mit wird in diesem Abschnitt zunächst der von den Autoren verstandene Netzwerkbegriff definiert. Darauf aufbauend wird kurz vorgestellt, was ein gutes Netzwerk überhaupt auszeichnet und abschließend auf den Netzwerktypus des zu betrachtenden Evaluationsobjektes, ein Informationsnetzwerk, eingegangen.

Bei dem Begriff Netzwerk handelt es sich um eine äußerst komplexe Terminologie, denn es gibt eine rege Vielfalt von ihnen. Jedes Netzwerk ist einzigartig und muss neu entwickelt sowie ge- staltet werden, weshalb letztendlich auch eine Fülle an Bezugsgrößen, Definitionen und Akzent- setzungen existieren (vgl. Bienzle et al. 2007, S. 9). Ebenfalls ist die Komplexität in Netzwerken abhängig von der Zahl der Kooperationspartner und der Intensität der Austauschbeziehungen (vgl. Sydow 2010a, S. 3). Hieraus resultieren allgemein grenzenlose Möglichkeiten, Netzwerke zu ty- pologisieren (vgl. Sydow 2010b, S. 379). So gibt es nicht nur Unternehmensnetzwerke, sondern beispielsweise auch Informationsnetzwerke, Nachbarschaftsnetzwerke, Ökologienetzwerke, Ter- roristennetzwerke, Forschungsnetzwerke und etliche mehr. Bei aller Unterschiedlichkeit weisen all diese genannten Netzwerke aber folgende Gemeinsamkeiten auf (vgl. Sydow 1992, S. 2):

- Alle besitzen ein gewisses Maß an Spontanität und Informalität,
- ein hohes Maß an Flexibilität und Kommunikation
- sowie ein Minimum an zentraler Kommunikation der weitgehend autonomen Netzwerkmitglieder.16

Diese Gemeinsamkeiten sind essentiell für die weitere Betrachtung des Netzwerkbegriffs.

Da es sich bei dem zu untersuchenden Evaluationsgegenstand, die ANP-Regionalgruppe Hamburg, neben einem Informationsnetzwerk auch um ein Unternehmens-/Organisationsnetzwerk handelt, soll auf Letzteres im Folgenden näher eingegangen werden.

Eine erste, aber sehr wesentliche Unterscheidung ist die zwischen intraorganisationalen17 und interorganisationalen18 Netzwerken. Bei der ANP-Regionalgruppe Hamburg handelt es sich um ein interorganisationales Unternehmens-/Organisationsnetzwerk, sodass sich hierauf auch der weitere Fokus der Betrachtungen bezieht. Einen kleinen Überblick über die wichtigsten interorganisationalen Netzwerktypen gibt Tabelle 2 auf Seite 9 wieder.

Schon auf den ersten Blick gibt diese Tabelle die Komplexität und Vielschichtigkeit des Netzwerkbegriffs und der Netzwerktypen wieder, denn zu bedenken ist, dass die hier aufgeführten Netzwerktypen nicht allumfassend sind und sich nur auf interorganisationale Netzwerke beziehen. Zu erkennen ist jedoch auch, dass bei den meisten Netzwerktypen immer zwei Pole existieren, zwischen denen das jeweilige zu betrachtende Netzwerk angesiedelt ist.

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 2: Typisierungsmöglichkeiten interorganisationaler Netzwerke Quelle: Sydow 2010a, S. 380

Würde beispielsweise die räumliche Ausdehnung eines Netzwerks betrachtet werden, so ist ein Netzwerk irgendwo zwischen den Polen lokal und global angesiedelt. Liegt es z.B. nahe am Pol lokal, so würde man es als regionales Netzwerk bezeichnen. Aufgrund des begrenzten Umfangs dieser Arbeit sollen die Unterschiede der Netzwerktypen, anhand der beispielhaften Typologisie- rung nach Sydow, im Folgenden aber weitgehend unberücksichtigt bleiben. Einzige Ausnahme bildet der Netzwerktypus des Informationsnetzwerkes auf welches zum Ende dieses Abschnitts weiter eingegangen wird, da in diese Netzwerkkategorie auch die ANP-Regionalgruppe Hamburg eingeordnet werden kann.

Zweckdienlicher ist zunächst aber, trotz der schon kurz beschriebenen Einschränkungen für den in dieser Arbeit verwendeten Netzwerkbegriff, diesen genauer zu definieren und zu klären, was ein „gutes“ Netzwerk ausmacht.

Hierzu soll anfangs eine Definition von Sydow behilflich sein, nach der ein Netzwerk eine „Ko- operation in und/oder zwischen relativ autonomen, gleichwohl in ein Netz von Beziehungen einge- bundenen Organisationen bzw. Unternehmungen oder Organisationseinheiten“ ist (Sydow 2010a, S. 1). Ebenfalls wird in einer Netzwerkorganisation zwar, aufgrund zunehmend turbulenter Wettbewerbsumwelten, auf eine hierarchische Kontrolle verzichtet, hierarchische Elemente in interorganisationalen Beziehungen bleiben aber weiterhin bestehen (vgl. Sydow 2010a, S. 1). Der Aspekt der interorganisationalen (zwischenbetrieblichen) Beziehungen ist hier besonders wichtig und erwähnenswert, da der wirtschaftliche Erfolg einer Unternehmung nicht nur auf ihren internen Stärken beruht, sondern auch darauf, wie die Beziehungen zu anderen Organisationen „gemanaged“ werden (vgl. Sydow 1992, S. 1; Sydow/Duschek 2011).

Ergänzend zu Sydow definiert Ebel deshalb den Begriff des Netzwerks wie folgt: „Unter einem Netzwerk wird der Zusammenschluss verschiedener Institutionen verstanden, die sich im Rahmen von Kooperationsvereinbarungen zu einer Zusammenarbeit verpflichten, um Effektivitäts- und Effizienzgewinne durch erhöhte Koordination zu erlangen. Dabei handelt es sich um rechtlich und wirtschaftlich unabhängige Unternehmen, die je nach Schwerpunkten horizontal (gleiche Wertschöpfungsstufe), vertikal (im Sinne einer Wertschöpfungskette) oder lateral (als unterstützende Leistung) organisiert“ sind (Ebel 2009, S. 212).

Sowohl Sydows als auch Ebels Definition beschreiben den im weiteren Verlauf dieser Arbeit verwendeten Netzwerkbegriff und ermöglichen es, trotz der komplexen Terminologie und den grenzenlos möglichen Typologisierungen von Netzwerken, eine einheitliche Ausgangsbasis zu schaffen. Hierzu ergänzend ist festzuhalten, dass die Mitglieder eines Netzwerkes häufig unterschiedliche Ressourcen19 kontrollieren und jeweils spezifische Aktivitäten durchführen (vgl. Müller 2002, S. 132 f.). Zu beachten ist allerdings, dass sich die aufgezählten Begriffsdefinitionen auf Unternehmens-/Organisationsnetzwerke beziehen.

Offen bleibt des Weiteren eine Antwort auf die Frage, was ein gutes Netzwerk ausmacht. Dau- ser und Logmuß sagen hierzu, dass ein gutes Netzwerk auf Dauer angelegt sein muss und es auf Gegenseitigkeit, sprich jeder Teilnehmer trägt etwas bei und jeder hat auch einen Nutzen, beruht (vgl. Dauser/Longmuß 2010, S. 10). Ein gutes Netzwerk schafft es, sich an den ständig wechseln- den Anforderungen der Netzwerkumwelt auszurichten, um so überlebensfähig zu bleiben. Auch ist ein gutes Netzwerk auf Ergänzung und nicht auf Konkurrenz ausgerichtet, sodass ein Mehrwert nur dann erreicht werden kann, wenn die verschiedenen Beteiligten unterschiedliche Kompetenzen und Qualitäten mit einbringen. Ebenfalls muss der Netzwerknutzen freiwillig und ohne Hierarchie zustande kommen, wobei er nur solange existiert, wie der Nutzen für die Beteiligten den Aufwand überwiegt und eine Teilnahme als erfreulich empfunden wird. Somit ist es wichtig den Blick nicht nur auf die einzelnen Beteiligten zu richten, sondern auch auf die Beziehungen untereinander (vgl. Dauser/Longmuß 2010, S. 10). Hier spielen auch Reziprozität und gegenseitiges Vertrauen eine wesentliche Rolle. Werden all diese Kriterien erfüllt, so steht dem Erfolg eines Netzwerks kaum etwas im Wege.

Wie bereits der Tabelle 2 auf Seite 9 zu entnehmen war, ist ein Netzwerktypus das Informations- netzwerk. Unter Information soll im Folgenden der Zuwachs an entscheidungsrelevantem Wissen verstanden werden (vgl. Erichson/Hammann 2005, S. 343). Diese spielt in unserer heutigen Zeit eine zunehmend wichtige Rolle in der Gesellschaft und Wirtschaft (vgl. Erichson/Hammann 2005, S. 337). Bestimmte noch vor gut 50 Jahren der Handel mit materiellen Gütern den Erfolg eines Unternehmens auf seinem jeweiligen Markt, so tritt an diese Stelle heutzutage vermehrt auch der Zugang und das Auffinden von Informationen sowie deren effiziente Verarbeitung (vgl. Lemberger 2008, S. 20). Verantwortlich für den erhöhten Bedarf und das erhöhte Volumen an Informationen sowie ihre verstärkte strategische Bedeutung sind neben einer zunehmenden Dynamik und Kom- plexität der Umwelt auch komplexere Produkte und Produktionsprozesse sowie die Entwicklung von Informations- und Kommunikationstechnologien. Aber auch eine strategische Ausrichtung des Managements von Organisationen und ein gestiegener Individualisierungsgrad in der Gesellschaft tragen dazu bei (vgl. Erichson/Hammann 2005, S. 339). Als wirtschaftliche Akteure spielen so- mit auch Informationen eine essentielle Rolle für die Mitgliedsorganisationen des Netzwerkes der ANP-Regionalgruppe Hamburg, welches der Untersuchungsgegenstand dieser Arbeit ist. Ohne die entsprechenden Informationen und das daraus resultierende Wissen, ist keine Organisation auf ih- rem jeweiligen Markt überlebensfähig.20 Bei der Schaffung und dem Transfer von Wissen spielen Netzwerke eine wesentliche Rolle (vgl. Lemberger 2008, S 75). Informationsnetzwerke zeichnen sich vor allem dadurch aus, dass ihre Mitglieder einen gemeinsamen Zweck verfolgen, nämlich den Austausch von Informationen und Wissen.21 Aber auch sind die Mitglieder voneinander un- abhängig22 und ihre Teilnahme am Netzwerk ist freiwillig.23 Zusätzlich gibt es mehrere Vorreiter- organisationen im Netzwerk, denn jede ist für sich einmalig und kann etwas Einzigartiges zu ei- nem gewissen Zeitpunkt beitragen (vgl. Lemberger 2008, S. 75 f.) Daraus resultiert die Hoffnung auf eine Verbesserung der Wettbewerbsvorteile für die jeweiligen Organisationen im Netzwerk, welche auf dem Austausch und die gemeinsame Erarbeitung von Informationen und dem daraus resultierenden Wissen beruhen (vgl. Weibel 2002, S. 12). Wenn auch nicht unbedingt immer Wett- bewerbsvorteile hierdurch erzielt werden können, so kann aber zumindest jeder Beteiligte für sich wirtschaftliche Vorteile erzielen (vgl. Müller 2002, S. 133).

Insgesamt bleibt zusammenfassend festzuhalten, dass der Begriff des Netzwerks sehr komplex ist und eine Vielzahl von Bezugsgrößen, Definitionen und Akzentsetzungen existieren. Entsprechend sind die Möglichkeiten der Typologisierung von Netzwerken grenzenlos. Im weiteren Verlauf der Arbeit werden unter dem Netzwerkbegriff Unternehmens-/Organisationsnetzwerke verstanden, in denen Netzwerkakteure zur Erreichung von Effektivitäts- und Effizienzgewinnen miteinander ko- operieren. Es überwiegt, trotz einem Netz von Beziehungen, eine relative Autonomität der Netz- werkakteure. Auf hierarchische Kontrollen wird verzichtet, wobei trotz allem aber allgemeine hier- archische Elemente bestehen bleiben. Diese interorganisationalen Beziehungen werden als wesent- liches Element angesehen, da der Netzwerkerfolg von ihnen abhängig ist. Informationsnetzwerke zeichnet zusätzlich der gemeinsame Zweck, nämlich den Austausch von Informationen und Wis- sen, durch seine Mitglieder aus. Aufgrund der Einzigartigkeit der einzelnen Mitglieder und ihren jeweiligen Beiträgen, kann jeder für sich einen individuellen wirtschaftlichen Vorteil ziehen.

2.1.3. Der Begriff Netzwerkevaluation

In den Abschnitten 2.1.1 und 2.1.2 wurden die für die vorliegende Arbeit relevanten Begriffe, „Evaluation“ und „Netzwerk“, dargestellt und definiert. Als logischer Schritt dieses Vorgehens stellt sich nunmehr die Frage, inwieweit die Synthese zwischen den einzelnstehenden Begriffen, deckungsgleich mit dem Begriff „Netzwerkwerkevaluation“ ist. Ist Netzwerkevaluation das syste- matische Sammeln, Analysieren und Bewerten von Informationen24, bezogen auf den Evaluations- gegenstand „Netzwerk“? Oder gibt es darüber hinaus noch andere Sichtweisen zu diesem Begriff? Dieser Fragestellung wird in diesem Abschnitt schwerpunktmäßig nachgegangen.

Nach Auffassung von Sydow und Goebel stellt Evaluation eine von vier25 Managementfunktio- nen/Managementpraktiken, im Rahmen des Netzwerkmanagements, dar.26 Konkret werden unter dieser Managementfunktion „jene Bewertungspraktiken subsumiert [...], die auf einer systemati- schen Nutzung von mehr oder weniger formellen, organisatorisch verankerten Verfahren basieren“ (Sydow/Goebel 2001, S. 78). Im Rahmen der Darstellung der vier Managementfunktionen schreibt Sydow lediglich von Evaluation, verwendet aber nicht explizit den Begriff Netzwerkevaluation. Allerdings bezieht er diese Funktion später auf einen konkreten Netzwerktyp, nämlich den der Unternehmensnetzwerke (vgl. Sydow/Goebel 2001, S. 78). Aus dieser Sichtweise heraus wäre die Ableitung, dass die oben zitierte Aufgabe der Evaluation, im Rahmen des Netzwerkmanagements, ebenfalls eine mögliche Definition des Begriffes Netzwerkevaluation darstellen könnte. Ohne Sy- dow an dieser Stelle jedoch zu weit auszulegen, kann man sich weitere Gedanken dazu ersparen, denn Sydow definiert Netzwerkevaluation, an anderer Stelle und unter Berufung auf strukturations- theoretische Annahmen27, „as a process of interaction in which managers, by reflexively monito- ring the contextual embedded activities and their effects, try to control the outcome and eventually, the process of organizing with respect to particular criteria“ (Sydow/Windeler 1998, S. 269). Hier- bei geht nach Sydow’s Evaluationsverständnis die Evaluation von Netzwerken über ein „reflexive monitoring“28 à la Giddens hinaus, da formelle Verfahren und Praktiken zur Anwendung kommen.

Eine etwas allgemeinere Definition geben Teller et al. (2005, S. 133): „Netzwerkevaluation ist die Bewertung eines Netzwerks durch Personen, die dafür befähigt sind, in einem objektivierten Verfahren nach explizit auf den Sachverhalt begründeten Deskriptoren“ zu urteilen. Sie ist deshalb allgemeiner aufzufassen, da die Verfahren zur Bewertung nicht auf „organisatorisch verankerten Verfahren“ beschränkt werden (Sydow/Goebel 2001, S. 78). Die Bereiche, aus denen diese kommen können, bleiben somit allerdings offen.

Noch sehr viel allgemeiner ist das Verständnis von Neugebauer und Rutten. Ihre Definition von Netzwerkevaluation kommt der eingangs aufgestellten Vermutung, nach der Synthese von „Eva- luation“ und „Netzwerk“, sehr nahe. Hiernach ist Netzwerkevaluation das Bewerten eines Ge- genstandes, „bei der [...] dieser Gegenstand dahingehend präzisiert“ wird, „dass es sich um die Bewertung eines (sozialen, formellen oder informellen) Netzwerks handelt“ (Neugebauer/Rutten 2008, S. 101 f.).

Zusammenfassend kann somit festgehalten werden, dass der Begriff Netzwerkevaluation multikausal ist und daher sehr unterschiedlich erfasst werden kann. Beispielsweise kann Netzwerkevaluation verstanden werden als:

1. Tätigkeit oder Funktion die, dauerhaft oder einmalig, im Rahmen der Netzwerk- führung/des Netzwerkmanagements wahrgenommen wird (vgl. Sydow/Windeler 1998, S. 269).
2. Prozess der Durchführung einer Bewertung des Gegenstandes Netzwerk, mit Hilfe eines objektiven Verfahrens und am Evaluationsgegenstand orientierten Kriterien (vgl. Teller et al. 2005, S. 133; Neugebauer/Rutten 2008, S. 101 f.).

Insoweit kommt es also auf den spezifischen Blickwinkel an, aus dem heraus der Begriff „Netz- werkevaluation“ definiert wird. Zum allgemeinen Verständnis reicht es sicherlich aus, den Begriff im Sinne von Teller et al. oder auch Neugebauer/Rutten zu verstehen. Folgt man diesem Ansatz, so muss die Definition Netzwerkevaluation immer an den spezifischen Evaluationsrahmenbedin- gungen29 angepasst werden. Somit wird der Begriff zum Derivativ der Umstände einer Evalua- tion, aber auch der im Zusammenhang definierten Begriffe30. Eine theoriebesetzte Definition, wie etwa die von Sydow, ist weniger derivativ, leuchtet aber im Rahmen der Evaluationsdurchführung nur bestimmte Bereiche eines Netzwerkes aus und lässt andere im Graubereich liegen oder gar verschwinden. Daher liegt dieser Arbeit das zweite Begriffsverständnis, nach Teller et al. sowie Neugebauer/Rutten, zugrunde.

Die sich aus der Literaturanalyse ergebene Multikausalität sowie die daraus entstehenden Unterschiede in den Begriffsverständnissen werden abschließend noch einmal überblicksartig in Tabelle 3 zusammengefasst.

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 3: Blickwinkel auf den Begriff der Netzwerkevaluation

2.2. Evaluation von Netzwerken

2.2.1. Nutzen von Netzwerkevaluationen

In diesem Abschnitt soll geklärt werden, wozu Netzwerkevaluationen überhaupt durchgeführt werden und was man sich von ihrer Durchführung erhofft.

Ganz allgemein dienen Evaluationen der Rechtfertigung und der Legitimation von beispielsweise Projekten, Programmen, Personal, Organisationen, Produkten oder auch Netzwerken. Ebenfalls sollen sie dazu beitragen, dass sich der Evaluierungsgegenstand weiter entwickeln und verändern kann. Dies kann durch Prozesssteuerung oder durch Qualitätsmanagement erreicht werden. Aber auch ein Lernen der Akteure soll durch Evaluationen bezweckt werden. Hierzu gehört neben ei- ner lernenden Organisation auch der Fähigkeitsaufbau des Personals und seine Entwicklung (vgl. proEval 2007, S. 2).

Bezieht man die Evaluation auf Netzwerke, so ist ein allgemeines Ziel der Netzwerkevaluation zunächst das Bemühen um eine kontinuierliche Verbesserung der Netzwerkarbeit (vgl. Teller et al. 2005, S. 138). Hierzu gehört vorerst die Bestimmung des aktuellen Standes des Netzwerkes sowie ein Aufzeigen von eventuell vorhandenen Abweichungen im Vergleich zum geplanten Stand, sodass gegebenenfalls Grundlagen für eine durchzuführende Kurskorrektur geschaffen werden können und diese anschließend ermöglicht wird (vgl. Teller et al. 2005, S. 133, 138).

Neugebauer und Rutten nennen neben der Optimierung der Netzwerkarbeit noch drei weitere Zwecke31, aus denen heraus eine Netzwerkevaluation erfolgen kann (vgl. Neugebauer/Rutten 2008, S. 102). So dient sie ebenfalls der Legitimation des Netzwerks, der Entscheidungsfindung sowie der „Gewinnung von programmübergreifenden Erkenntnissen“ (ebd.).

Ein weiterer Grund für eine Netzwerkevaluation ist darüber hinaus zumeist die Messung bzw. Bewertung der Produktivität (des Outputs) sowie die Zielerreichung (des Outcomes) eines Netz- werks. Exemplarische Fragen32 in diesem Zusammenhang konnen lauten: „Was haben die Partner voneinander gelernt?“ oder „Wie hoch sind die Synergieeffekte aus der Zusammenarbeit?“ (ebd.).

Eine Evaluation kann darüber hinaus aber auch der Motivationsförderung dienen, in dem sie den Netzwerkpartnern die Situation insgesamt und speziell die Vorteile, die sie aus der Netzwerkarbeit ziehen, bewusst macht (vgl. Teller et al. 2005, S. 139). Ebenfalls bietet sie eine Grundlage für das Konfliktmanagement und ermöglicht zudem eine Präsentation des Netzwerks nach außen (vgl. Teller et al. 2005, S. 138).

Zusätzlich ist die Zielsetzung der Evaluation weniger ergebnis- als prozessorientiert anzusehen, denn insbesondere den zentralen Akteuren im Netzwerk/Cluster33 sollen allgemeine und spezielle Informationen über die Netzwerk- und Clusterentwicklung an die Hand gegeben werden, um den Entwicklungsprozess besser nachvollziehen und steuern zu können (vgl. Sydow 2008, S. 62).

Alleine der offene Charakter von Netzwerken, die teilweise recht lockeren Beziehungen der Part- ner untereinander und die Komplexität der Netzwerkgebilde würden die Netzwerkarbeit zu einem „Blindflug“ machen, wenn sie nicht von Zeit zu Zeit evaluiert werden würde (vgl. Teller et al. 2005, S. 133). Eine stärkere Institutionalisierung einer angemessenen Netzwerkevaluation kann somit vor so manchem Netzwerkversagen schützen (vgl. Sydow 2008, S. 55 f.). Auch ist zu beachten, dass Evaluationen keinen Selbstzweck darstellen, sondern in Bezug zu einem ganz spezifischen Zweck bzw. Hintergrund stehen, weshalb sie durchgeführt werden (vgl. Schwippert/Klinger 2008, S. 14).

Bezogen auf die Vergangenheit/Gegenwart des jeweils zu evaluierenden Netzwerks gibt die Netzwerkevaluation somit vor allen Dingen Antwort auf die Fragen (Aulinger 2008, S. 7 f.):

- Welchen Erfolgsbeitrag liefert die Beteiligung am Netzwerk für jeden Partner?
- Wie erfolgreich war und ist das Netzwerk insgesamt?

Bezogen auf die Zukunft sollen dagegen folgende Fragen beantwortet werden können (Aulinger 2008, S. 7 f.):

- Welche Chancen und Risiken birgt die Beteiligung am Netzwerk für jeden einzelnen Partner?
- Welche Stärken und Schwächen weist die Organisation und Kultur eines Netz- werks im Hinblick auf dessen zukünftige Entwicklung und dessen zukünftige Erfolge auf?

Um all diese Fragen beantworten zu können sind jedoch Informationen notwendig. Drei Arten von Informationen sind hierfür unentbehrlich und zusätzlich, für den Erfolg eines Netzwerks, sehr förderlich (Aulinger 2008, S. 8 f.):

- Informationen über den Erfolg und die Erfolgspotenziale des gesamten Netz- werks
- Informationen über den Erfolgsbeitrag des Netzwerks für das einzelne Mitglied
- Information über die Verteilung des Erfolgs

Zusammenfassend kann festgehalten werden, dass eine Netzwerkevaluation zum einen als Ent- wicklungsinstrument gesehen werden kann, denn sie liefert Feedbacks zum jeweils evaluierten Netzwerk und dient der Weiterentwicklung sowie der kontinuierlichen Verbesserung des Evaluie- rungsgegenstandes. Ebenfalls fördert sie das Lernen der jeweiligen Netzwerkakteure, sprich der Organisationen und ihrem Personal und hat den Zweck der Motivationsförderung aller Beteilig- ten. Auch kann sie das jeweils zu betrachtende Netzwerk vor Netzwerkversagen schützen und die Transparenz im Netzwerk fördern. Zum anderen kann Netzwerkevaluation aber auch als Analy- seinstrument betrachtet werden, denn sie bewertet den Erfolg des Netzwerks anhand der Größen Produktivität und Zielerreichung. Zusätzlich dient sie der Rechtfertigung und Legitimation der Existenz des zu evaluierenden Netzwerks, präsentiert dieses nach außen und ist bei Entscheidungs- findungen behilflich.

2.2.2. Einflussfaktoren auf die Evaluation von Netzwerken

Wie bereits bei der Definition des Begriffes Netzwerkevaluation schemenhaft angedeutet, kann es die34 Netzwerkevaluation nicht geben. An dieser Stelle könnte der Abschnitt enden und das Fazit lauten: Der Prozess der Netzwerkevaluation ist kontingent.

Dies ist jedoch eine zu leichte Antwort die keinerlei Erkenntnisgewinn mit sich bringt und die Schwierigkeiten, die im Rahmen von Netzwerkevaluationen auftreten, einfach bei Seite fallen lässt. In diesem Abschnitt soll daher skizziert werden, welche wesentlichen Faktoren es gibt und wie diese Einfluss auf die Evaluation von Netzwerken nehmen können. Dies stellt für den praxis- orientierten Evaluator eines Evaluationsprojektes eine wesentliche Wissensbasis dar. Denn ohne vorherige Überlegungen und Präzisierungen von Evaluationseinflussfaktoren ist die Wahrschein- lichkeit des Scheiterns einer Netzwerkevaluation besonders hoch (vgl. Kromrey 2001, S. 107). Im Rahmen der Evaluation muss mindestens klar sein, „was wird von wem anhand welcher Kriterien wie evaluiert“ (Stockmann 2007, S. 39).

Die Facettenvielfalt an möglichen Einflussfaktoren, auf die im Rahmen von Netzwerkevaluatio- nen zurückgegriffen werden kann, ist extrem umfangreich. Um trotzallem jedoch einen, für den Umfang der Arbeit, angemessenen Überblick gewähren zu können, wird wie folgt vorgegangen.

Im Abschnitt 2.2.2.1 werden zunächst zwei in der Netzwerkevaluationsliteratur explizit beschrie- bene Systematisierungsversuche an Einflussfaktoren herausgegriffen und näher beschrieben. Die von Sydow/Goebel und Teller et al. entwickelten Übersichtsschemen bilden eine erste Basis, um sich dem Kern an möglichen Einflussfaktoren, die im Rahmen von Netzwerkevaluationen als rele- vant erscheinen, anzunähern. An dieser Stelle soll daher noch gar nicht all zu sehr in die detailierte Beschreibung der Einflussfaktoren gegangen werden. Vielmehr sollen Kernelemente der Syste- matisierungen (Gemeinsamkeiten) skizziert, aber auch die mögliche Bandbreite (Unterschiede) an Einflussfaktoren aufgezeigt werden. Dies lässt sich anhand der gewählten Autoren und ihren Übersichtsschemen gut darstellen.

Da die autorenspezifischen Systematisierungen zwangsläufig nur einen ersten Überblick über den Umfang an möglichen Einflussfaktoren geben können, werden im Abschnitt 2.2.2.2 zum Teil von anderen Autoren darüber hinaus gehende Faktoren genannt und beschrieben. Schwerpunkt des Abschnittes ist es aber vor allem, neben der Nennung weiterer potentieller Einflussfaktoren, die Wirkungsweise der am meisten genannten Faktoren, auf die Evaluation von Netzwerken, deutlich werden zu lassen.

Schlussendlich werden im Abschnitt 2.2.2.3 die zuvor gewonnenen Erkenntnisse überblicksartig zusammengefasst und daraus Implikationen für praxisorientierte Evaluationen abgeleitet.

2.2.2.1. Exemplarische Systematisierungen nach Teller et al. und Sydow/Goebel

Werden Netzwerkevaluationen durchgeführt, stellt sich immer die Frage nach dem Systemaus- schnitt der betrachtet wird, bzw. der evaluiert werden soll (vgl. Teller et al. 2005, S. 138). Der Systemausschnitt ergibt sich hierbei aus der Beantwortung von Fragen bezogen auf das Evaluati- onsprojekt und dient der Erfassung der aktuellen Netzwerksituation (vgl. Teller et al. 2005, S. 139). Die folgende Übersicht von Teller et al. gibt die im Rahmen eines Evaluationsprojektes auftreten- den Fragen und die daraus abgeleiteten Merkmalsausprägungen wieder. Die Auseinandersetzung mit diesen Fragen konkretisiert den zu evaluierenden Systemausschnitt und ist Voraussetzung für ein zielbezogenes Evaluationsvorgehen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Einflussfaktoren („Dimensionen der Netzwerkevaluation“) nach Teller et al. Quelle: Teller et al. 2005, S. 138

Im Gegensatz zu Teller et al. leiten Sydow und Goebel potentielle Einflussfaktoren für die Evalua- tion von Netzwerken aus der Managementfunktion der Evaluation35 ab (vgl. Sydow/Goebel 2001, S. 78 f.). Diese Faktoren beziehen sich vordergründig auf die Dimensionen: Objekt, Kriterien, Horizont, Subjekt und Anlässe einer Evaluation. Die nachfolgende Übersicht von Sydow/Goebel auf Seite 19 konkretisiert diese Dimensionen in Form von konkreten Merkmalsausprägungen.

Vergleicht man die beiden Übersichtsschemen miteinander, so fallen mehrere Aspekte auf:

1. Trotz unterschiedlich verwendeter Begrifflichkeiten beschreiben die Ü bersichtsschemenähnliche Einflussfaktoren der Netzwerkevaluation.

So kann die von Teller et al. formulierte Frage (Dimension), „WOZU wird evaluiert?“ mit Sydows/Goebels „Evaluationsanlässen“ gleichgesetzt werden. Dasselbe gilt für die Fragen, „WER evaluiert?“ (=“Evaluationssubjekt“) und „WIE wird evaluiert?“ (=“Evaluationskriterien“) (vgl. Teller et al. 2005, S. 138; Sydow/Goebel 2001, S. 79). Die deckungsgleiche Nennung und Betrachtung der drei oben genannten Einflussfaktoren könnte ein Indiz für ihre besondere Bedeutung im Rahmen von Netzwerkevaluationen sein.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Einflussfaktoren („Potentielle Komponenten eines Evaluationsverfahrens“) nach Sydow/Goebel

Quelle: Sydow/Goebel 2001, S. 79

2. Die beschriebenen Einflussfaktoren sind allerdings nicht zu 100% kongruent zu einander.

Während drei Einflussfaktoren unabhängig voneinander in den jeweiligen Übersichtsschemen behandelt werden, lassen sich andere Faktoren nicht unmittelbar gleichsetzen. So beschreiben die beiden Fragen, „WAS wird evaluiert?“ und „WELCHER Bezug wird evaluiert?“ etwas anderes als was bei Sydow/Goebel mit dem Begriff „Evaluationsobjekt“ ausgedrückt werden soll. Sydow und Goebel beschreiben mit diesem Begriff vornehmlich den Bereich, der innerhalb der Netzwerkbeziehung evaluiert werden soll, während Teller et al. den Bezug auf konkrete Organisations- und Beziehungsaspekte legen. Ein ähnlicher Widerspruch kommt auch in der Frage, „WANN wird evaluiert?“ und dem Begriff „Evaluationshorizont“ auf. Während Sydow/Goebel von kurz, mittel und langfristiger Evaluation sprechen, unterscheiden Teller et al. zwischen periodischer und fallweiser Evaluation. Die beschriebenen Zeitdimensionen sind jedoch indifferent zueinander, da Teller et al. auf den Zeitpunkt der Evaluation abstellen. Sydow/Goebel hingegen beziehen sich auf den Zeitraum der in der Netzwerkevaluation betrachtet werden soll.

3. Die aus den Einflussfaktoren abgeleiteten Merkmalsausprägungen sind extrem unterschiedlich und stellen nur einen Teil an denkbaren Ausprägungen dar.

Wie dargestellt, verwenden die Autoren für die Bezeichnung ihrer Einflussfaktoren ganz unter- schiedliche Begrifflichkeiten. Diese Heterogenität findet sich auch auf der abgeleiteten Ebene der Merkmalsausprägungen wieder. Insgesamt können die von den Autoren zugewiesenen Ausprä- gungen als wenig abschließend bezeichnet werden, sind doch noch eine Vielzahl an weiteren

Merkmalsausprägungen denkbar. Dieser Fakt wird auch dadurch unterstrichen, dass die beiden Übersichtsschemen auf der Ebene der Merkmalsausprägungen nicht mehr vergleichbar sind.

4. Sowohl bei Teller et al., als auch bei Sydow/Goebel ergibt eine Kombination 36, der aus den Einflussfaktoren abgeleiteten Merkmalsausprägungen, ein auf das Evaluationsprojekt abgeleitetes Evaluationsdesign. 37

An dieser Stelle ist anzumerken, dass aufgrund der gedanklich nicht begrenzten Zahl an möglichen Einflussfaktoren und der daraus abgeleiteten Merkmalsausprägungen, eine Kombination der Faktoren zu schier unendlichen Evaluationsdesigns führen müsste.

Ein wesentlicher Vorteil der Systematisierungsversuche von Teller et al. und Sydow/Goebel besteht darin, die wohl wichtigsten Einflussfaktoren für eine zielbezogene Evaluation mit zu berücksichti- gen.

2.2.2.2. Einflussfaktoren weiterer Autoren

Die exemplarischen Systematisierungen nach Teller et al. und Sydow/Goebel geben einen ungefähren Bezugsrahmen für den denkbaren Umfang an möglichen Einflussfaktoren bezogen auf die Evaluation von Netzwerken.

Darauf aufbauend soll an dieser Stelle nunmehr etwas deutlicher auf die bereits genannten Einflussfaktoren der Netzwerkevaluation, aber auch auf Weitere, eingegangen werden. Insbesondere der Zusammenhang zwischen Einflussfaktor und dessen Bedeutung, respektive Wirkung für die Netzwerkevaluation, steht hier im Mittelpunkt der Betrachtung.

Hierbei können aber weder alle Aspekte genannt, noch erschöpfend in Bezug auf die Wirkung innerhalb der Netzwerkevaluation behandelt werden. Wichtig erscheint jedoch zu erkennen, dass es auf eine Vielzahl von Einflussgrößen ankommt, die einen „one best way“ in der Netzwerkevaluation verhindern, gleichzeitig aber auch die Übertragung der theoretischen Konstrukte dieses Themenkomplexes in die Empirie erschweren.

Im Folgenden soll auf die Einflussfaktoren Gegenstand, Kriterien, Zeitpunkt, Subjekt, Zweck und Netzwerkentwicklung spezifischer eingegangen werden.

Gegenstand als Einflussfaktor der Netzwerkevaluation

Der Gegenstand der Evaluation, bzw. das Evaluationsobjekt, stellt einen besonders wichtigen Einflussfaktor für die Netzwerkevaluation dar. Ohne diesen genauer zu kennen ist eine Evaluation „gegenstandlos“.

Bei den im Folgenden genannten Autoren bezieht sich der Gegenstand auf zwei Ebenen, von denen dann die genauen Evaluationsobjekte abgeleitet werden. So unterscheiden Hess, Wohlgemuth und Schlembach zwischen der Mikroebene der beteiligten Unternehmen und der Makroebene des Netzwerkes, als Bezugspunkt für die Ermittlung des Erfolges der kooperativen Zusammenarbeit (vgl. Hess et al. 2001, S. 68 f.). Etwas weniger klar formuliert siedeln auch Sydow und Goebel den Gegenstand der Netzwerkevaluation an. Dieser bezieht sich häufig entweder auf die einzelnen Netzwerkpartner oder auf das gesamte Netzwerk. Auf der Ebene des Netzwerkes kann sich auch eine Partialevaluation ableiten, indem der Blick nur auf einen spezifischen Ausschnitt des Netzwerkes gerichtet wird (vgl. Sydow/Goebel 2001, S. 78 f.).

Eine etwas andere Vorstellung vertritt Kromrey, die jedoch auch auf den Bereich Netzwerke übertragen werden kann.38 Stehen im Vordergrund der Netzwerkevaluation die Effekte, die beispielweise durch die Beteiligung an einem Netzwerk hervorgerufen werden, so kann man von Wirkungsanalysen sprechen. Der Gegenstand der Analyse, die Effekte, können umfassend beleuchtet werden, indem versucht wird, sowohl intendierte als auch unintendierte Effekte39 der Netzwerkaktivitäten zu evaluieren (vgl. Kromrey 2001, S. 117).

Wird jedoch der Blick auf die „systematische Untersuchung der Planung, Durchsetzung und des Vollzugs“ gelegt, so wird von Implementationsforschung gesprochen (Kromrey 2001, S. 117). Im Rahmen dieser Evaluationssicht müsste sich Netzwerkevaluation darauf beziehen prozessbegleitend zu fragen, was wann, wie und wozu gemacht wird (ebd.).

Sowohl die Wirkungsanalyse, als auch die Implementationsforschung können auf die oben genannten Ebenen (einzelne Netzwerkpartner - gesamtes Netzwerk) bezogen werden.

Kriterien als Einflussfaktor der Netzwerkevaluation

Wie bereits an der einen oder anderen Stelle der Arbeit deutlich gemacht, muss sich im Vorfeld einer Netzwerkevaluation mit den Einflussfaktoren, vorausgesetzt diese soll zielführend40 durch- geführt werden, auseinander gesetzt werden. Diese Forderung betrifft auch die Kriterien anhand derer das Netzwerk beurteilt werden soll (vgl. Schwippert/Klinger 2008, S. 12). Bei den Krite- rien, als einen besonders wichtigen Faktor der Netzwerkevaluation, ist zu beachten, dass diese nie losgelöst von anderen Einflussfaktoren gesehen werden dürfen. Sie bilden keinen Kanon der unab- hängig von den anderen Einflussfaktoren festgelegt werden kann. Vielmehr stehen die festgelegten Kriterien, für die Netzwerkevaluation, immer im engen Zusammenhang mit anderen Einflussfak- toren und leiten sich aus diesen zum Teil derivativ ab.41 So beispielsweise aus den übergeordneten Zielen (Zweck/Hintergrund) die mit der Netzwerkevaluation verfolgt werden oder auch den (mikropolitischen) Interessen der Evaluationsauftraggeber (vgl. Schwippert/Klinger 2008, S. 15; Sydow/Milward 2003, S. 3).

Aus dem zuvor beschriebenen Sachverhalt folgt für die Autoren, dass eine Auflistung von konkre- ten Kriterien an dieser Stelle als wenig sinnvoll erachtet wird.42 Anders formuliert, die variablen und situativen Bedingungen, die einer jeden Netzwerkevaluation inne wohnen, machen es notwen- dig, jeweils individuelle und an die restlichen Einflussfaktoren angepasste Kriterien, in Hinblick auf den konkreten Einzelfall, abzuleiten, weshalb die Auflistung einzelner Kriterien als subjektiv und niemals abschließend erachtet werden kann (vgl. Dreyer/Heintze 2008, S. 151). Dies unter- streichen auch Sydow und Goebel (2001, S. 79) mit ihrer Aussage: „Mögliche Evaluationskrite- rien sind vielfältiger Natur und reichen von einfachen Effizienzmaßen über (um zum Beispiel um Gerechtigkeitskriterien erweiterte) Effektivitätsüberlegungen bis hin zu komplexen, multikriteri- ellen Indikatorensystemen. Die Kriterien können quantitativer oder qualitativer Natur sein [...]“. An anderer Stelle kommt dieser Gedanke noch klarer formuliert zum Ausdruck: „The number of criteria, which can be used to assess the success of an alliance or network, is almost unlimited“ (Sydow/Milward 2003, S. 3).

In Zusammenhang mit dem Aspekt der Kriterienauswahl sei auf zwei weitere Sachverhalte hingewiesen. Zum einen, dass einzelne Kriterien des Öfteren, zur Beschreibung und Bewertung eines Evaluationsgegenstandes, gesammelt und zu Dimensionen zusammengefasst werden (vgl. Neugebauer/Beywl 2006, S. 253). Zum anderen kommt es aber auch auf den Aspekt der Validität von Kriterien, zur Bewertung bestimmter Sachverhalte im Rahmen der Netzwerkevaluation, an. Hier stellt sich die Frage, ob die festgelegten Kriterien wirklich das messen was sie scheinbar vorgeben messen zu wollen. So ist beispielsweise fraglich, ob die Bekanntgabe einer Allianzankündigung und der damit verbundene Einfluss auf den Aktienkurs ein sinnvolles Kriterium, für die Performancemessung eines Netzwerkes, darstellt (vgl. Sydow 2008, S. 57).

Zeitpunkt als Einflussfaktor der Netzwerkevaluation

Ein weiterer bedeutsamer Einflussfaktor stellt der Zeitpunkt dar, zu dem eine Netzwerkevaluation durchgeführt wird. Die Literatur unterscheidet gängigerweise zwischen „formativer“ und „summativer“ Evaluation (vgl. Bortz/Döring 2005, S. 112; Kromrey 2001, S. 118; Stockmann 2007, S. 39; Schwippert/Klinger 2008, S. 18 f.).43

Bei der formativen Evaluation handelt es sich üblicherweise um eine begleitende Evaluation44 des Evaluationsgegenstandes, die auch als „Begleitforschung“ bezeichnet wird (vgl. Rossi et al. 1988, S. 11). Eine formative Evaluation stellt beispielsweise die Bewertung einer Netzwerkbeziehung zwischen zwei Partnern dar. Eine Besonderheit bei der Durchführung formativer Evaluationen ist es, dass die aus der Evaluation heraus gewonnenen Ergebnisse wiederum Konsequenzen für ihre weitere Fortführung haben. Die Evaluationsergebnisse (Zwischenergebnisse) werden regelmäßig auf den zu evaluierenden Gegenstand zurückgekoppelt. Die auf Basis der Evaluationsergebnisse getroffenen Entscheidungen modifizieren somit die Instrumente, respektive das Evaluationsdesign sowie den Gegenstand den es zu evaluieren gilt (vgl. Kulicke 2009, S. 14). Allerdings kann im Umkehrschluss, durch das Eingehen der Evaluationsergebnisse bzw. den daraus abgeleiteten Ent- scheidungen in den zu evaluierenden Gegenstand, nicht unbedingt auf die Erfolgswirkung der Evaluation geschlossen werden (vgl. Kromrey 2001, 118). Pfadabhängigkeiten im Rahmen von Netzwerkevaluationen sind möglich und unter mikropolitischer Perspektive durchaus wahrschein- lich. Formative Evaluationen sind, im Vergleich zu summativen Evaluationen, zumeist erkundend und besonders praxisorientiert angelegt (vgl. Kromrey 2001, 118; Bortz/Döring 2005, S. 112).

Summative Evaluationen45 verzichten dagegen explizit auf das Einfließen von Evaluationsergebnissen in den Evaluationsgegenstand. Dies ist möglich, indem der Zeitpunkt der Evaluation auf das Ende eines Projektes gelegt oder die Evaluation gar erst nach dessen Abschluss durchgeführt wird. Wesentliches Ziel der summativen Evaluation ist es, den Nutzen sowie die Wirksamkeit bestimmter Maßnahmen zusammenfassend zu beurteilen - im Nachhinein also ein Urteil/eine Bilanz über den Evaluationsgegenstand abzuliefern. Im Gegensatz zur formativen Evaluation kann bei der summativen Evaluation der Beginn, als auch das Ende der Evaluation, klar definiert werden (vgl. Kromrey 2001, 118; Bortz/Döring 2005, S. 113).

Zusammenfassend bringt folgender Vergleich, von Michael Scriven (1991, S. 19), die Unterscheidung der beiden Grundtypen von Evaluationen gut zum Ausdruck:

„When the cook tastes the soup, that’s formative evaluation; when the guest tastes it, that’s summative evaluation.“

Subjekt als Einflussfaktor der Netzwerkevaluation

Grundsätzlich muss beim Evaluationssubjekt zwischen zwei Dimensionen unterschieden werden. Zum einen bezieht sich der Einflussfaktor, „Wer evaluiert?“, auf die auftragsgebende Instanz, zum anderen aber auch auf die durchführende Instanz des Evaluationsprojektes. Im ersten Fall unter- scheidet man zwischen Selbst- und Fremdevaluation, d.h. es wird betrachtet, wer die Notwendig- keit einer Netzwerkevaluation feststellt (vgl. Wohlgemuth 2002, S. 169; Dreyer/Heintze 2008, S. 148).46 Im zweiten Fall können Netzwerkevaluationen sowohl von internen, wie auch von exter- nen Evaluatoren durchgeführt werden (vgl. ebd.; Schippert/Klinger 2008, S. 12). Insgesamt sind somit vier mögliche Ausprägungen denkbar.47 Im Folgenden soll jedoch nur noch auf den Einfluss der durchführenden Instanzen und deren Wirkung auf die Netzwerkevaluation eingegangen wer- den, da der Fakt, wer die Notwendigkeit der Evaluation erkennt, in der Regel nicht von besonderer Bedeutung ist. Zudem, so sollte es zumindest sein, hat dies auch keinen Einfluss auf die späteren Evaluationsergebnisse.

Bei einer internen Netzwerkevaluation wird das Evaluationsobjekt48 nach bestimmten Kriterien von Evaluatoren bewertet, die selber in irgendeiner Funktion mit dem Netzwerk in Verbindung stehen. In bestimmten Konstellationen kann auch von einer kritischen Prüfung gesprochen wer- den, der sich ein Netzwerk selber unterzieht (vgl. Schippert/Klinger 2008, S. 12). Der Vorteil einer internen Netzwerkevaluation ist es, dass die Evaluatoren bezüglich des Evaluationsobjektes über spezifisches Fachwissen verfügen (vgl. Dreyer/Heintze 2008, S. 148). Dieses Wissen kann bei der Interpretation der Evaluationsergebnisse von besonderer Wichtigkeit sein, beispielsweise um die- ses im Sinne einer zielgerichteten Netzwerkentwicklung einzusetzen (vgl. Schippert/Klinger 2008, S. 13; Sydow/Goebel 2001, S. 80). Aber auch die Nachteile einer internen Netzwerkevaluation dür- fen nicht übersehen werden. So können Evaluationsergebnisse je nach Interessen und Machtver- teilung, als ein mikropolitisches Instrument, innerhalb der Netzwerkbeziehung, eingesetzt werden (vgl. Sydow 2008, S. 58).49 Beispielsweise könnte in einem noch relativ harmlosen Fall, aufgrund freundschaftlicher Beziehungen, mit notwendiger Kritik gespart werden (vgl. Schippert/Klinger 2008, S. 13).

Bei der externen Netzwerkevaluation wird das Evaluationsobjekt ähnlich wie bei der internen Netz- werkevaluation bewertet, allerdings mit dem Unterschied, dass die Evaluatoren nicht in persön- licher Beziehung zum Netzwerk stehen. In diesem Zusammenhang denkbare Evaluatoren wären beispielsweise wissenschaftliche Institute, Berater/Netzwerkberater oder die für einen spezifischen Evaluationszweck notwendigen Personen oder Gruppen. Neben dem erhofften Ziel interessenneu- trale Evaluatoren zu gewinnen, ergeben sich die Vorteile eines externen Evaluators im Wesentli- chen aus den Nachteilen der internen Netzwerkevaluation. Nichts desto trotz muss im Hinterkopf behalten werden, dass auch die Neutralität eines externen Evaluators, durch netzwerkspezifische Interessen, korrumpiert werden kann.

Aus den, zu den verschiedenen Arten der Durchführung der Netzwerkevaluation, dargestellten Vor- und Nachteilen, ergibt sich nach Schwippert/Klinger (2008, S. 13) ein praktischer Schluss: „zu den im Rahmen einer externen Evaluation vereinbarten Evaluationskriterien“ können zusätz- lich, „durch die evaluierten Einrichtungen eigene Kriterien eingebracht werden, die aus einer spe- zifischen internen Sicht gegebenenfalls blinde Flecke der externen Evaluation aufhellen können“. Dieser Schluss ist nach Meinung der Autoren aber auch andersherum sinnvoll durchführbar.

Zusammenfassend sind in Tabelle 4 die wesentlichen Vor- und Nachteile der internen und externen Netzwerkevaluation dargestellt.

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 4: Vor- und Nachteile der internen und externen Evaluationsdurchführung

Zweck bzw. Hintergrund als Einflussfaktor der Netzwerkevaluation

Der Einflussfaktor Zweck bzw. Hintergrund der Netzwerkevaluation wurde aufgrund seiner besonderen Bedeutung bereits in Abschnitt 2.2.1 ausführlich behandelt, sodass an dieser Stelle hierauf nicht weiter eingegangen werden muss.

Netzwerkentwicklung als Einflussfaktor der Netzwerkevaluation

Nach Auffassung Sydows ist eine Netzwerkevaluation untrennbar mit der Netzwerkentwicklung verbunden (vgl. Sydow 2008, S. 58). Aus dieser Sichtweise heraus behauptet Sydow, dass „der Ge- brauch eines unzweckmäßigen Evaluationsinstruments in einem eher ’reifen’ Netzwerk leichter zu verkraften“ wäre, „als in einem gerade erst in Gründung befindlichen“ (Sydow 2008, S. 58). Diese Annahme impliziert, dass Evaluationsinstrumente, je nach Entwicklungsstand bzw. Reifegrad des Netzwerkes, anders wirken. Darüber hinaus wäre zu vermuten, dass „reifere Netzwerke ausge- feiltere Bewertungsverfahren zum Einsatz bringen“ (Sydow/Goebel 2001, S. 77), die ihrerseits wiederum eine rekursive Rückwirkung auf die Netzwerkentwicklung hätten (vgl. Sydow/Goebel 2001, S. 77)).50

Bezogen auf die Frühphase von Innovationsnetzwerken, weisen Koller et al. darauf hin, dass die Evaluation einzelner Beiträge eher eine untergeordnete Rolle spielt (Koller et al. 2006, S. 44). Sydow und Goebel meinen sogar, dass eine explizite Evaluation in einer frühen Netzwerkentwick- lungsphase eher zu Konflikten führt, als dass damit Probleme gelöst werden würden. Somit wäre eine Netzwerkevaluation typischerweise keine Handlungsalternative, welche den Akteuren in einer frühen Netzwerkentwicklungsphase zur Verfügung stehe (vgl. Sydow/Goebel 2001, S. 83).

Auch zu einem späteren Zeitpunkt, innerhalb der Netzwerkentwicklung, ist es nicht unbedingt ausgeschlossen, dass von einer Evaluation51 abgeraten werden muss. Eine solche Situation würde etwa dann vorliegen, wenn das Netzwerk noch recht fragil wäre und eine Evaluation die weitere Netzwerkentwicklung eher hemmen würde (Sydow/Goebel 2001, S. 81).

2.2.2.3. Zusammenfassung und Implikationen

Wie bereits in der Einleitung zum Abschnitt 2.2 angedeutet, kann es die Netzwerkevaluation nicht geben. Wer erwartet, auf die in der Einleitung zu dieser Arbeit (zugegebener weise) sehr allge- mein formulierte Frage, „Wie kann man den Erfolg von Netzwerken messen?“, eine mustermäßige Herleitung von unmittelbar anwendbaren Methoden und Instrumenten zu finden, muss leider ent- täuscht werden. Wie in den Abschnitten 2.2.2.1 und 2.2.2.2 dargestellt wurde, ist eine Evaluierung einfach zu komplex um sie auf eine alles umfassende Formel zu bringen (vgl. Sydow 2008, S. 57 f.). Insbesondere die variablen und situativen Bedingungen, die einer jeden Netzwerkevaluation aufgrund der Vielzahl an Einflussfaktoren inne wohnen, erteilen dieser Idee eine Absage und ma- chen es notwendig, jeweils individuell ein Konzept, in Hinblick auf den konkreten Evaluationsfall, zu entwerfen (vgl. Dreyer/Heintze 2008, S. 151). Der Evaluationsfall wird hierbei durch die Ag- gregation aller relevanten Einflussfaktoren beschrieben. Darauf aufbauend leiten sich die jeweils individuell und konkret anzuwendenden Methoden der Netzwerkevaluation ab.52 Darüber hinaus dürfen die einzelnen Einflussfaktoren nie losgelöst von anderen Einflussfaktoren gesehen werden, stehen sie doch in einem engen Zusammenhang mit anderen Einflussfaktoren und leiten sich aus diesen zum Teil derivativ ab (vgl. Schwippert/Klinger 2008, S. 15; Sydow/Milward 2003, S. 3).

Zusätzlich erscheint es notwendig, das „Evaluationsproblem“ aus unterschiedlichen Blickwinkeln zu betrachten. Aus einer entsprechenden Perspektive53 sind Instrumente der Evaluation sinnvoll und effizient einzusetzen. Aus einer anderen Sichtweise können diese aber auch als unzweckmäßig erscheinen.

Daher muss an dieser Stelle noch einmal ausdrücklich darauf hingewiesen werden, wie wich- tig eine genaue Auseinandersetzung mit den vielfältigen Einflussfaktoren einer Evaluation, vor deren Beginn, ist (vgl. Kromrey 2001, S. 107; Neugebauer/Rutten 2008, S. 102 f.). Ohne diese Auseinandersetzung ist eine Netzwerkevaluation nicht sinnvoll durchzuführen und wird im schlimmsten Fall zum Spielball der Interessen der Evaluatoren oder deren Auftraggeber.

2.2.3. Verfahren, Methoden und Techniken für Netzwerkevaluationen

Wie bereits in Abschnitt 2.2.2 herausgearbeitet, steht die Auswahl einer geeigneten Evaluations- methode im engen Zusammenhang mit der Aggregation, der für die Evaluation relevanten Einfluss- faktoren. Diese beschreiben das Evaluationsdesign und bestimmen somit das Feld an möglichen Evaluationsmethoden. Generell können Netzwerke auf unterschiedlichste Weise evaluiert werden, wozu eine Vielzahl von Evaluationsmethoden zur Verfügung stehen, die jeweils diverse Daten heranziehen. Unterschieden wird grundsätzlich zwischen ökonomisch bewertbaren, quantitativen Daten54 sowie schwierig oder nicht quantifizierbaren Daten, den qualitativen Daten55.

Dementsprechend wird auch zwischen qualitativen und quantitativen Bewertungsmethoden unter- schieden.

Allgemein helfen quantitative Bewertungsmethoden bei der Bewertung und Entscheidungsfindung von mengenmäßig bezifferbaren Problemen oder Themenstellungen des Evaluationsgegenstandes (vgl. Bundesministerium des Innern 2010a). Sie liefern exakt quantifizierbare Ergebnisse und sind recht einfach durchzuführen. Ebenfalls können mit ihrer Hilfe statistische Zusammenhänge ermittelt werden. Darüber hinaus bieten sie die Möglichkeit, eine große Stichprobe zu untersuchen und somit repräsentative Ergebnisse zu ermitteln. Durch die Möglichkeit großer Stichproben besitzen sie zudem eine hohe externe Validität. Damit einher geht jedoch auch der große Nachteil, dass durch die Standardisierung der Untersuchungssituation eine Flexibilität im Antwortverhalten der Probanden ausgeschlossen ist (vgl. Winter 2000).

Bei den qualitativen Methoden geht es dagegen um das Beschreiben, Verstehen und Interpretieren von Zusammenhängen, der Aufstellung von Klassifikationen oder Typologien sowie der Generie- rung von Hypothesen. Ihr Einsatz ist überall dort geeignet, wo eine differenzierte und ausführ- liche Beschreibung individueller Eindrücke56 benötigt wird. Qualitative Methoden können sehr kontingente Auseinandersetzung mit dem Systemausschnitt den es zu evaluieren gilt (z.B. à la Teller et al. (vgl. Teller et al. (2005), S. 138)) welcher im Vorfeld einer Netzwerkevaluation genau bestimmt werden muss. 54 Z.B. Umsätze, Erlöse, Kosten etc..

flexibel angewendet werden, denn hier passt sich die Methode an den Untersuchungsgegenstand an und nicht umgekehrt. Diese Offenheit des Vorgehens ermöglicht es zudem neue, bisher unbekannte, Sachverhalte zu entdecken. Auch bieten qualitative Methoden eine hohe inhaltliche Validität, durch eine nicht prädeterminierte Vorgehensweise sowie einen tieferen Informationsgehalt durch eine offene Befragung, an. Damit einher geht aber auch eine größere Subjektivität in den Ergebnissen. Dadurch, dass die Teilnehmer keinerlei Vorgaben haben, wird der Fokus von ihnen selber bestimmt und die subjektive Meinung wird erfasst (vgl. Winter 2000).

Jedoch ist es auch möglich sich bei einer Evaluation sowohl quantitativen als auch qualitativen Methoden zu bedienen, sodass insgesamt eine intermediäre Bewertungsmethode57 entsteht. Intermediäre Bewertungsmethoden nutzen jeweils die Vorteile von qualitativen und quantitativen Methoden und weiten damit den Blick für die Analyse sowie den notwendigen Handlungsbedarf. Sie sind gut einsetzbar, wenn das Bündel der zu messenden Evaluationsfaktoren zum Teil quantitativ, als auch qualitativ, ist (vgl. Dauser/Longmuß 2010, S. 42).

In den folgenden Abschnitten sollen die, aus Sicht der Autoren, für eine Netzwerkevaluation wichtigsten qualitativen, quantitativen und intermediären Methoden kurz vorgestellt werden.58 Hierzu werden zunächst als qualitative Methoden die sehr bekannte Nutzwertanalyse, die Prioritätenanalyse sowie die qualitative Befragung vorgestellt. Es folgen als quantitative Methoden die quantitative Befragung und die Nutzen-Risiko-Analyse. Abschließend wird ein mögliches generelles Vorgehen einer intermediären Methode, am Beispiel einer qualitativen/quantitativen Befragung, vorgestellt. Diese Methode wurde auch für die im weiteren Verlauf dieser Arbeit beschriebene Evaluation der ANP-Regionalgruppe Hamburg verwendet, um die jeweiligen Vorteile der qualitativen und quantitativen Methoden auszunutzen.

2.2.3.1. Qualitativ

Nutzwertanalyse

Eine sehr bekannte qualitative Bewertungsmethode, die auf Veränderungsprozesse im Netzwerk abzielt, ist die Nutzwertanalyse (vgl. Teller et al. 2005, S. 147). Sie bietet sich wie kein anderes Instrument, zur Bewertung der Fortschritte von Netzwerken, an. Die Nutzwertanalyse überschreitet traditionelle Methoden zur Analyse der Wirtschaftlichkeit, wie beispielsweise die Kosten-Nutzen- Analyse, weil bei ihr die Kosten zunächst vernachlässigt werden können (vgl. Endres 2001, S. 111).

Ebenfalls zeichnet sich die Nutzwertanalyse dadurch aus, dass sie als Selbstevaluation durch die jeweiligen Netzwerkakteure in einem gemeinsamen Prozess durchgeführt werden kann. Hierzu werden zunächst von den Netzwerkakteuren gemeinsam Indikatoren erarbeitet, welche später als Bewertungsgrundlage dienen (vgl. Teller et al. 2005, S. 147). Unterschieden wird hierbei zwischen Haupt- und Unterindikatoren (vgl. Endres 2001, S. 112). Die erarbeiteten Indikatoren erhalten zudem eine Gewichtung entsprechend ihrer jeweiligen Wichtigkeit (vgl. Teller et al. 2005, S. 147). Die Hauptkriterien werden entsprechend ihrer Bedeutung so mit Prozentgewichten versehen, dass die Summe aus den relativen Gewichten, der jeweiligen Hauptkriterien, 100 Prozent ergibt. Das gleiche Vorgehen gilt auch für die jeweiligen Unterkriterien.

Nachdem die jeweiligen Indikatoren mit Prozentgewichten versehen worden sind, können die Netzwerkteilnehmer die verschiedenen Indikatoren bewerten. Hierbei erfolgt eine Bewertung entweder anhand der Noten 1 bis 6 oder mit Hilfe einer Skala von 1 bis 10, wobei jeweils bewertet wird, wie gut oder schlecht ein bestimmter Indikator/ein bestimmtes Ziel, zum Zeitpunkt der Evaluation, erreicht worden ist (vgl. Endres 2001, S. 112).

Der Gesamtnutzwert eines jeden Indikators ergibt sich dementsprechend durch seine jeweilige Gewichtung, welche durch die mittlere Bewertung der Netzwerkakteure dividiert wird. Wird beispielsweise der Indikator „Informationsaustausch“ mit einer Gewichtung von 15 Prozent versehen und wird dieser im Mittel von allen Netzwerkpartnern mit gut (2) bewertet, so wäre sein Nutzwert entsprechend 7,559 (vgl. Teller et al. 2005, S. 147).

Mit diesem Verfahren wird schließlich eine Gesamtbeurteilung eines Netzwerkes, in Form einer einzigen Nutzwertziffer, möglich (vgl. Endres 2001, S. 112). Durch wiederholte Durchführung dieser Evaluationsmethode kann somit der Fortschritt des Netzwerks, in Bezug auf die Zielerreichung, gemessen werden.60

Etwas problematisch bei der Anwendung der Nutzwertmethode ist jedoch, dass kritische Schwächen in einem Netzwerk durch eventuell mehrere mittelmäßig ausgeprägte Stärken verdeckt werden können. Ebenfalls werden unter Umständen auch die einzelnen Bewertungspositionen der Netzwerkpartner nicht deutlich und der Evaluationsaufwand bei dieser Methode ist insgesamt vergleichsweise hoch (vgl. Teller et al. 2005, S. 144, 148).

Jedoch weist die Nutzwertanalyse eine sehr hohe Evaluationstiefe auf, hat ebenfalls einen sehr hohen Netzwerkpartnerbezug sowie einen geringen systemischen Umfang (vgl. Teller et al. 2005, S. 144).

Prioritätenanalyse

Bei der Evaluation von Netzwerken sehr behilflich sein kann auch die Methode der Prioritäten- analyse. Die Priorität der jeweiligen Ziele zu bestimmen bietet sich gerade dann an, wenn mehrere Ziele im Netzwerk zu berücksichtigen sind. Hierzu wird eine Rangfolge für die unabhängigen Teil- ziele (Einzelkriterien) durch eine Gewichtung ihrer Bedeutung gebildet. Somit kann eine unüber- sichtliche Ziel- oder Kriteriensammlung sehr schnell vereinfacht sowie eine Rangfolge aufgestellt werden (vgl. Bundesministerium des Innern 2010b).

Hierzu werden in einem ersten Schritt zunächst die Kriterien oder Ziele formuliert, welche später gewichtet werden sollen. Hierbei ist zu beachten, dass die Kriterien voneinander unabhängig und ausreichend aussagefähig sind. Die formulierten Kriterien werden anschließend in eine Prioritäten- matrix so eingetragen, dass jedes einzelne Kriterium mit allen anderen Einzelkriterien paarweise verglichen werden kann. Je nach Bedeutung der Einzelkriterien, können diese nun mit 0 (unwich- tig) bis 2 Punkten (sehr wichtig) bewertet werden.61 Wird anschließend die Summe einer jeden Zeile, der jeweiligen Einzelbewertungen gebildet, erhält man die Punktesumme eines jeden Kri- teriums. Das Kriterium mit der höchsten Punktzahl erhält entsprechend den ersten Platz und ist somit am wichtigsten, bezogen auf das zu betrachtende Netzwerk. Allgemein gilt, je mehr Perso- nen eine solche Bewertung vornehmen, desto objektiver wird diese auch (vgl. Bundesministerium des Innern 2010b). Die zuvor beschriebene Verfahrensweise der Prioritätenanalyse wird anhand eines Beispiels in Abbildung 3 verdeutlicht.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Beispiel einer Präferenzmatrix

Quelle: In Anlehnung an Bundesministerium des Innern 2010b

Qualitative Befragung

Eine weitere Methode zur Evaluation von Netzwerken ist die qualitative Befragung der Netzwerk- partner. Sie zeichnet sich dadurch aus, dass der Gesprächsverlauf weniger vom Interviewer und dafür mehr vom Befragten gesteuert und gestaltet wird. Hierzu gehört beispielsweise das offene Interview, indem durch den Interviewer so gut wie keine Strukturierung erfolgt und dieser nur ein Rahmenthema vorgibt sowie den Befragten anschließend möglichst ohne Einflussnahme sprechen lässt. Neben der mündlichen, kann auch eine schriftliche qualitative Befragung erfolgen, die jedoch nur selten durchgeführt wird, da Probanden eher zu mündlichen Äußerungen bereit und in der Lage sind, als zu schriftlichen Aussagen. Des Weiteren sind schriftliche Aussagen weniger spontan. Zwar sind sie besser durchdacht und erschöpfender, jedoch werden sie vom Befragten auch als anstrengender und schwieriger angesehen, als mündliche Äußerungen. Unterschieden wird zwi- schen offenen und halbstandardisierten Befragungen. Offene Befragungen sind im Grunde keine Interviews, da das Frage-Antwort-Muster fehlt und der Interviewer nicht in die Rolle des distan- zierten Befragers schlüpft, sondern eher in die eines emotional beteiligten, engagierten, wohlwol- lenden Gesprächspartners. Dieser geht flexibel auf den Befragten ein und reflektiert dabei genau seine eigenen Reaktionen. Halbstandardisierte Befragungen nutzen dagegen die Technik der of- fenen Fragen. Es werden somit zwar Fragen gestellt, aber keine Antwortalternativen vorgegeben. Zu den schriftlichen offenen Befragungen zählen beispielsweise Aufsätze zu einem vorgegebe- nen Thema. Im Vergleich zu quantitativen Befragungen, bei denen die Person des Interviewers ganz zurücktritt, wird der Interviewer in qualitativen Befragungen selbst zu einem „Erhebungs- instrument“, denn seine Gefühle, Gedanken und Verhaltensweisen wirken auf den Befragten ein und beeinflussen ihn. Werden diese sorgfältig notiert, so können sie in den späteren Analysen mit berücksichtigt werden (vgl. Bortz/Döring 2006, S. 308). Das heißt, im Rahmen von Netzwerkeva- luationen ist die Auswahl von geeignetem Interviewerpersonal bei qualitativen Befragungen somit von entscheidender Bedeutung.

[...]


1 Vgl. Schmidt/Koßmann (2011), S. 1 f..

2 Bspw. den Instrumenten aus den Disziplinen des Strategischen Managements, dem Controlling oder der Organisationsforschung.

3 Z.B. Vertrauen, Transparenz, Reziprozität etc..

4 Siehe bereits Sydow ((1992), S. V): „Die vertikal integrierte Großunternehmung wird substituiert durch einen Trend zum effizienten und flexiblen Netzwerk horizontal und vertikal verbundener Unternehmungen.“

5 Dieses Kapitel basiert im Wesentlichen auf Teilen einer Seminararbeit („Evaluation von Netzwerken“ von Schmidt/Koßmann (2011)), geschrieben an der Professur für Betriebswirtschaftslehre, insb. Organisationstheorie an der Helmut-Schmidt-Universität in Hamburg. Im Vergleich zur oben genannten Arbeit wurden jedoch alle Teile, bezogen auf das Ziel dieser Arbeit, überarbeitet und präzisiert.

6 Das Wort Evaluation leitet sich aus dem Lateinischen ab und bedeutet „Bewertung“ (vgl. Uhl (2000), S. 219).

7 Die Begriffe „Evaluation“ und „Evaluierung“ werden im Folgenden als Synonyme verwendet.

8 Stockmann meint sogar, dass die Bedeutungsvielfalt noch zugenommen habe (vgl. Stockmann (2007), S. 25).

9 Vgl. Stockmann (2006), S. 27; Kromrey (2001), 105 f..

10 Kromrey spricht in diesem Zusammenhang auch vom häufig und gerne benutzen Modewort (vgl. Kromrey (2005), S. 64).

11 Für eine detaillierte Einführung zum Themenkomplex Evaluation aber auch Evaluationsforschung siehe: Kromrey (2001), Wottawa/Thierau (2003), Rossi/Lipsey/Freeman (2004), Bortz/Döring (2005).

12 Zu dieser Diskussion siehe auch: Uhl (2000), S. 219.

13 Als Evaluatoren werden hier Individuen oder Gruppen bezeichnet die eine Evaluation durchführen.

14 Eine kritische Auseinandersetzung bezieht sich jedoch nicht nur auf den Prozess, sondern auch auf die Ergebnisse desselben.

15 Weitere Maßnahmen die diesen Themenkomplex tangieren werden ausführlicher im Abschnitt 2.2.2 auf Seite 17 behandelt.

16 Somit verbindet ein Netzwerk die Flexibilität des Marktes mit der Struktur der Hierarchie und erhöht dementsprechend sowohl kooperative als auch kompetitive Elemente (vgl. Müller (2002), S. 132).

17 Kooperationen innerhalb einer Unternehmung (intern).

18 Kooperationen mit anderen Unternehmungen (extern).

19 Diese Ressourcen werden in einem Leistungsaustausch gegenseitig zur Verfügung gestellt. Hierbei kann jeder der Beteiligten wirtschaftliche Vorteile für sich erzielen (vgl. Müller (2002), S. 133).

20 So bestimmen Informationen und das daraus resultierende Wissen beispielsweise den zukünftigen Absatzerfolg eines neuen Produktes oder einer Dienstleistung (vgl. Lemberger (2008), S. 20).

21 Bei der ANP-Regionalgruppe Hamburg wäre dies u.a. der Austausch von Informationen und Wissen im Bereich der Normung und Normenanwendung.

22 So kann jede Organisation seine volle Entscheidungsfreiheit behalten und trotzdem vom Ganzen profitieren (vgl. Lemberger (2008), S. 75).

23 Es werden ihnen somit keine hierarchischen Strukturen aufgezwungen (vgl. Lemberger (2008), S. 75).

24 Vgl. mit der auf Seite 7 von Kempfert/Rolff (2005, S. 11) abgeleiteten Evaluationsdefinition.

25 Die anderen drei Managementpraktiken sind Selektion, Allokation und Regulation (vgl. Sydow (2010b), S. 394). 26 Sydow stellt somit die Evaluationsaufgabe in den Gesamtkontext des Netzwerkmanagements. Nachfolgende Quellen bieten vertiefende Ausführungen zu den einzelnen Managementfunktionen: Sydow/Windeler (1994), insbesondere S. 5 f.; Sydow (2002), insbesondere S. 11 f.; Sydow (2006), insbesondere S. 406-414.

27 Vgl. Giddens (1984).

28 Unter einer reflexiven Überwachung wird „die alltägliche, mehr oder weniger systematische Beobachtung einer Handlungssituation, der Handlungsalternativen und der Handlungsfolgen durch einen individuellen oder kollektiven Akteur verstanden [...], der auf der Grundlage der auf diese Weise gesammelten Informationen die Alternativen

auswählen und auf die Situation einwirken will“ (Sydow (2008), S. 58).

29 Siehe Abschnitt, „Einflussfaktoren auf die Evaluation von Netzwerken“, 2.2.2 auf Seite 17.

30 Wie wird beispielsweise der Begriff Netzwerk definiert? Einige der in diesem Zusammenhang auftretenden Schwierigkeiten wurden bereits im Abschnitt 2.1.2 auf Seite 7 erläutert.

31 „Zweck“ der Netzwerkevaluation kann in diesem Zusammenhang auch als „Ziel“ (welches mit) der Netzwerkeva- luation (erreicht werden soll,) verstanden werden. Beide Begriffe werden im Folgenden als Synonyme verwendet. 32 Siehe auch unter Evaluationsanlässen in Sydows und Goebels Abbildung auf Seite 19. 33 Eine gewisse räumliche Zusammenballung von mehreren Betrieben einer gewissen Ähnlichkeit (vgl. Maier et al. (2006), S. 162).

34 „Die“ meint in diesem Zusammenhang, dass es keinen „one best way“ in der Netzwerkevaluation geben kann - also kein Schema nach dem eine Netzwerkevaluation immer ablaufen kann. Die Vielfalt der im nachfolgenden darzu- stellenden Einflussfaktoren unterstreicht diesen Gedankengang (vgl. Kromrey (2001), S. 116; Neugebauer/Rutten (2008), S. 102 f.).

35 Siehe bereits Abschnitt 2.1.3 auf Seite 12.

36 Siehe als Beispiel die fett hervorgehobenen Merkmalsausprägungen in der Abbildung von Sydow/Goebel (Abbil- dung 2).

37 Dieses Vorgehen ist nach Ansicht der Autoren vergleichbar mit der Kreativitätstechnik des Morphologischen Kastens nach Fritz Zwicky (vgl. Schröder (2005), S. 258 f.).

38 Kromrey bezieht sich bei der Differenzierung nicht speziell auf die Beschreibung des Gegenstandes innerhalb der Netzwerkevaluation, sondern formuliert diese allgemein für Evaluationen (Was wird evaluiert?).

39 Z.B. Konsequenzen und Nebenwirkungen.

40 Zielführend kann in diesem Zusammenhang so verstanden werden, dass Kriterien im Vorfeld eindeutig und doku- mentiert festgelegt werden. Dieses Vorgehen erlaubt es den Evaluatoren ihre Urteile nachvollziehbar, überprüfbar und kritisierbar zu fällen und vermeidet so die Bildung von ad hoc zustande kommende Kriterien und Maßstäben (vgl. Kromrey (2001), S. 111).

41 An dieser Stelle muss insbesondere auf die enge Kopplung zwischen Kriterien und den angewendeten Methoden der Netzwerkevaluation hingewiesen werden. Siehe dazu ausführlich Abschnitt 2.2.3 auf Seite 27.

42 Nicht desto trotz sind in der Netzwerkliteratur Listen von Kriterien zu finden. Siehe dazu: Teller et al. (2005), S. 140.

43 Diese, sich in der Konzeptionalisierung von Evaluationen durchgesetzte, Unterscheidung geht ursprünglich auf Michael Scriven (1991) zurück (vgl. Dreyer/Heintze (2008), S. 150).

44 Wieder andere Autoren sprechen in diesem Zusammenhang auch von Prozessevaluation (vgl. Schwippert/Klinger (2008), S. 18) oder projektbezogene Evaluation (vgl. Miethner (2008), S. 111).

45 Summative Evaluationen werden zum Teil auch als Ex-post-Evaluationen bezeichnet (vgl. Kulicke (2009), S. 14).

46 Stellen Akteure die Notwendigkeit einer Evaluation selber fest (Eigen- oder Selbstevaluation) oder werden sie durch äußere Einflussfaktoren (z.B. vertragliche oder gesetzliche Regelungen) dazu gezwungen (Fremdevaluation)?

47 Interne/externe Selbstevaluation sowie interne/externe Fremdevaluation.

48 Z.B. das Netzwerk als Ganzes, einzelne Netzwerkpartner etc.. 49 Mehr zu diesem Aspekt: siehe Abschnitt 2.2.4 auf Seite 36.

50 Sydow versucht den zuvor beschriebenen Zusammenhang zwischen Netzwerkevaluation und Netzwerkentwicklung am Beispiel eines Netzwerks von Versicherungsmaklern (InBroNet = Insurance Broker Network) aufzuzeigen. Siehe dazu ausführlicher Sydow (2001), (2004).

51 Als Beispiel wird die Evaluation von Beiträgen einzelner Netzwerkpartner genannt.

52 Siehe dazu insbesondere Abschnitt 2.2.3 auf Seite 27.

53 An dieser Stelle sei unter „Perspektive“ zweierlei verstanden. Zum einen sowohl die theoriegeleitete Sicht auf den Gegenstand der Netzwerkevaluation (z.B. à la Sydow (vgl. Sydow (2008), S. 58)), zum anderen jedoch auch die kontingente Auseinandersetzung mit dem Systemausschnitt den es zu evaluieren gilt (z.B. à la Teller et al. (vgl. Teller et al. (2005), S. 138)) welcher im Vorfeld einer Netzwerkevaluation genau bestimmt werden muss.

54 Z.B.Umsätze,Erlöse,Kostenetc..

55 Z.B. Daten zum Image, zu Vertrauen und Reziprozität, zu den Stärken oder zu den Schwächen eines Netzwerkes etc..

56 Z.B. die subjektive Wahrnehmung und aktuelle Stimmung der Netzwerkbeteiligten (vgl. Dauser/Longmuß (2010), S. 42).

57 In der Literatur wird auch von Mischformen gesprochen (vgl. Dauser/Longmuß (2010), S. 42). Im Folgenden sei jedoch ausschließlich der Begriff intermediär verwendet.

58 Weitere mögliche Methoden zur Netzwerkevaluation sind überblicksartig im Anhang A.5 dargestellt.

59 Berechnung: Gewichtung (15) / mittlere Bewertung (2).

60 Somit eignet sich diese Methode hervorragend für Längsschnittsuntersuchungen.

61 Am Beispiel des Vergleichs der Kriterien „Reziprozität“ und „Kosten des Netzwerkes“ in Abbildung 3, bedeutet eine 2, dass das Kriterium „Reziprozität“ gegenüber dem Kriterium „Kosten des Netzwerkes“ als sehr wichtig bewertet wird.

Autoren

Teilen

Zurück

Titel: Evaluation von Netzwerken