Anwendung eines künstlichen neuronalen Netzes zur Kursprognose am Beispiel des DAX

Inhaltsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

Abku¨rzungsverzeichnis

Symbolverzeichnis

1 Einleitung

2 Biologische Grundlagen neuronaler Netze
2.1 Das Gehirn als Vorbild
2.2 Die Hirnrinde (Neokortex)
2.3 Die Nervenzelle (Neuron)

3 Ku¨nstliche neuronale Netze (KNN)
3.1 Entstehungsgeschichte
3.2 Aufbau und Funktionsweise eines ku¨nstlichen Neurons
3.3 Netzwerktypen
3.3.1 Vorw¨arts gerichtete Netze
3.3.1.1 Einstufige Netze
3.3.1.2 Mehrstufige Netze
3.3.2 Netze mit Ru¨ckkopplung
3.3.2.1 Hopfield-Netze
3.3.2.2 Boltzmann-Netze
3.3.3 Selbstorganisierende Netze
3.3.4 Weitere Netztypen
3.3.4.1 Neokognitron
3.3.4.2 Bidirektionaler Assoziationsspeicher
3.3.4.3 Counterpropagation
3.4 Lernen in KNN
3.4.1 Lernarten
3.4.1.1 U¨ berwachtes Lernen
3.4.1.2 Unu¨berwachtes Lernen
3.4.1.3 Best¨arkendes Lernen
3.4.2 Lernregeln
3.4.2.1 Hebb’sche Lernregel
3.4.2.2 Delta-Regel
3.4.2.3 Backpropagation-Regel
3.4.2.4 Konkurrenzlernen
3.4.3 Optimierung des Lernprozesses
3.4.3.1 Stopp-Training
3.4.3.2 Pruning
3.4.3.3 Komplexit¨atsterme
3.5 KNN in der Praxis
3.5.1 Anwendungsgebiete
3.5.2 KNN in der O¨ konomie

4 Entwicklung eines KNN zur DAX-Prognose
4.1 Prognoseziel und Methodologie
4.2 Datenbasis
4.2.1 Voru¨berlegungen
4.2.2 Datenselektion
4.2.2.1 Fundamentale Inputs
4.2.2.2 Technische Inputs
4.2.3 Datenaufbereitung
4.2.4 Aufteilung der Datenmenge
4.3 Netzwerkstruktur
4.3.1 Netzwerktyp
4.3.2 Neuronenanzahl
4.3.3 Lernverfahren
4.3.4 M¨ogliche Probleme der Backpropagation-Methode
4.3.4.1 Lokale Minima
4.3.4.2 Symmetry Breaking
4.3.4.3 Flache Plateaus
4.3.4.4 Oszillation
4.4 Netzwerkinitialisierung
4.4.1 Verwendete Software
4.4.2 Lernrate
4.4.3 Momentum
4.4.4 Stopp-Training-Punkt
4.4.5 Gewichte und Schwellenwerte
4.5 Netzwerktraining
4.5.1 Prognosehorizont: Ein Tag
4.5.2 Prognosehorizont: Fu¨nf Tage
4.5.3 Prognosehorizont: 20 Tage
4.6 Netzwerkoptimierung
4.6.1 Mean-Change-Point-Test
4.6.2 Gewichtspruning
4.6.3 Sensitivit¨atsanalyse
4.6.4 Topologiever¨anderungen
4.7 Analyse der Fundamentalinputs
4.8 Netzwerkergebnisse
4.8.1 Hitratio und Benchmarks
4.8.2 Untersuchungsergebnisse im U¨ berblick

5 Zusammenfassung und Ausblick

A Anhang
A.1 Herleitung des Backpropagation-Algorithmus
A.2 Tabellen zur Sensititivit¨atsanalyse
A.3 MATLAB-Codes
A.3.1 Funktion ”Import1“
A.3.2 Funktion ”ErstelleStartNetz“
A.3.3 Funktion ”TrainiereStartNetz“
A.3.4 Funktion” MCP“
A.3.5 Funktion ”Pruning“
A.3.6 Funktion ”SensAnalyse“
A.3.7 Funktion ”TrainiereTopHalf“
A.3.8 Funktion FundamentalAnalyse“
A.3.9 Funktion ”LR

Literaturverzeichnis

Abbildungsverzeichnis

1 Die Assoziationfelder der Hirnrinde

2 Aufbau eines Neurons

3 Das McCulloch-Pitts-Neuron

4 Das XOR-Problem

5 Schema eines ku¨nstlichen Neurons

6 Diskrete und stetige Transferfunktionen

7 Einstufiges Netz mit einer Ausgabe

8 Einstufiges Netz mit drei Ausgaben

9 Zweistufiges neuronales Netz (ohne Bias)

10 Hopfield-Netz

11 Globales Minimum einer Energiefunktion

12 Selbstorganisierendes Netz

13 Ausgew¨ahlte Optimierungsverfahren

14 Aufteilung der Vergangenheitsdaten

15 Fehlerverlauf von Trainigs- und Testmenge

16 Gewichtspruning

17 Bestrafung großer Gewichte: SWD vs. WPT

18 DAX-Verlauf (02.01.1990–14.11.2007)

19 Topologie des Start-Netzes

20 Lokales Minimum

21 Direktes und indirektes Oszillieren

22 Fehlerverlauf bei einer zu hohen Lernrate

23 Fehlerverlauf mit und ohne adaptive Lernrate

24 Fehlerverlauf bei sehr kleinem Momentum

25 Fehlerverlauf bei zuf¨alliger Initialisierung

26 Fehlerverlauf bei erneuter zuf¨alliger Initialisierung

27 Fehlerverlauf (Prognosehorizont: Ein Tag)

28 Vergleich von Netz- und Zieloutput (Prognosehorizont: Ein Tag)

29 Fehlerverlauf (Prognosehorizont: Fu¨nf Tage)

30 Vergleich von Netz- und Zieloutput (Prognosehorizont: Fu¨nf Tage)

31 Fehlerverlauf (Prognosehorizont: 20 Tage)

32 Vergleich von Netz- und Zieloutput (Prognosehorizont: 20 Tage)

33 Bestimmung des Mean-Change-Points

34 Netzwerk-Performance nach MCP-Test (Ein-Tages-Prognose)

35 Netzwerk-Performance nach Gewichtspruning (20-Tage-Prognose)

36 Fehlerverlauf nach Sensitivit¨atsanalyse (Prognosehorizont: Fu¨nf Tage)

37 Auswirkungen von Topologiever¨anderungen auf den Testfehler

38 Fehlerverlauf fu¨r Fundamentalinputs (Prognosehorizont: 20 Tage)

39 Zeitreihen fu¨r Fundamentalinputs (Prognosehorizont: 20 Tage)

Tabellenverzeichnis

1 Gehirn vs. Computer

2 Anwendungsgebiete neuronaler Netze

3 U¨ bersicht der fundamentalen Inputs

4 Umfang von Trainings- und Testset

5 Netzwerkparameter

6 Ergebnisse des MCP-Tests

7 Ergebnisse des Gewichtsprunings

8 Ergebnisse der Sensitivit¨atsanalyse (Prognosehorizont: Fu¨nf Tage)

9 Netz-Performance nach der Sensitivit¨atsanalyse

10 Ergebnisse der Topologiever¨anderungen

11 Ergebnisse der Sensitivit¨atsanalyse fu¨r ausgew¨ahlte Fundamentalinputs

12 U¨ bersicht der Prognoseergebnisse (fu¨r Prognosehorizonte)

13 U¨ bersicht der Prognoseergebnisse (fu¨r fundamentale Inputs)

Abku¨rzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Symbolverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

1 Einleitung

Der Wunsch, die Zukunft vorhersagen zu k¨onnen, existiert wohl schon seit Men- schengedenken. Egal, ob es um Fußball-Ergebnisse oder Aktienkurse geht, der Ge- danke, Zuku¨nftiges bereits heute zu kennen, fasziniert. Die Motivation kann dabei

v¨ollig verschieden sein. W¨ahrend der Eine nur etwas

u¨ber das Wetter seines n¨achs-

ten Urlaubsortes wissen will, m¨ochte der Andere von Zukunftsprognosen profitieren. Insbesondere die richtige Vorhersage von Finanzzeitreihen, k¨onnte dies erm¨oglichen.

Die Methoden, die zur Finanzprognose eingesetzt werden, sind dabei ¨außerst vielf¨altig. Neben den qualitativen Verfahren, die auf Expertenmeinungen, Umfra- gen oder Erfahrungen beruhen, existieren zahlreiche quantitative Techniken, die das Vorhandensein von Vergangenheitsdaten voraussetzen. Auf Grundlage mathematisch- statistischer Berechnungen haben sich so bis heute vor allem ¨okonometrische Modelle

und Zeitreihenanalyseverfahren einen Namen gemacht. Begri-e wie Regressionsana”

lyse“ oder exponentielles Gl¨atten“ geh¨oren mittlerweile zum Grundwortschatz eines ”

jeden Betriebswirtschaft-Studenten.

Seit einigen Jahren dringen auch ku¨nstliche neuronale Netze (KNN) in Bereiche ein, die zuvor Dom¨ane klassischer Methoden oder langj¨ahriger Experten waren. Finanziellunterstu¨tzt von zahlreichen Unternehmen der Finanzbranche und Industrie, wurden dieForschungen bezu¨glich des Einsatzes neuronaler Netze unter anderem zu Prognosezwe-cken immer st¨arker vorangetrieben.^[1] Die Ho-nungen beruhten dabei vor allem auf der F¨ahigkeit neuronaler Netze, jede beliebige Funktion approximieren sowie bestimmte Muster und Datenzusammenh¨ange erkennen zu k¨onnen. Daru¨ber hinaus gelten ku¨nst-liche neuronale Netze aufgrund ihrer Lernf¨ahigkeit als vergleichsweise fehlertolerant und robust. Sie eignen sich deshalb insbesondere fu¨r die Analyse von Fragestellungen, u¨ber deren mathematische Beziehungen nur geringe Kenntnisse vorhanden sind. Einetypische Herausforderung ist in diesem Zusammenhang die Untersuchung und Progno- se von Finanzmarktgr¨oßen. Die hohe Dynamik globaler Finanzm¨arkte macht es unter Umst¨anden nur schwer m¨oglich, auf einfache statistische Methoden zur Vorhersage von

Finanzzeitreihen zuru¨ckzugreifen, da diese oft nur unzureichend in der Lage sind, die dem Marktgeschehen zugrunde liegenden Prozesse zu erkennen und zu beschreiben.

Wenn ku¨nstliche neuronale Netze zur L¨osung komplexer Problemstellungen so ge- eignet scheinen, stellt sich die Frage, weshalb sie sich bis heute noch nicht in Lehre und Praxis gegenu¨ber anderen Methoden durchgesetzt haben. Eine m¨ogliche Antwort

a neural network for forecasting financial and eco-

nomic time series“, Neur ocomputing, Vol. 10, 1996, S. 215.

darauf ist, dass neuronale Netze nur schwer greifbar und die in ihnen vorgehenden Prozesse zu wenig transparent fu¨r den ungeu¨bten Anwender sind. Auch die teilweise extensive Rechenzeit, die ben¨otigt wird, um neuronale Netze zu trainieren, stellt eine Hemmschwelle in Bezug auf deren Einsatz dar. Daru¨ber hinaus konnte bisher keine klare Dominanz neuronaler Netze gegenu¨ber anderen Methoden nachgewiesen werden.Aus diesen Gru¨nden greifen viele Unternehmen bis heute immer noch auf herk¨ommlicheVerfahren zuru¨ck, da diese meist mithilfe schneller und leicht verst¨andlicher Berech- nungen analysiert werden k¨onnen. Die zahlreichen Studien zur Anwendung neuronalerNetze zeigen jedoch, dass die erzielten Ergebnisse dem Vergleich zu anderen Modellen durchaus standhalten.

Vor dem Hintergrund, dass neuronale Netze das Potential besitzen, gute Prognose- ergebnisse zu erzielen, soll im Rahmen dieser Arbeit ein ku¨nstliches neuronales Netz zur Kursprognose des Deutschen Aktienindex (DAX) entwickelt und eingesetzt werden. Dabei wird im ersten Teil anfangs auf den biologischen Ursprung ku¨nstlicher neuronalerNetze eingegangen. Anschließend wird beschrieben, was genau unter einem ku¨nstlichenneuronalen Netz zu verstehen ist. Dies geschieht, indem neben der Entstehungsgeschich- te und den verschiedenden Typen neuronaler Netze auch auf ausgew¨ahlte Lernregeln und Optimierungsm¨oglichkeiten eingegangen wird.

Im praxisorientierten zweiten Teil dieser Arbeit wird anhand ausgew¨ahlter Deter- minanten ein ku¨nstliches neuronales Netz entwickelt und angewendet. Dabei werden zun¨achst einige Voru¨berlegungen hinsichtlich der Selektion der relevanten Einfluss- gr¨oßen angestellt. Anschließend wird das Netz fu¨r verschiedene Horizonte zur DAX- Prognose eingesetzt. Um eine m¨ogliche Verbesserung der erzielten Resultate zu errei- chen, werden einige der theoretisch beschriebenen Optimierungsverfahren auf das Netz angewendet. Nach einer weiterfu¨hrenden Untersuchung hinsichtlich der Prognosef¨ahig-keit des Netzes anhand ausgew¨ahlter Inputgr¨oßen, werden die wichtigsten Ergebnisse im letzten Abschnitt noch einmal zusammengefasst und mit den Resultaten anderer Prognoseverfahren verglichen. Schwerpunkt der nachfolgenden Betrachtungen ist dabei allerdings weniger der Prognoseerfolg im Verh¨altnis zu anderen Verfahren als viel mehrdie systematische Anwendung eines ku¨nstlichen neuronalen Netzes und die Analyse derAuswirkungen verschiedener Modellvariationen auf dessen Leistungsf¨ahigkeit.

2 Biologische Grundlagen neuronaler Netze

2.1 Das Gehirn als Vorbild

Um zu verstehen, wie ku¨nstliche neuronale Netze funktionieren, bedarf es eines Exkur-ses in die Biologie: Gegen Ende des 19. Jahrhunderts gab es zwei Au-assungen u¨ber den Aufbau des menschlichen Gehirns. W¨ahrend der italienische Mediziner Camillo Golgi die Meinung vertrat, dass das Gehirn aus einem zusammenh¨angenden Synzyti- um^[2] besteht, glaubte der spanische Gehirnforscher Santiago Felipe Ramo´n y Cajal an eine andere Struktur: Unter Anwendung einer von Golgi^[3] entwickelten histologische F¨arbetechnik^[4], kam Ramo´n y Cajal zu dem Schluss, dass das Gehirn aus einer Vielzahl an Einzelzellen (Neuronen) besteht, die u¨ber Verbindungsstr¨ange miteinander kommu-nizieren. Diese Verbindungen bezeichnete der Neurophysiologe Sir Charles Sherrington

als so genannte Synapsen“. Im Laufe des 20. Jahrhunderts konnte durch zahlreiche ”

weitere Forschungen gezeigt werden, wie das menschliche Gehirn arbeitet. Dabei stellte

sich heraus, dass das Gehirn aus Milliarden von Neuronen, die zur Reizverarbeitung dienen, besteht. Diese Neuronen haben im Vergleich zur Rechenleistung eines Compu- ters in bestimmten Bereichen eine wesentlich langsamere Verarbeitungsgeschwindigkeit. Die große Anzahl von Neuronen und deren Zusammenwirken machen es dem Gehirn jedoch m¨oglich, Aufgaben zu bew¨altigen, die ein Computer nicht l¨osen kann. Die fol- gende Tabelle zeigt, inwiefern sich das menschliche Gehirn und die Prozessoreinheit eines Computers hinsichtlich ihrer Leistungsf¨ahigkeit unterscheiden^[5]:

Abbildung in dieser Leseprobe nicht enthalten

T abelle 1: Gehirn vs. Computer

Das Gehirn hat die Aufgabe, aufgenommene Reize zu verarbeiten und das Verhalten

eines Organismus so zu steuern, dass dieser sich an seine Umwelt anpassen kann. Dabei erfolgt die Reizaufnahme u¨ber so genannte Rezeptoren“, wie z.B. die menschlichen

”

Sinnesorgane. Die Rezeptoren wandeln jeden Reiz in ein Signal um, welches u¨ber das

Nervensystem an das Gehirn weitergeleitet wird. Im Gehirn erfolgt anschließend die Verarbeitung der aufgenommenen Reize. Je nach Art des eingegangenen Signals wird ein Reaktionsreiz an die so genannten E-ektoren“ ausgesendet. Kommt ein Mensch

”

beispielsweise in Beru¨hrung mit einer heißen Herdplatte, wird der entsprechende Reiz

u¨ber den Tastsinn aufgenommen, vom Gehirn verarbeitet und u¨ber die E-ektoren mit einer Reaktion (z.B. Zusammenziehen der Armmuskulatur) beantwortet.

2.2 Die Hirnrinde (Neokortex)

Das Gehirn ist die wichtigste Schaltstelle des zentralen Nervensystems. Fu¨r die Ver- arbeitung der an das Gehirn weitergeleiteten Informationen sind die Neuronen in der Hirnrinde (Neokortex) zust¨andig. Je nach Art des Reizes findet dieser Vorgang in einembestimmten Teil der Hirnrinde statt^[6]:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Die Assoziationfelder der Hirnrinde

Die Hirnrinde ist ein etwa zwei bis drei Millimeter dickes und 0,2 Quadratmeter umfas- sendes Gewebe, dessen elementare Verarbeitungseinheit das Neuron ist. Die Tatsache, dass sich auf einer Fl¨ache von einem Quadratmillimeter etwa 100 000 Neuronen be- finden, macht deutlich, aus wie vielen Neuronen die Hinrinde besteht. Alle Neuronen in der Hirnrinde und deren Verbindungen untereinander bilden ein neuronales Netz. Ein Mensch besitzt ca. 1011 Neuronen, die u¨ber insgesamt 1014 Leitungen miteinan-

R. Oldenbourg Verlag GmbH, 1994, S.13.

der verbunden sind.^[7] Interessant ist dabei, dass diese Verbindungen nicht etwa bereits von Geburt an bestehen, sondern dass sie sich erst durch wiederholte Reizverarbeitung im Verlauf des Lebens auspr¨agen. Die Reaktion auf einen Umweltreiz wird in Form eines Verbindungsmusters zwischen den Neuronen gespeichert. Wird eine bestimmte Reaktion auf ein ¨außeres Signal u¨ber l¨angere Zeit nicht trainiert, kommt es zu einer Abschw¨achung der entsprechenden Neuronenverbindungen im jeweiligen Assoziations-feld der Hirnrinde und der Mensch beginnt, das erlernte Verhalten zu vergessen.

2.3 Die Nervenzelle (Neuron)

Ein Neuron, auch Nervenzelle genannt, besteht neben seinem Zellkern aus drei weiteren wesentlichen Elementen, mit denen es in der Lage ist, Informationen zu verarbeiten^[8]:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Aufbau eines Neurons

Die Darstellung zeigt, dass Neuronen eine Eingabeleitung (Dendrit), eine Prozessor- einheit (Zellkern) und eine Ausgabeleitung (Axon) besitzen. Die u¨ber die Dendriten weitergeleiteten elektrochemischen Signale werden u¨ber die dem Neuron vorgelagertenSynapsen entweder verst¨arkt oder abgeschw¨acht. Da es eine Vielzahl von Dendriten gibt, die Reize an das Neuron weiterleiten, kommt es nur zu einer Aktivierung des Neurons, wenn die Summe aller Reize einen bestimmten Schwellenwert u¨berschreitet.

Ist das kumulierte Signal ausreichend groß, sendet (

feuert“) das Neuron einen Impuls

”

u¨ber das Axon an die nachgelagerten Neuronen, welche diesen wiederum als Eingabe-

signal aufnehmen. Dieser Prozess, der im Gehirn millionenfach zeitgleich stattfindet, macht es uns Menschen m¨oglich, sowohl Informationen aufzunehmen, zu filtern, zu sor-tieren, zu interpretieren, zu speichern, abzurufen, zu nutzen und mitzuteilen als auch Gefu¨hle zu erleben und Bewegungen zu kontrollieren.

3 Ku¨nstliche neuronale Netze (KNN)

3.1 Entstehungsgeschichte

Seit Beginn des 20. Jahrhunderts wurden immer gr¨oßere Fortschritte auf dem Gebiet der Gehirnforschung erzielt. Es dauerte nicht lange, bis der erste theoretische Versuch unternommen wurde, die Funktionsweise des menschlichen Gehirns auf die Informatik zu u¨bertragen. Im Jahre 1943 modellierten die amerikanischen Wissenschaftler Warren

McCulloch und Walter Pitts das erste ku¨nstliche Neuron (McCulloch-Pitts-Neuron).^[9]

Es handelte sich dabei um ein bin¨ares Schaltelement, das aktiviert wird, wenn die

Summe der erregenden Eingaben x i den Schwellenwert S

wurden dabei gleich gewichtet:

u¨berschreitet. Alle Eingaben

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Das McCulloch-Pitts-Neuron

McCulloch und Pitts beru¨cksichtigten in ihrem Modell auch die von biologischen Neu- ronen bekannte Eigenschaft, dass nur eine einzige hemmende Eingabe ausreicht, um den Ausgabewert des Neurons auf Null zu setzen. Sie waren schon damals der Auf- fassung, dass einfache Netze aus ku¨nstlichen Neuronen jede beliebige logische oder arithmetische Funktion abbilden k¨onnen.

In den Folgejahren wurden verschiedene Neuronennetze von beru¨hmten Wissen- schaftlern wie Norbert Wiener^[10] und John von Neumann^[11] entwickelt und getestet. Eine der bedeutensten Entdeckungen machte 1949 der Psychologe Donald O. Hebb. Er formulierte als Erster eine einfache Lernregel fu¨r neuronale Netze, die er nutzte, um Ergebnisse psychologischer Experimente zu begru¨nden.^[12] In den fu¨nfziger Jahren er- fuhr die Entwicklung ku¨nstlicher neuronaler Netze eine immer rasantere Entwicklung.

So wurden die ersten Neurocomputer erscha-en, die in der Lage waren, die Gewichte der Eingabewerte mithilfe der Hebb’schen Lernregel zu ver¨andern^[13] und Musterer- kennungsprobleme zu l¨osen^[14]. Basierend auf dem 1958 von Rosenblatt gescha-enen Perzeptron“, entwickelten Bernard Widrow und Marcian E. Ho- ein bin¨ares Neuron ”( Adaline“), dessen m¨ogliche Ausgabewerte erstmals ”

+1“ und ” -1“ waren.^[15]”

Trotz der rasanten Fortschritte, die bei der Entwicklung neuronaler Netze gemacht

wurden, gab es auch einige konzeptionelle Schw¨achen ku¨nstlicher Neuronen, die von den Forschern Marvin Minsky und Seymour Papert im Jahre 1969 aufgedeckt wurden.

In ihrem Werk Perceptrons“^[16]machten sie vor allem auf das Problem der linearen ”

Separierbarkeit aufmerksam. Am Beispiel der XOR-Funktion zeigten sie, dass ein Perzeptron^[17], entgegen der bis dahin vorherrschenden Meinung, nicht in der Lage ist, jeden beliebigen Funktionstyp abzubilden. Die folgende Grafik zeigt, dass die verschiedenen Ausgabewerte der XOR-Funktion (Ausgabe ist nur dann 1“, wenn die Eingaben un”

terschiedlich sind) im Vergleich zu denen der OR-Funktion (Ausgabe ist 1“, wenn

”

mindestens eine Eingabe 1“ ist) nicht durch eine Gerade getrennt werden k¨onnen:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Das XOR-Problem

Es ist unm¨oglich, die Parameter (Gewichte und Schwellenwert) eines Perzeptrons so festzulegen, dass die XOR-Funktion dargestellt werden kann.

Aus Mangel an L¨osungsans¨atzen fu¨r diese und andere Schwachstellen kam es in den Folgejahren zu einer Stagnation in der Erforschung neuronaler Netze. Erst in

den achtziger Jahren erlebten ku¨nstliche neuronale Netze ihre Wiedergeburt“ durch

die Entwicklung der Hopfield-Netze^[18] und des bahnbrechenden Backpropagation- Algorithmus (Fehlerru¨ckfu¨hrungsmethode)^[19]. Die Backpropagation-Methode ist auf-grund ihrer Schnelligkeit und Robustheit bis heute eines der am h¨aufigsten eingesetztenLernverfahren ku¨nstlicher neuronaler Netze.

Dass das Interesse am Einsatz neuronaler Netze in den letzten Jahrzehnten nahezu explosionsartig angestiegen ist, l¨asst sich sowohl an den zahlreichen Publikationen^[20] als auch an der Vielzahl von Fachzeitschriften (Neural Networks, Neural Computa- tion, Neurocomputing, etc.) und Institutionen (INNS: International Neural Network Society, ENNS: European Neural Network Society, etc.) festmachen. Dabei kommen ku¨nstliche neuronale Netze neben den klassischen Anwendungsbereichen in Medizin und Informatik auch immer h¨aufiger als Entscheidungsmodelle fu¨r betriebswirtschaft- liche Fragestellungen zum Einsatz.

3.2 Aufbau und Funktionsweise eines ku¨nstlichen Neurons

In Anlehnung an sein biologisches Vorbild – der Nervenzelle – besitzt auch das klassische ku¨nstliche Neuron eine Eingabeschicht, eine Verarbeitungseinheit und eine Ausgabe- schicht:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 5: Schema eines ku¨nstlichen Neurons

Die vom Neuron aufgenommen Reize x 1, x 2, x 3, . . . x n werden durch die Synapsen ent- weder verst¨arkt oder abgeschw¨acht, was sich mathematisch durch eine einfache Multi- plikation mit einer reellen Zahl (w 1 j, w 2 j, w 3 j, . . . w nj) abbilden l¨asst. Positive Gewichte sorgen dabei fu¨r eine Reizverst¨arkung und negative fu¨r eine Abschw¨achung. Zur Er- mittlung des einheitlichen Eingabesignals aus den zusammenfließenden Reizen dient die U¨ bertragungsfunktion (auch Propagierungsfunktion genannt). Die am h¨aufigsten

verwendete

U¨ bertragungsfunktion ist die Summe der gewichteten Eingaben, so dass

sich der kumulierte Input net j berechnen l¨asst durch:

Abbildung in dieser Leseprobe nicht enthalten

Das kumulierte Signal wird anschließend vom Neuron verarbeitet. Mathematisch l¨asst sich dieser Vorgang mittels der so genannten Transferfunktion (Aktivierungsfunktion) ϕ nachbilden. Dabei wird von der Eingabe net j ein bestimmter Schwellenwert (Bias) θ j abgezogen und als Argument an die Transferfunktion u¨bergeben. Als Ausgabewert s j ergibt sich:

Abbildung in dieser Leseprobe nicht enthalten

Die Transferfunktion bestimmt den Aktivierungszustand eines Neurons. Sie kann ent- weder linear, teilweise linear, nicht-linear oder sprunghaft sein. Die bekannteste Trans- ferfunktion ist die so genannte Schwellenwertfunktion (Bin¨arfunktion), die auch beim McCulloch-Pitts-Neuron eingesetzt wurde:

Abbildung in dieser Leseprobe nicht enthalten

Anstelle der Schwellenwertfunktion wird fu¨r diskrete Funktionswerte auch h¨aufig die Signumfunktion verwendet:

Abbildung in dieser Leseprobe nicht enthalten

Fu¨r bestimmte Lernverfahren ist es erforderlich, dass die Transferfunktion di-erenzier-bar ist. Dies setzt einen stetigen Verlauf voraus. In der Regel wird fu¨r diese Verfahren die logistische Funktion verwendet:

Abbildung in dieser Leseprobe nicht enthalten

Daru¨ber hinaus dient h¨aufig auch der Tangens hyperbolicus als Transferfunktion:

Abbildung in dieser Leseprobe nicht enthalten

Je nach Funktionstyp liegen die Ausgabewerte zwischen 0 und 1 (logistische Funkti- on bzw. Schwellenwertfunktion) oder zwischen -1 und 1 (Tangens hyperbolicus bzw. Signumfunktion):

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 6: Diskrete und stetige Transferfunktionen

Nachdem das Inputsignal und der Schwellenwert an die Transferfunktion

u¨bergeben

und das Signal s j ermittelt wurde, dient die Ausgabefunktion ρ j zur Berechnung des Neuronenoutputs. Obwohl theoretisch auch fu¨r die Ausgabefunktion verschiede- ne Funktionstypen einsetzbar sind, wird in den meisten F¨allen die Identit¨atsfunktion verwendet. Der Output des Neurons o j entspricht dann dem Ergebnis der Transfer- funktion:

Abbildung in dieser Leseprobe nicht enthalten

3.3 Netzwerktypen

Ein neuronales Netz entsteht immer dann, wenn mehrere Neuronen miteinander ver- bunden werden. Je nach Art der Verbindungen existieren verschiedene Typen neuro- naler Netze.

3.3.1 Vorw¨arts gerichtete Netze

Die wohl bekannteste Form neuronaler Netze ist das vorw¨arts gerichtete Neuronen-

netz (auch als feed forward Netz“ oder

”

hetero-assoziatives Netz“ bezeichnet). Dieses ”

besteht aus mindestens zwei Neuronenschichten, wobei die erste Schicht immer die Ein-

gabe und die letzte Schicht immer die Ausgabe darstellt. Zu jedem angelegten Eingabe- vektor gibt es einen entsprechenden Ausgabevektor, der das Netzergebnis darstellt. Es kommt nicht zu einer erneuten Ru¨ckgabe der Ausgabewerte an vorgelagerte Schichten wie bei anderen Netztypen.

3.3.1.1 Einstufige Netze

Ein einfaches einstufiges Netz besteht nur aus zwei Schichten: Eingabe- und Ausgabe- schicht. Die Anzahl der Neuronen in jeder Schicht kann vom Anwender variabel fest- gelegt werden. Ebenso lassen sich die Gewichte der Eingaben sowie der Schwellenwert bestimmen. In seiner einfachsten Form kann ein neuronales Netz wie folgt dargestellt werden:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 7: Einstufiges Netz mit einer Ausgabe

Der Output a 1 des Neuronennetzes wird mittels der bereits vom einfachen ku¨nstli- chen Neuron bekannten Transferfunktion ϕ wie folgt berechnet (mit θ = 0, da kein Schwellenwert vorhanden ist):

Abbildung in dieser Leseprobe nicht enthalten

Fu¨r die Berechnung gr¨oßerer Netze w¨are diese einfache Schreibweise zu umst¨andlich, weshalb es sinnvoll scheint, das Netzergebnis vektoriell zu ermitteln. Im Folgenden soll

die Berechnungsvorschrift eines komplexeren einlagigen Netzes in Vektorschreibweise dargestellt werden. Das nachfolgende neuronale Netz verfu¨gt neben zwei Eingabeneu-ronen u¨ber drei Ausgabeneuronen und die dazugeh¨origen Schwellenwerte^[21]:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 8: Einstufiges Netz mit drei Ausgaben

Die Darstellung zeigt, dass das Netz, um der Existenz von Schwellenwerten Rechnung zu tragen, u¨ber ein zus¨atzliches Eingabeneuron verfu¨gt. Dieses wird auf den Wert 1“

”

gesetzt und mit den Schwellenwerten als Gewichte in der Ausgabeberechnung beru¨ck-

sichtigt. Diese Ummodellierung vereinfacht die Berechnung, da das Netz nur noch auf den Schwellenwert 0“ abgefragt werden muss. In Vektorschreibweise lassen sich so der

”

Eingabevektor ˙ e, der Ausgabevektor ˙ a sowie die Gewichtematrix M definieren:

Abbildung in dieser Leseprobe nicht enthalten

Die bereits aus Gleichung (1) bekannte Summe der gewichteten Eingaben (net j) l¨asst sich somit ebenfalls vektoriell darstellen:

Abbildung in dieser Leseprobe nicht enthalten

Abschließend kann der Ausgabevektor in Anlehnung an Gleichung (8) durch Einsetzen in die Transferfunktion ϕ wie folgt berechnet werden:

Abbildung in dieser Leseprobe nicht enthalten

Die wohl bekanntesten und am h¨aufigsten verwendeten einstufigen neuronalen Netze

sind das Adaline und das Perzeptron. Das Adaline (

Adaptive linear neuron“) wurde

”

1960 von Widrow und Ho- erfunden.^[22] Seine typischen Eigenschaften sind bin¨are Inputs

( -1“ und ”

+1“) und die konstante Gewichtung aller Eingaben. Daru¨ber hinaus wer- ”

den Schwellenwerte in Form zus¨atzlicher Inputs dargestellt. Das Perzeptron hingegen,

welches zwei Jahre vor dem Adaline von Frank Rosenblatt vorgestellt wurde, arbeitet

ebenfalls mit bin¨aren Inputs ( 0“ und

”

1“).^[23] Der wesentliche Unterschied zum Adaline ”

besteht im Lernverfahren, welches zu einem sp¨ateren Zeitpunkt vorgestellt wird.

Neben den einstufigen Netzen gibt es Neuronenverbindungen, die zwischen der Eingabe- und der Ausgabeschicht u¨ber weitere Schichten ( Layers“) verfu¨gen.

”

3.3.1.2 Mehrstufige Netze

Mehrstufige Netze zeichnen sich dadurch aus, dass sie im Vergleich zu einstufigen Net- zen jede m¨ogliche Funktion abbilden k¨onnen. Das zuvor beschriebene Problem der linearen Separierbarkeit tritt hier nicht mehr auf. Bei Betrachtung der Typologie eines mehrstufigen Netzes zeigt sich, dass zwischen den Ein- und Ausgabeneuronen noch

mindestens eine weitere, so genannte versteckte Schicht“ (

”

hidden layer“), exisitert: ”

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 9: Zweistufiges neuronales Netz (ohne Bias)

Jede versteckte Schicht liefert die Ausgaben zur vorgelagerten Schicht und bestimmt zugleich den Eingabevektor fu¨r die nachgelagerte Schicht. Entsprechend der Logik zur Berechnung des Outputs eines einlagigen Netzes, k¨onnen die Werte der versteckten Schicht h mittels der Eingaben e und der Gewichtematrix M 1 wie folgt berechnet werden:

h = ϕ (net 1) mit

Abbildung in dieser Leseprobe nicht enthalten

Anschließend l¨asst sich der Ausgabevektor a durch Einsetzen der gewichteten Summendes Vektors h in die Transferfunktion berechnen:

Abbildung in dieser Leseprobe nicht enthalten

Analog zu den aufgefu¨hrten einstufigen Netzen gibt es auch bei den mehrstufigen Net- zen zwei wesentliche Netzwerktypen: das Madaline ( Multiple adaptive linear neuron“)

”

und das Multi-Layer-Perzeptron (MLP). Das Madaline besitzt im Vergleich zum bereits

beschriebenen Adaline zus¨atzlich eine versteckte Schicht. Die Gewichte der versteckten Schicht sind wie die der Eingabeschicht konstant. Das MLP kann aus mehr als nur einer versteckten Schicht bestehen und ist aufgrund seiner Flexibilit¨at in der Abbildung lo- gischer Funktionen und des Einsatzes eines effizienten Lernverfahrens der in der Praxis am meisten verwendete Netzwerktyp.

3.3.2 Netze mit Ru¨ckkopplung

Neben den bisher vorgestellten vorw¨arts gerichteten neuronalen Netzen existieren auchNetztypen, bei denen der Informationsfluss nicht nur in eine Richtung erfolgt. Als Hauptvertreter solcher Netze sollen in diesem Abschnitt sowohl das Hopfield- als auch das Boltzmann-Modell beleuchtet werden.

3.3.2.1 Hopfield-Netze

Der Physiker John J. Hopfield^[24] entwickelte Anfang der achtziger Jahre ein Neuronen- netz, welches in Anlehnung an eine Eigenschaft magnetischer Atome^[25]funktioniert. Ein Hopfield-Netz zeichnet sich dadurch aus, dass alle Neuronen miteinander verbun- den sind (autoassoziatives Netz):

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 10: Hopfield-Netz

Abbildung in dieser Leseprobe nicht enthalten

Ising-Spin

Die Gewichtung zwischen zwei verbundenen Neuronen ist in beide Richtungen gleich (w ij = w ji), so dass die Gewichtematrix symmetrisch wird. Eine Ru¨ckkopplung ei- nes Neurons auf sich selbst findet nicht statt (w ii = 0). Der Ausgangszustand jedes

Neurons ist entweder -1“ oder

”

+1“. Analog zu Netzen ohne Ru¨ckkopplung lassen ”

sich die Outputwerte durch Verwendung einer Transferfunktion nach folgender Formel

berechnen:

Abbildung in dieser Leseprobe nicht enthalten

Wie zu erkennen ist, verfu¨gen auch Hopfield-Netze u¨ber Schwellenwerte. Der Prozess zur Ouptutermittlung kann so oft durchgefu¨hrt werden, bis die Ausgabewerte sich nicht mehr ¨andern. Dieses Vorgehen gleicht einem Iterationsprozess, bei dem die Neu- ronen, die anfangs als Eingaben an das Netz angelegt wurden, nun den Ausgabevektor darstellen. Mit M als Gewichtematrix, a als Ausgabevektor, θ als Bias, e als Eingabe- vektor und p als Iterationsindex l¨asst sich das Iterationsverfahren vektoriell wie folgt beschreiben:

Abbildung in dieser Leseprobe nicht enthalten

Die Transferfunktion ϕ ist die bereits bekannte Signumfunktion. Konvergiert das Ite- rationsverfahren, so dass gilt:

Abbildung in dieser Leseprobe nicht enthalten

stellt sich ein Netzgleichgewicht ein. Die Ausgabe a wird als ”

“ zum Hopfield Muster

Netz bezeichnet. Diese Bezeichnung resultiert aus der Mustererkennung als Hauptan- wendungsgebiet von Hopfield-Netzen. Zum Beispiel k¨onnen die Pixel eines schwarz-

weißen Bildes in bin¨arer Schreibweise formuliert (z.B. +1“ fu¨r schwarz,

”

-1“ fu¨r weiß)”

und als Vektor an ein Hopfield-Netz angelegt werden. Das Muster wird bis zum Netz-

gleichgewicht iterativ ermittelt und u¨ber die Gewichte abgespeichert. Wird anschlie-

ßend ein verrauschtes Bild an das Netz angelegt, kann das urspru¨ngliche Muster wieder-

Abbildung in dieser Leseprobe nicht enthalten

intelligenter“ Speicher kann ein Hopfield-Netz mehrere (nicht ”

zu viele) Muster erlernen. Die Muster du¨rfen allerdings nicht miteinander korreliert

sein, damit in der Wiedererkennungsphase (Recall-Phase) keine Verwechslungen auf- treten.

3.3.2.2 Boltzmann-Netze

Boltzmann-Netze gelten als Weiterentwicklung der Hopfield-Netze. Sie sind mithilfe eines speziellen stochastischen Lernverfahrens in der Lage, das globale Minimum der so genannten Energiefunktion zu finden. Die Energiefunktion (Hamiltonfunktion) H eines autoassoziativen Netzes lautet wie folgt:

Abbildung in dieser Leseprobe nicht enthalten

Fu¨r jeden Eingabevektor l¨asst sich eine entsprechende Energie berechnen. Sofern sich diese Energie bei Boltzmann-Netzen nach mehreren Iterationen nicht mehr ¨andert, wirdder jeweilige Ausgabevektor als Muster bezeichnet.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 11: Globales Minimum einer Energiefunktion

Es ist m¨oglich, dass die Energie eines Netzes sich deshalb nicht ¨andert, weil ein lo- kales Minimum oder ein Tal“ der Energiefunktion erreicht wurde. Mithilfe des so

”

genannten simulierten Ku¨hlens ( simulated annealing“) kann das globale Minimum

”

einer Energiefunktion gefunden werden. Das simulierte Ku¨hlen wird bei Boltzmann-

Netzen in der Lern- und in der Recall-Phase verwendet. Hauptmerkmal des simulated

”

annealing“ ist, dass ein Neuron nur aktiviert wird, wenn dessen Aktivierungswahr-

scheinlichkeit einen vorher festgelegten Wert annimmt oder u¨bersteigt. Die m¨oglichen

Zust¨ande eines Boltzmann-Netzes sind 0“ und

”

1“. Daru¨ber hinaus werden die Neu- ”

ronen im Gegensatz zum Hopfield-Netz in drei Klassen unterteilt. Zwar sind auch beim

Boltzmann-Netz alle Neuronen untereinander vernetzt, jedoch werden Eingabeschicht, versteckte Schicht und Ausgabeschicht unterschieden. Diese Aufteilung ist notwendig, da das Erlernen der Gewichte eines Boltzmann-Netzes in zwei Phasen stattfindet. In der Plus-Phase wird nur fu¨r die versteckten Neuronen das simulierte Ku¨hlen durchgefu¨hrt.Die Ein- und Ausgabeneuronen du¨rfen nicht ver¨andert werden. In der Minus-Phase hingegen findet eine freie Anpassung des Netzzustandes statt, d.h. alle Neuronen sind im Verlauf des Lernens ver¨anderbar. Beide Phasen finden abwechselnd statt, bis die

gewu¨nschte Funktion erlernt wurde.^[26]

3.3.3 Selbstorganisierende Netze

Der finnische Wissenschaftler Teuvo Kohonen entwickelte eine Netzwerkstruktur, die am ehesten in der Lage ist, die Funktionsweise des menschlichen Gehirns nachzubil- den.27 Selbstorganisierende Netze (auch: Kohonen-Netze) machen sich dabei die Eigen- schaft des Gehirns zu Nutze, dass ein von den Rezeptoren aufgenommener Reiz einen bestimmten Bereich des Neuronennetzes in der Hirnrinde aktiviert. Werden mehre- re Reize gleichzeitig an verschiedenen Stellen des K¨orpers aufgenommen, so werden auch die dazugeh¨origen Neuronengruppen nachbarschaftserhaltend aktiviert. Die akti-

vierten Neuronengruppen k¨onnen deshalb als Karte“ der reizaufnehmenden Rezepto-

”

ren betrachtet werden ( selforganizing map“). Wie bei anderen Netzen wird u¨ber die ”

Gewichte w gesteuert, ob das Eingangssignal verst¨arkt oder abgeschw¨acht wird. Im

Kohonen-Netz ist diese synaptische Wirkung von der Lage eines Neurons abh¨angig. Wird ein bestimmtes Neuron erregt (Winner-Neuron), so werden auch die in der Um- gebung dieses Neurons liegenden Zellen verst¨arkt angeregt. Neuronen, die sich weiter entfernt befinden, erhalten hingegen ein hemmendes Signal. Auf diese Weise entsteht eine Neuronengruppe, deren benachbarte Neuronen aktiviert werden, selbst wenn zuvor nur ein einzelnes Neuron angeregt wurde. Der Zustand eines Neurons ist also abh¨angigvon den Eingangssignalen und vom Zustand der umliegenden Neuronen. Insofern stel- len selbstorganisierende Netze eine Mischform aus den zuvor genannten Netzen dar. Sie besitzen zum einen eine Eingabe- und eine Ausgabeschicht (vorw¨arts gerichtet), zum anderen findet innerhalb der Outputschicht eine Ru¨ckkopplung zwischen den ver-bundenen Neuronen statt. Mathematisch l¨asst sich dieser Zusammenhang wie folgt beschreiben:

Abbildung in dieser Leseprobe nicht enthalten

Der Zustand des Neurons ist abh¨angig von den gewichteten Inputs e k und den mit r jk gewichteten Zust¨anden der anderen Ausgabeneuronen a k sowie dem Schwellenwert θ j.Um die Gewichtung r j k eines benachbarten Neurons in Abh¨angigkeit von seiner Ent- fernung zum betrachteten Neuron zu formulieren, kann die Gaußsche Glockenfunktion verwendet werden. Die Vektoren x j und x k sind die Lagevektoren der betrachteten

Neuronen. Je gr¨oßer der Abstand zwischen beiden Neuronen in einem Neuronenfeld, desto eher strebt die Gewichtung des verbundenen Neurons a k gegen Null:

Abbildung in dieser Leseprobe nicht enthalten

2 σ 2 (20)

Die Outputschicht eines Kohonen-Netzes kann als Ebene veranschaulicht werden:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 12: Selbstorganisierendes Netz

Kohonen-Netze werden vor allem in der Mustererkennung verwendet oder um Funktio-

nen zu approximieren, fu¨r die keine analytische L¨osung existiert. Daru¨ber hinaus kann fu¨r betriebswirtschaftliche Fragestellungen wie das Traveling Salesman“-Problem eine

”

schnelle L¨osung gefunden werden.

3.3.4 Weitere Netztypen

Neben den genannten Netztypen existieren noch zahlreiche weitere Formen von neuro- nalen Netzen. Oftmals stellen diese Abwandlungen der bereits aufgefu¨hrten Netze dar. Beispielhaft sollen daher drei weitere Netzwerke, die auf den zuvor erkl¨arten Grundty- pen aufbauen, kurz erl¨autert werden.

[...]

---

^[1]Vgl. Iebeling Kaastra/Milton Boyd: ”

^[2] mehrkernige Zelle

^[3] Sowohl Golgi als auch Ramo´n y Cajal erhielten im Jahre 1906 den Nobel-Preis fu¨r Medizin.

^[4] Das Gehirngewebe wurde mit einer Silbernitrat-L¨osung behandelt, welche dazu fu¨hrte, dass sich die Neuronen im Gehirn dunkel f¨arbten.

^[5] Guenter Gauglitz/Clemens Ju¨rgens: Geschwindigkeitsvergleich von Gehirn und Rechner, Verfu¨gbar- keitsdatum: 17.03.2008, ( URL: http://www.chemgapedia.de/vsengine/topics/de/vlu/index.html ).

^[6] Werner Kinnebrock: Neuronale Netze: Grundlagen, Anwendungen, Beispiele, 2. Auflage. Mu¨nchen:

^[7] Wu¨rde man alle Neuronenverbindungen hintereinander legen, erg¨abe sich eine Strecke von ungef¨ahr 500 000 km.

^[8] Vgl. Rainer E. Bl¨ocker: Hirnforschung und Lernen, Verfu¨gbarkeitsdatum: 17.03.2008, ( URL: http://www.gsfs.de/wiki/index.php/Neurodidaktik/Biologie ).

^[9] Warren S. McCulloch/Walter Pitts: ” A logical calculus of the ideas immanent in nervous activity“,Bulletin of Mathematical Biophysics, Vol. 5, 1943, S. 115-..

^[10] Norbert Wiener: Cybernetics or Control and Communication in the Animal and the Machine, MIT Press, 1948.

^[11] John von Neumann: First Draft of a Report on the EDVAC, University of Pennsylvania, 1945.

^[12] Donald O. Hebb: The Organization of Behavior: a neuropsychological approach. New York: Wiley, 1949.

^[13]Der erste Neurocomputer ”“ wurde von Marvin Minsky im Jahre 1951 gebaut.

^[14] Frank Rosenblatt: ” Snark The Perceptron: A probailistic model for information storage and organization in the brain“, Psycholgic al R eview, Vol. 65, 1958.

^[15] Bernard Widrow/Marcian E. Ho-: ” e switching circuits“, IRE WESCON Convention Re- co rd, Vol. 4, 1960.Adaptiv

^[16] Marvin Minsky/Seymour Papert: Per c eptr ons, MIT Press, 1969.

^[17]Siehe Abschnitt 3.3.1.1

^[18] John J. Hopfield: ” Neural Networks and Physical Systems with Emergent Collective Computational abilities“, P roceedings of the National Academy of Sciences, Vol. 59, 1982.

^[19] David E. Rumelhart/Geo-rey E. Hinton/Ronald J. Williams: ” representations by back- propagating errors“, L ondon: Natur e, Vol. 323, 1986.

^[20] Vgl. Guoqiang Zhang/B. Eddy Patuwo/Michael Y. Hu: ” orecasting with artificial neural networks: The state of the art“, International Journal of Forecasting, Vol. 14, 1998, S. 35.

^[21]Vgl. Werner Kinnebrock, a. a. O., S. 21.

^[22]Bernard Widrow/Marcian E. Ho-, a. a. O.

^[23]Frank Rosenblatt, a. a. O.

^[24] John J. Hopfield, a. a. O.

^[25] Das so genannte ” beschreibt Wechselwirkungen zwischen benachbarten Atomen.

^[26]Vgl. Werner Kinnebrock, a. a. O., S. 60-..

^[27] Teuvo Kohonen: ”Self-organized formation of topologically correct feature maps“, Biological Cybernetics, Vol. 43, 1982.

^[28] Kunihiko Fukushima: ”cognitron: A self-organizing neural network model for a mechanism ofpattern recognition una-ected by shift in position“, Biolo gical Cybernetics, Vol. 36(4), 1980.