Neuronale Netzwerke mit Rückkopplung und nichtlineare chemische Reaktionen

Physikalisches Institut der Julius-Maximilians-Universität Würzburg 

Neuronale Netzwerke mit Rückkopplung und nichtlineare chemische Reaktionen 

Diplomarbeit 

vorgelegt von

Oliver Heil

September1995

Inhaltsverzeichnis 

Vorwort: ... 4 

1 Einleitung ... 7

2 Nichtlineare Systeme ... 9 
2.1 Die Belousov-Zhabotinskii Reaktion ... 10
2.1.1 Der Oregonator ... 11
2.1.2 Der Montanator ... 13
2.1.3 Der Single-Current-Oscilator (SCO) ... 20
2.2 Das Rössler System ... 23

3 Neuronale Netze ... 25 
3.1 Feedforward-Netzwerke ... 29
3.1.1 Der Back-Propagation Lernalgorithmus ... 33
3.1.2 Overtraining ... 36
3.2 Recurent Neural Networks ... 37
3.3 Openloop-Lernen ... 39

4 Dynamische neuronale Netze ... 41
4.1 Die Topologie ... 41
4.2 Das Lernverfahren ... 43
4.3 Skalierung ... 47 
4.4 Gelernte Attraktoren ... 49
4.4.1 Der SCO ... 49
4.4.1.1 Periode 1 ... 19
4.4.2 Der 3-Variablen Montanator ... 52
4.4.2.1 Periode ... 2
4.4.3 Das Rösler System ... 55
4.4.3.1 Periode 2 ... 55
4.4.3.2 Periode 3 ... 58
4.5 Zusammenfassung ...60 

5 Analyse ... 62 
5.1 Korrelation ... 63 
5.2 Relative Gewichte und Informationstheorie ... 68
5.2.1 Relatives Gewicht ... 68
5.2.2 Information ... 69
5.3 Ergebnisse der Berechnungen ... 72 
5.3 Differentiation ... 76
5.4 Zusammenfassung ... 80 

6 Linearisierung und Phasenraumanalyse ... 82
6.1 Motivation der Linearisierung ... 82
6.1.1 Eliminieren der linearen versteckten Schichten ... 83
6.1.2 Linear abhängige Neuronen ... 84
6.2 Linearisierung ... 6
6.2.1 Lösung der linearen Abbildung ... 91
6.3 Der Phasenraum ... 96
6.4 Funktionsgeneratoren 101 
6.4.1 Frequenzänderung ... 102
6.4.2 Attraktorgenerierung ... 105

7 Zusammenfassung der Ergebnisse... 7

Vorwort 

Wohl eines der komplexesten Objekte der modernen Wissenschaft stellt das Gehirn des Menschen dar und ist damit eines der am wenigsten verstandenen Phänomene der Natur. Die Komplexität der synaptischen Vernetzung im Gehirn ermöglicht solch schwer in mathematischer Sprache faßbare Dinge wie Lernen, Wissen, Verstehen, Sprache und Bewußtsein, um nur einige zu nennen. Die Schwierigkeiten bei der Erforschung des Gehirns haben im wesentlichen zwei Gründe. Welche Fragen soll man stellen, d.h. wo nach soll man suchen, wenn man z.B. Bewußtsein erklären möchte und wie kann man die astronomische Anzahl von Neuronen und Synapsen, aus dem sich das Gehirn zusammensetzt, in den Griff bekommen? Die Antworten auf unsere Fragen, die wir eventuell noch nicht richtig gestellt haben, verbergen sich in der Komplexität der Verbindungen der Neuronen untereinander. 

Neben den klassischen Disziplinen zur Untersuchung des menschlichen Gehirns, wie der Philosophie, Neurologie und vielleicht auch der Theologie, haben sich in jüngster Zeit zwei neue Ansätze entwickelt, die sich aufteilen in die Lager der Künstlichen Intelligenz (AI, articial intelligence) und der künstlichen neuronalen Netze (AN, artificial neural networks. Die AI ist mit ihrem Ansatz bemüht, auf herkömmlichen Computerarchitekturen Wissen zu repräsentieren wobei Wissen sowohl Fakten, wie "Holz brennt", als auch Folgerungen, wie "Häuser bestehen aus Holz. Also: Häuser brennen" mit einschließt. Sie geht davon aus, daß Intelligenz auf Wissen basiert, sowie auf die Fähigkeit, logische Schlußfolgerungen zwischen den Faktenherzustellen. Dazu ist die AI auf große und schnelle Speicher, sowie auf effiziente Suchalgorithmen angewiesen. Die Erforschung künstlicher neuronaler Netze hat das Ziel, reine Erkenntnis über die Arbeitsweise des Gehirns zu gewinnen und damit uns selber besser zu verstehen und in Zukunft die Struktur des Gehirns als neue Rechenarchitektur nachzubilden, mit all den potentiellen Fähigkeiten, die wir selber besitzen. Noch ist dieses Forschungsgebiet jedoch angewiesen auf schnelle herkömmliche Computer, um auf diesen die parallele Arbeitsweise neuronaler Netze zu simulieren. Die Forschung ist damit natürlich den Einschränkungen unterworfen, die heutige Computer mit sich bringen, z.B. mangelnde Geschwindigkeit durch serielle Simulation paralleler Arbeitschritte

Die AI täuscht Intelligenz vor und ist darin schon sehr gut, wie diverse Expertensysteme im Gebrauch zeigen. AN′s jedoch möchten alle Aspekte des menschlichen Geiste simulieren können und damit ein Modell zur Untersuchung der Strukturen im Gehirn anbieten. Außerdem lassen sich ANN′s auf Probleme anwenden, welche sich durch die herkömmliche algorithmische Art nur schwer lösen lassen oder großen Rechenaufwand erfordern. Zum Beispiel ist ein kleines Kind jedem Computer überlegen, wenn es darum geht, Objekte in einer Umgebung von anderen Objekten zu unterscheiden und zu isolieren. Diese und ähnliche Anwendungen sind in letzter Zeit sehr erfolgreich durch ANN′s gelöst worden. 

Angefangen mit McCuloch und Pits [CP43] im Jahre1943, welche ein erstes Model für künstliche neuronalen Netze veröffentlichten Rosenblatt [RO62], welcher die Konvergenz eines Lernalgorithmus´ für das Perceptron, ein frühes künstliches neuronales Netz, zeigte, über eine Phase von fast keiner wissenschaftlichen Arbeit auf diesem Gebiet welches verursacht wurde durch Minsky und Papert [MP69] im Jahr1969 (sie zeigten, daß der Lernalgorithmus von Rosenblatt nicht in der Lage war, einige wichtigen Probleme (XOR) zu lösen) explodierte die Forschung gerade zu, nachdem Hopfield [HO82] im Jahre1982 seine Energie-Funktion einführte und Rumelhart [RU86] und unabhängig von ihm andere1985 den Back-Propagation Lernalgorithmus veröffentlichten. Seitdem werden künstliche neuronale Netzwerke intensiv erforscht und mit großem Erfolg auf verschiedenen Gebieten angewendet.

Trotz des großen Erfolges und des nicht weniger großen Aufwand des, der auf diesem Gebiet betrieben wird, ist man noch weit davon entfernt, das menschliche Gehirn zu verstehen. Auch diese Arbeit erhellt die Geheimnisse keineswegs, ist aber vielleicht ein kleiner Baustein auf dem Weg dorthin.

1 Einleitung 

Die Diplomarbeit gliedert sich in vier größere Teile. Der erste Abschnitt besteht aus den Kapiteln 2 und 3, welche über die theoretischen Grundlagen handeln. Davon ist Kapitel 2 der Teil, welcher die chemischen Systeme behandelt, die als Quellend er Lerndaten der neuronalen Netze dienen. Genaugenommen handelt es sich hierbei um nur ein chemisches System, die BZ-Reaktion, und verschiedene ihrer Modelle. Außerdem ist ein kurzer Abschnitt dem Rösslersystem gewidmet. Das Kapitel 3 geht auschließlich über die theoretischen Grundlagen der Typen neuronaler Netze und des Lernverfahrens, die in den späteren Kapiteln zur Anwendung kommen. Dies ist im wesentlich das Feedforward Netzwerk, Netzwerke mit Rückkopplung und der Back-Propagation Lernalgorythmus.

Der zweite in sich geschlossene Teil, Kapitel 4, handelt über das verwendete Verfahren aus speziellen Netzwerken mit Rückkopplung ein dynamisches System zu erzeugen, welches die Dynamik eines chemischen Systems,bzw. des Rösslersystems möglichst gut, aber bei gleichzeitiger möglichst kleiner Anzahl von Neuronen, wiedergibt. 

Die darauffolgenden beiden Teile, nämlich Kapitel 5 und 6, zielen hauptsächlich darauf ab, die aus Kapitel l4 erzeugten dynamischen neuronalen Netze zu untersuchen und zu analysieren. Dabei ist die nichtlineare Übergangsfunktion, welche in den Neuronen verwendet wird, von entscheidender Bedeutung, da sie das Haupthindernis darstellt, Informationen aus dem Netzwerk zu gewinnen. Kapitel 5 behandelt verschiedene Methoden, die Relevanz von Neuronen und Verbindungen zwischen Neuronen festzustellen sowie Redundanzen im Netzwerk zu finden. Kapitel 6 reduziert die Netzwerke auf lineare Differenzengleichungen, welche wesentlich einfacher zu analysieren und zu verändern sind, so daß sie für eine bestimmte Anwendung benutzt werden können, ohne aufwendiges Trainieren mit ungewissem Ausgang notwendig zu machen.

2 Nichtlineare Systeme

Wenn man von nichtlinearen dynamischen Systemen spricht, meint man in der Regel Systeme von Differentialgleichungen erster Ordnung mit mindesten so der genau einem nichtlinearem Term.

[...]