Lade Inhalt...

Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung

Diplomarbeit 2004 148 Seiten

Mathematik - Angewandte Mathematik

Leseprobe

Inhaltsverzeichnis

1. Einleitung
1.1 Motivation
1.2 Überblick über die einzelnen Kapitel

2. Theoretische Grundlagen
2.1 Aufbau Neuronaler Netze
2.2 Darstellbarkeit von Funktionen
2.2.1 Das Perzeptron
2.2.2 Repräsentierbarkeit von Feedforward Netzen

3. Lernverfahren für Feedforward Netze
3.1 Backpropagation
3.1.1 Modifikationen von Backpropagation
3.1.2 Konvergenz von Backpropagation
3.1.3 Three-Term-Backpropagation
3.2 Quickprop
3.3 Resilient Propagation
3.4 Backpercolation
3.5 Levenberg-Marquardt Algorithmus
3.6 Globale Lernverfahren
3.6.1 Cutting Angle Methode
3.6.2 Heuristic Global Learning

4. Rekurrente Netze und ihre Lernverfahren
4.1 Jordan-Netze
4.2 Elman-Netze
4.3 Hierarchische Elman-Netze
4.4 Lernverfahren für partiell rekurrente Netze
4.4.1 Backpropagation Through Time (BPTT)
4.4.2 Real-Time Recurrent Learning (RTRL)
4.4.3 Kombination von BPTT und RTRL
4.5 Hopfield-Netze
4.6 Stabilität
4.6.1 Stabilität von Hopfield-Netzen
4.6.2 Bedingungen für globale asymptotische Stabilität
4.7 Boltzmann Maschine

5. Pruning Algorithmen
5.1 Weight Decay
5.2 Löschen der betragsmäßig kleinsten Gewichte (Mag)
5.3 Optimal Brain Damage (OBD)
5.4 Optimal Brain Surgeon (OBS)
5.5 Skelettierung

6. Erkennung von Verkehrszeichen
6.1 Problemstellung
6.2 Bearbeitung der Bilder
6.3 Trainingsmuster
6.4 Erstellen und Training der Neuronalen Netze
6.4.1 32 x 32 / 32 / 4 Feedforward Netz
6.4.2 32 x 32 / 16 / 4 / 4 Feedforward Netz
6.5 Testen der Neuronalen Netze
6.5.1 Generierung der Testdaten
6.5.2 32 x 32 / 32 / 4 Feedforward Netz
6.5.3 32 x 32 / 16 / 4 / 4 Feedforward Netz
6.5.4 Ergebnis
6.6 Erweiterung des Neuronalen Netzes

7. Fazit

A Programmlisting
A.1 Umwandlung der Bilder in Matrizen
A.2 Umwandlung der Matrizen in Bilder

B R Skripten
B.1 Erstellen der Trainingsdaten
B.2 Erstellen der Testdaten
B.3 Erstellen der Daten für das „Gefahr“-Schild

C Testergebnisse
C.1 Testergebnisse für das 32 x 32 / 32 / 4 Feedforward Netz
C.2 Testergebnisse für das 32 x 32 / 16 / 16 / 4 Feedforward Netz
C.3 Testergebnisse für das 32 x 32 / 16 / 5 / 4 Feedforward Netz

Erklärung

Einleitung

1.1 Motivation

Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche Neuronale Netze sind informationsverarbeitende Systeme. Sie bestehen aus einer großen Anzahl einfacher Einheiten, den Neuronen, die sich Informationen in Form der Aktivierung der

Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es sind massiv parallele, lernfähige Systeme. Neuronale Netze haben die Fähigkeit, eine Aufgabe selbständig, anhand von Trainingsbeispielen, zu lernen.

Beim Training eines Neuronalen Netzes entsteht eine Differenz zwischen der tatsächlichen Ausgabe des Neuronalen Netzes und einer gewünschten Ausgabe. Diese ist in den Trainingsdaten aufgrund von Vorwissen (z.B. vorgegebene Muster, Vergangenheitsdaten usw.) bekannt. Es entsteht also ein Trainings- bzw Netzwerkfehler. Damit dieser stets nichtnegativ ist, wird er im Allgemeinen mit Hilfe des Quadrats des euklidischen Abstands definiert (siehe Gleichung (3.1)). Ziel des Trainings ist es also, diesen Fehler zu minimieren. Man hat damit ein Optimierungsproblem ohne Nebenbedingungen.

Zum Training stehen einige Algorithmen, die aus der unrestringierten Optimierung bekannt sind und für die Anwendung auf Neuronale Netze angepasst wurden, zur Verfügung. In dieser Arbeit werden einige Algorithmen vorgestellt, die der Gradientenabstiegsmethode, einem Quasi-Newton Verfahren oder einer Abwandlung des Gauß-Newton Verfahrens, dem Levenberg-Marquardt Verfahren, entsprechen. Außerdem wird auf Verfahren aus der globalen Optimierung eingegangen. Dabei wird ein Cutting Angle Verfahren auf Neuronale Netze angepasst. Weiterhin wird ein heuristisches Verfahren, das auf der Verwendung einer Gradientenabstiegsmethode zusammen mit einer Penalty-Funktion basiert, vorgestellt. Damit kann ein lokales Minimum wieder

verlassen und ein globales erreicht werden.

Für einige Verfahren wird ein Konvergenzbeweis geführt. Des weiteren wird auf die Stabilität dieser Verfahren eingegangen.

Es werden verschiedene zeitabhängige rekurrente Neuronale Netze vorgestellt und die dazugehörigen Lernverfahren entsprechend angepasst. Außerdem werden Bedingungen für deren Stabilität gezeigt. Stabilität heißt dabei, dass sich die Ausgabe des Neuronalen Netzes nicht verändert.

Anschließend werden Verfahren zur Minimierung der Neuronalen Netze vorgestellt. Damit sollen unwichtige Verbindungen oder Neuronen gelöscht werden.

Neuronale Netze sind vielseitig verwendbar, z.B. in der Mustererkennung, Steuerung autonomer Fahrzeuge, Prognose. Weitere Anwendungsmöglichkeiten sind in [52] zu finden.

In dieser Arbeit wird ein Neuronales Netz in der Verkehrszeichenerkennung als praktisches Beispiel für eine Mustererkennung angewendet. Ziel ist es, ein Neuronales Netz zu erstellen und mit ausgewählten Verkehrszeichen zu trainieren. Dafür werden die Verkehrszeichen um bis zu 25% mit Hilfe eines Zufallsgenerators, in diesem Fall unter Verwendung des Statistikprogramms R, verrauscht. Um die Neuronalen Netze zu erstellen und zu trainieren, wurde der Stuttgarter Neuronale Netze Simulator verwendet. Dabei werden die vorher theoretisch festgestellten Unterschiede in der Geschwindigkeit der Verfahren, den Netzwerkfehler zu minimieren, deutlich sichtbar. Anschließend soll das Netz in der Lage sein, diese Verkehrszeichen, die ebenfalls verrauscht sein können, wieder zu erkennen. Danach wird gezeigt, wie dem Neuronalen Netz ein weiteres Verkehrszeichen antrainiert werden kann.

[...]

Details

Seiten
148
Jahr
2004
ISBN (eBook)
9783638297721
ISBN (Buch)
9783640862467
Dateigröße
2.3 MB
Sprache
Deutsch
Katalognummer
v27839
Institution / Hochschule
Universität Bayreuth – Fakultät für Mathematik und Physik
Note
1.7
Schlagworte
Neuronale Netze Theoretische Grundlagen Anwendung Verkehrszeichenerkennung

Autor

Teilen

Zurück

Titel: Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung