Projectile Learning - Entwicklung und Implementierung eines neuen Lernverfahrens für künstliche neuronale Netze mit dem Ansatz einer globalen Suche auf der Fehlerfunktion

Inhaltsverzeichnis

1 Einleitung

2 Einführung in die künstlichen neuronalen Netze

2.1 Biologisches Vorbild

2.2 Modellierung von Neuronen

2.3 Vernetzung der künstlichen Neuronen

2.4 Lernverfahren

2.5 Backpropagation

3 Probleme des Backpropagation Algorithmus

3.1 Lokale Minima

3.2 Flache Plateaus

3.3 Verlassen guter Minima

4 Modifikation von Backpropagation

4.1 Momentum Term

4.2 Weight Decay

4.3 Quickprop

4.4 δ − ¯δ Lernregel

5 Lösungsansatz

5.1 Flight of a Projectile in the Conformational Space

5.2 Projectile Learning

5.2.1 Verwendetes Framework

5.2.2 Implementierung des Projektilfluges

5.2.3 Kollision des Projektils mit der Fehleroberfläche

5.2.4 Resultat des Lernverfahrens

6 Anwendung

6.1 Testfälle

6.1.1 Wirbelsäulenstörung

6.1.2 Brustkrebs Vorhersage

6.1.3 Parkinson

6.2 Auswertung der Testfälle

7 Fazit

8 Anlage

Zielsetzung & Themen

Das Hauptziel dieser Arbeit besteht darin, ein neues Lernverfahren für künstliche neuronale Netze zu entwickeln und zu implementieren, das ein globales Minimum der Fehlerfunktion sucht, um bessere Trainingsergebnisse als mit Standard-Lernverfahren zu erzielen. Die Forschungsfrage konzentriert sich darauf, wie ein auf der Flugbahn eines Projektils basierender heuristischer Optimierungsalgorithmus auf die Gewichtsoptimierung in Feedforward-Netzen übertragen werden kann.

• Entwicklung des "Projectile Learning" Lernverfahrens
• Übertragung der globalen Optimierung nach Harkiolakis auf neuronale Netze
• Vergleich von Projectile Learning mit klassischer Backpropagation
• Analyse des Einflusses von Parametern auf die Fehleroberfläche
• Anwendung des Verfahrens auf medizinische Datensätze (Wirbelsäule, Brustkrebs, Parkinson)

Auszug aus dem Buch

Zusammenfassung der Kapitel

1 Einleitung: Motivation für den Einsatz künstlicher neuronaler Netze und Zielsetzung der Arbeit, ein globales Minimum der Fehlerfunktion durch einen neuartigen Ansatz zu finden.

2 Einführung in die künstlichen neuronalen Netze: Grundlagen der Modellierung, Vernetzung und das Training von Neuronen sowie die formale Beschreibung des Backpropagation-Algorithmus.

3 Probleme des Backpropagation Algorithmus: Analyse von Limitierungen bei Standardverfahren, insbesondere das Hängenbleiben in lokalen Minima, flache Plateaus und das Verlassen guter Minima.

4 Modifikation von Backpropagation: Vorstellung verschiedener Ansätze zur Verbesserung des Lernverhaltens, wie Momentum Term, Weight Decay, Quickprop und die δ − ¯δ Lernregel.

5 Lösungsansatz: Detaillierte Herleitung des entwickelten Projectile Learning Algorithmus, basierend auf der physikalischen Simulation eines Projektils im Raum der Gewichte.

6 Anwendung: Durchführung von Tests des neuen Algorithmus an drei medizinischen Datensätzen und Vergleich der Ergebnisse mit klassischer Backpropagation.

7 Fazit: Zusammenfassende Bewertung der Ergebnisse, Diskussion der Vorteile und Limitierungen sowie Ausblick auf potenzielle Verbesserungen des Verfahrens.

8 Anlage: Auflistung der beiliegenden Dateien und der in Java implementierten Klassen.

Schlüsselwörter

Künstliche neuronale Netze, Backpropagation, Globale Optimierung, Projectile Learning, Fehlerfunktion, Lokale Minima, Gradientenabstiegsverfahren, Lernverfahren, Gewichtsoptimierung, Simulation, Heuristik, Feedforward-Netze, MSE, Java, Neuronales Netz Training

Häufig gestellte Fragen

Worum geht es in dieser Arbeit grundsätzlich?

Die Arbeit beschäftigt sich mit der Entwicklung eines neuartigen Lernverfahrens für künstliche neuronale Netze, das eine globale statt nur einer lokalen Suche auf der Fehleroberfläche ermöglicht.

Was sind die zentralen Themenfelder?

Die zentralen Felder sind künstliche Intelligenz, neuronale Netze, mathematische Optimierungsverfahren sowie die physikalische Simulation zur Problemlösung.

Was ist das primäre Ziel oder die Forschungsfrage?

Das Ziel ist es, ein Verfahren zu implementieren, das es erlaubt, durch Simulation eines Projektilfluges in den Gewichten eines Netzes, ein besseres (globales) Minimum der Fehlerfunktion zu finden.

Welche wissenschaftliche Methode wird verwendet?

Es wird ein heuristischer Ansatz verwendet, der auf der physikalischen Simulation elastischer Stöße eines Projektils im Konfigurationsraum der Netzgewichte basiert.

Was wird im Hauptteil behandelt?

Der Hauptteil erläutert zunächst die theoretischen Grundlagen neuronaler Netze, analysiert Schwachstellen der Backpropagation, stellt Modifikationen vor und beschreibt die Implementierung des eigenen Projektil-basierten Lernalgorithmus.

Welche Schlüsselwörter charakterisieren die Arbeit?

Künstliche neuronale Netze, Backpropagation, Globale Optimierung, Projectile Learning, Fehlerfunktion, Lokale Minima.

Warum wird das "Projectile Learning" gegen klassische Verfahren getestet?

Um zu validieren, ob die globale Suche tatsächlich zu einer Reduktion des mittleren quadratischen Fehlers (MSE) führt, auch wenn die Laufzeit dabei signifikant höher ausfällt.

Warum ist eine "Starthöhe" für das Projektil relevant?

Die Starthöhe bestimmt die potentielle Energie des Projektils, welche definiert, welche Hindernisse auf der Fehleroberfläche überwunden werden können, um aus lokalen Minima zu entkommen.