Reinforcement Learning bei der Bewegungssteuerung eines selbstlernenden physischen Roboters. Chancen und Grenzen bei der Nutzung künstlicher Intelligenz

Inhaltsverzeichnis (Table of Contents)

• 1 Einleitung
• 1.1 Zielsetzung
• 1.2 Vorgehensweise
• 2 Kurze Vorstellung des Anwendungsfalls – Der Crawler-Roboter
• 2.1 Funktionsweise
• 2.2 Kurze Vorstellung der eingesetzten Komponenten
• 2.2.1 Der Raspberry Pi 4 Model B
• 2.2.2 Adafruit PCA9685 16 Kanal Servo Controller
• 2.2.3 Aktuatoren zur Bewegungssteuerung
• 2.2.4 KY-040 Inkrementaldrehgeber
• 2.2.5 HC-SR04 Ultraschall Abstandssensor
• 2.2.6 Spannungsversorgung LM2596 DC/DC-Step-Down-Wandler
• 2.3 Die praktische Umsetzung des Crawler-Roboters
• 3 Grundlagen des maschinellen Lernens
• 3.1 Maschinelles Lernen als ein Teilbereich künstlicher Intelligenz
• 3.2 Kurzer Überblick über maschinelle Lernverfahren
• 3.2.1 Supervised Learning – Überwachtes Lernen
• 3.2.2 Unsupervised Learning – Unüberwachtes Lernen
• 3.2.3 Reinforcement Learning – Bestärkendes Lernen
• 4 Reinforcement Learning als eine Form des maschinellen Lernens
• 4.1 Definition der grundlegenden Begriffe
• 4.1.1 Das Standard Framework des Reinforcement Learning
• 4.1.2 Agent
• 4.1.3 Umwelt - Environment
• 4.1.4 Zustände und Aktionen
• 4.1.5 Policy
• 4.1.6 Belohnung - Reward
• 4.1.7 Value Function
• 4.2 Charakterisierung verschiedener Reinforcement Learning Verfahren
• 4.3 Auswahl eines geeigneten Reinforcement Learning Verfahrens
• 4.4 Beschreibung des ausgewählten Q-Learning Algorithmus
• 5 Die praktische Umsetzung am Beispiel des Crawler-Roboters
• 5.1 Die Umsetzung des Q-Learning in einem Python Programm
• 5.2 Auswahl und Festlegung der Q-Learning Parameter
• 5.3 Beobachtung und Beschreibung des Lernvorgangs
• 6 Fazit
• 7 Ausblick

Zielsetzung und Themenschwerpunkte (Objectives and Key Themes)

Diese Arbeit befasst sich mit der Nutzung von Reinforcement Learning, einer Form des maschinellen Lernens, zur Steuerung eines physischen Roboters. Der Fokus liegt darauf, die Möglichkeiten und Herausforderungen des Einsatzes von Reinforcement Learning in einer realen Umgebung zu untersuchen. Der Crawler-Roboter dient als Testplattform.

• Eignung von Reinforcement Learning zur Steuerung von physischen Robotern
• Die praktischen Herausforderungen bei der Anwendung von Reinforcement Learning
• Optimierung des Lernprozesses durch die Auswahl geeigneter Parameter
• Analyse des erlernten Bewegungsmusters des Roboters
• Potentiale und Grenzen von Reinforcement Learning in realen Anwendungen

Zusammenfassung der Kapitel (Chapter Summaries)

Die Arbeit beginnt mit einer Einführung, die die Zielsetzung und den Aufbau der Arbeit beschreibt. Im Anschluss erfolgt eine Vorstellung des Crawler-Roboters, der als physische Plattform für die Anwendung des Reinforcement Learning dient. Die Arbeit erläutert die Funktionsweise des Roboters, beschreibt die eingesetzten Komponenten und dokumentiert den Prozess der Konstruktion. Im dritten Kapitel werden die Grundlagen des maschinellen Lernens dargestellt. Es erfolgt eine Einordnung des Reinforcement Learning als ein Teilbereich des maschinellen Lernens. Die Arbeit erläutert die wesentlichen Unterscheidungsmerkmale des Reinforcement Learning zu den beiden anderen großen Gruppen des maschinellen Lernens – dem überwachten Lernen und dem unüberwachten Lernen. Das vierte Kapitel befasst sich mit der Charakterisierung der verschiedenen Reinforcement Learning Verfahren. Anhand von bekannten Ordnungskriterien werden die verschiedenen Verfahren klassifiziert. Nach einer ausführlichen Diskussion und der Entwicklung von Bewertungsmaßstäben, erfolgt die Auswahl eines geeigneten Verfahrens. Im Anschluss wird das ausgewählte Verfahren – das tabellenbasierte Q-Learning – umfassend in seiner Funktionsweise und seinem Aufbau beschrieben. Der fünfte und letzte Abschnitt beschreibt die praktische Umsetzung des Q-Learning Verfahrens anhand des Crawler-Roboters. Es erfolgt zunächst die Vorstellung des Programmcodes, bevor die Festlegung der Parameter, das Training des Agenten und die anschließende Analyse des Lernprozesses erfolgen.

Schlüsselwörter (Keywords)

Die Arbeit befasst sich mit den Themen künstliche Intelligenz, maschinelles Lernen, Reinforcement Learning, Q-Learning, Crawler-Roboter, Bewegungssteuerung, Sensorik, Python, Programmierung, Modellbildung, Simulation, Lernen aus Erfahrung, Exploration und Exploitation.