Bachelorarbeit, 2022
81 Seiten, Note: 3,1
Abstract
Vorwort
Inhaltsverzeichnis
Abbildungsverzeichnis
Tabellenverzeichnis
Abkürzungsverzeichnis
Symbolverzeichnis
Glossar
1 Einleitung
2 Maschinelles Lernen
2.1 Einführung maschinelles Lernen
2.2 Künstliche Neuronale Netzwerke
2.3 Convolutional Neural Network und seine Komponenten
2.4 Convolutional Neural Network und seine Wichtigkeit im Bereich des autonomen Fahrens
2.5 Zielbild bei der Klassifikation Muster- und Bilderkennung im öffentlichen Straßenverkehr
3 Daten fürden Einsatz von Convolutional Neural Network und fürdas autonome Fahren
3.1 Bedeutung von Daten und die Datenstruktur für das Convolutional Neural Network
3.2 Daten und die Dateninfrastruktur für das autonome Fahren .
3.2.1 Datengewinnung
3.2.2 Datenspeicherung und die Herausforderungen
3.2.3 Datenverarbeitung und die Herausforderungen
3.3 Potenzial für ein Convolutional Neural Network Modell mit den Datensätzen von GTSRB
3.4 Anwendungsbeispiel: Der gesamte Datenprozess für das Convolutional Neural Network
4 Forschungsstand, Problematik, weitere Herausforderungen und Ausblick
5 Fazit
Literaturverzeichnis
Anhang A:
Stichwortverzeichnis
Die vorliegende Bachelorarbeit thematisiert, ob ein Convolutional Neural Network für das autonome Fahren geeignet ist und wie der gesamte Datenprozess für das Convolutional Neural Network Modell aussehen könnte. Dazu wurden mehrere Forschungsfragen gestellt.
Um die Forschungsfragen zu beantworten, wurde eine quantitative Literaturarbeit mit aktuellen wissenschaftlichen Kenntnissen durchgeführt. Die Bachelorarbeit ist in der deutschen Sprache geschrieben, aus diesem Grund orientiert sich die Bachelorarbeit an die deutschsprachige Bevölkerung.
Die quantitative Literaturarbeit zeigte, dass die größten Herausforderungen für das Convolutional Neural Network Training in der Datenspeicherung und der Datenverarbeitung liegen. Ebenfalls zeigte die quantitative Literaturarbeit, dass das Convolutional Neural Network durch die qualifizierte Wahl von Methoden und Daten eine bessere Erfolgsquote als das menschliche Verhalten für das autonome Fahren nachweist.
Dies zeigt, dass der Einsatz von Convolutional Neural Network Modellen mit einem optimalen Datenprozess und der Dateninfrastruktur für das autonome Fahren empfehlenswert sein kann.
Die vorliegende Bachelorarbeit behandelt mehrere Forschungsfragen, wie zum Beispiel „warum sind Convolutional Neural Networks geeignet für das autonome Fahren?“, oder „woher werden die Daten für das autonome Fahren gewonnen?“, die intensiv beantwortet werden sollen.
Dabei wurde die Forschung für diese Bachelorarbeit in Form einer quantitativen Literaturarbeit durchgeführt.
Diese Bachelorarbeit verfasse ich als Abschlussarbeit meines Studiums der Betriebswirtschaftslehre - Industrielles Dienstleistungsmanagement in Mülheim an der Ruhr an der Hochschule Ruhr West.
Zusammen mit meinem Betreuer, Herrn Christian Weiß, entwickelte ich die Forschungsfragen für diese Bachelorarbeit. Durch seine fachlichen Kenntnisse im Bereich des maschinellen Lernens, half er mir den Einstieg in die Thematik zu finden und Ideen für mögliche Forschungsfragen zu entwickeln. Gewisse Themenkomplexe gestalteten sich anfänglich als schwierig, dennoch konnten alle wesentlichen Fragestellungen erläutert und beantwortet werden.
Aus diesem Grund möchte ich meinem Betreuer für seine intensive Unterstützung während der Durchführung meiner Bachelorarbeit danken.
Zusätzlich möchte ich mich bei Sascha Müller und Alina Witte für das Korrekturlesen dieser Abschlussarbeit bedanken.
Ich wünsche Ihnen viel Freude beim Lesen dieser Abschlussarbeit.
Arda Kaya
Abbildung 1: Entwicklung der Anzahl der angemeldeten Patente im Bereich autonomes Fahren weltweit (Analog zu: https://de.statista.com/statistik/daten/studie/1062558/umfrage/anzah l-der-patente-im-bereich-autonomen-fahren-weltweit/, eigene Darstellung, online abgerufen am 30. April 2022, 16:30 Uhr)
Abbildung 2: Akzeptanzprobleme für das autonome Fahren: März 2019; 500 Befragte Personen; ab 18 Jahren (eigene Darstellung) (Analog zu : https://de.statista.com/statistik/daten/studie/270612/umfrage/nachtei le-von-autonomen-fahrzeugen/, online abgerufen am 30. April 2022, 13:50 Uhr)
Abbildung 3: Programmierung auf klassische Weise (links) und durch maschinelles Lernen (rechts) (Sigurd Schacht, Blockchain und maschinelles Lernen - Wie das maschinelle Lernen und die Distributed-Ledger- Technologie voneinander profitieren, 2019, S. 90)
Abbildung 4: Hierbei handelt es sich um eine grafische Darstellung des Ansatzes zur Generierung von künstlichen Trainingsbilder ( (Schiefkofer, Erdogan, Schindler, & Wendl, Maschinelles Lernen für das automatisierte Fahren, 2019, S. 5 1 )
Abbildung 5: Einteilung und Verfahren des maschinellen Lernens (Breyer- Mayländer, Industrie 4.0 bei Hidden Champions, 2022, S.173)
Abbildung 6: Eigene Darstellung: Überwachtes Lernen: Model trainiert anhand von bekannten Daten und Beispielen. Es gibt eine klare Zielvariable, die vorhergesagt wird. (Quelle: Analog zu https://datasolut.com/wiki/supervised-learning/, online abgerufen am 10.05.202)
Abbildung 7: Bestandteile eines künstlichen neuronalen Netzes (Eigene Darstellung, analog zu: Wennker, Künstliche Intelligenz in der Praxis - Anwendung in Unternehmen und Branchen: KI wettbewerbs- und zukunftsorientiertes einsetzen 2020)
Abbildung 8: Bestandteile eines Neurons (Wennker, Künstliche Intelligenz in der Praxis - Anwendung in Unternehmen und Branchen: KI wettbewerbs- und zukunftsorientiertes einsetzen 2020)
Abbildung 9: Formales Neuron mit den Eingaben der Aktivierungsfunktion (Ertel, Grundkurs Künstliche Intelligenz, 2008)
Abbildung 10: Funktionsverlauf der Aktivierungsfuntkion im Intervall -10 bis 10 (Eigene Darstellung, analog zu: Neiden, Analyse hochdimensionaler MALDI-Daten mittels Convolutional Neural Networks, 2017)
Abbildung 11: Grafische Abbildung vom lokales und globales Fehlerminimum beim Gradientenabstiegsverfahren (Sauer, Wiesche, & Krimmling, Management digitalier Plattformen - Datengetriebene Geschäftsmodelle für Mobilität in der Smart City 2018)
Abbildung 12: Convolutional Layer (Online: https://databasecamp.de/ki/convolutional-neural-network; Abgerufen am 25.04.2022; 19:29 Uhr)
Abbildung 13: Max Pooling mit 2x2-Filter und Stride=2 (Selle, Künstliche Neuronale Netzwerke und Deep Learning, 2018)
Abbildung 14: Pooling Layer übernimmt die 3x3 Matrix der Convolutional Layer als Input - Dimensionsreduktion (Quelle: https://databasecamp.de/ki/convolutional-neural-network; online abgerufen am 26. April, 22:00 Uhr)
Abbildung 15: Allgemeiner Aufbau eines CNN in Anlehnung an MathWorks (Neiden, Analyse hochdimensionaler MALDI-Daten mittels Convolutional Neural Networks, 2017)
Abbildung 16: Aufbau - vereinfacht dargestellt (Online abgerufen am 28.05.22, 21:10 Uhr : https://de.mathworks.com/discovery/convolutional- neural-network-matlab.html; MathWorks, 2021)
Abbildung 17: Die fünf Stufen des automatisierten Fahrens (Online abgerufen: https://blog.doubleslash.de/vision-zero-durch-autonomes-fahren/; am 19.06.2022; 18:40 Uhr)
Abbildung 18: Eigenes bearbeitetes Foto - Zielbild CNN im öffentlichen Straßenverkehr Mülheim (1) [Analog zu: https://artemoppermann.com/de/ki-use-case-computer-vision/]
Abbildung 19: Eigenes bearbeitetes Foto - Zielbild CNN im öffentlichen Straßenverkehr Mülheim (2) [Analog zu: https://artemoppermann.com/de/ki-use-case-computer-vision/]
Abbildung 20: Professionelles Rechenzentrum [Online abgerufen: https://www.it- daily.net/it-management/data-center/wie-sieht-ein-modernes- monitoring-der-rechenzentrums-infrastruktur-aus, am 10.05.22; 13:30 Uhr]
Abbildung 21: Der Weg der Daten von der Straße ins Rechenzentrum und in die Cloud (eigene Darstellung) (Analog zu: Nguyen, Autonomes Fahren beginnt im Rechenzentrum, 2020)
Abbildung 22: Autonomes Fahren im Urbanen Raum - Innovative Verarbeitung von Sensordaten für komplexe Verkehrssituationen (Volkswagen, https://www.volkswagenag.com/de/news/stories/2019/12/thechampions- league-of-autonomous-driving.html#, online abgerufen am 08. Mai
Abbildung 23: Nur wenige Teile der Daten können real sein [Online abgerufen: https://www.bmwk.de/Redaktion/DE/Downloads/W/ws5- praesentation-ki-und-daten.pdf?__blob=publicationFile&v=4; am 17.05.2022, 20:55 Uhr]
Abbildung 24: Energiebedarf pro Jahr [Mrd. kWh/a] (online abgerufen: https://www.bundestag.de/resource/blob/863850/423c11968fcb5c99 95e9ef9090edf9e6/WD-8-070-21-pdf-data.pdf; am 20.06.2022; 23:10 Uhr)
Abbildung 25: Speicheroptionen für die KI-Datenpipeline (Ziegler, Krämer, & Haustein, KI und Big-Data-Management für autonomes Fahren, 2020, S.43)
Abbildung 26: Datensätze mit mehreren Simulationen (Berghoff, Erkennung und Klassifizierung von Verkehrsschildern unter schwierigen Verhältnissen mit Convolutional Neural Network (CNN), 2020, S.5)
Abbildung 27: Funktionsweise CNN anhand von deutschen Verkehrsschildern (Online abgerufen: http://www.durak-bolat.de/RSRwithCNN.html; am 10.Juni 2022, 14:50 Uhr)
Abbildung 28: GTSRB Results 2011 (https://benchmark.ini.rub.de/gtsrb_results.html, online abgerufen am 29.05.2022, 18:20 Uhr)
Abbildung 29: Der Weg zum Modell [Online abgerufen: https://www.bmwk.de/Redaktion/DE/Downloads/W/ws5- praesentation-ki-und-daten.pdf?__blob=publicationFile&v=4; Bundesministerium für Wirtschaft und Energie, 2020, S. 2)
Abbildung 30: Anteil der Fahrzeuge mit Automatisierungsfunktionen an den Neuzulassungen (Prognos-Forschungsinstitut. Einführung von Automatisierungsfunktion in der Pkw-Flotte, 2018, S. 1 5)
Tabelle 1: Strukturierte Daten (Betriebswirtschaftliche KI-Anwendungen, Herrmann, 2021, S.33)
Tabelle 2: Vor- und Nachteile der verschiedenen Datenspeichermöglichkeiten (eigene Darstellung) [online abgerufen: https://www.cio.de/a/aktuelle-datensicherungsmethoden-im- ueberblick,3564528;Püschel, 2017)
ML Machine Learning
KI Künstliche Intelligenz
CNN Convolutional Neural Network
LIST List Processing (Listen-Verarbeitung)
ReLu Rectified Linear Unit Function
SQL Structured Query Language
IoT Internet of Things
GPU Graphic Processing Unit
HDD Hard-Disk-Drive
SSD Solid-State-Drives
SDS Special Direct System
ETL Extract-Transform-Load
NVMe Non-Volatile Memory Express
DL Data language
RTK Real Time Kinematic
GNSS Globales Navigationssatellitensystem
GTSRB German Traffic Sign Recognition Benchmark
Abbildung in dieser Leseprobe nicht enthalten
Glossar
Abbildung in dieser Leseprobe nicht enthalten
Maschinelles Lernen ist für autonomes Fahren zwingend erforderlich. Jedes Fahrzeug, welches sich im öffentlichen Straßenverkehr autonom bewegt, ist eine potenzielle Gefahr für andere Teilnehmer. Zu diesen gehören zum Beispiel weitere Autofahrer, Fußgänger und Fahrradfahrer. Es ist daher wichtig, dass der vollständige Datenprozess und die notwendige Technik für die Objekterkennung im Fahrzeug verstanden werden. (Krol, 2021, S. 9-13)
Aus diesem Grund ergibt sich die Besonderheit für das Convolutional Neural Network Modell und welchen Einfluss es nach ausführlicher Ausarbeitung für das autonome Fahren hat. Insbesondere die Prozesse während der Datensammlung sowie die Verarbeitung der Daten sind in diesem Modell von hoher Bedeutung. Hierbei ist zu unterscheiden, dass nur gewisse Daten benötigt werden und woher diese gewonnen werden.
Um die steigende Bedeutung des autonomen Fahrens zu verdeutlichen, wird in der ersten Abbildung eine Statistik über die Entwicklung der angemeldeten Patente im Bereich des autonomen Fahrens weltweit aufgezeigt. Im Jahr 2019 gab es insgesamt 18.260 Patente, was eine Steigerung von 1.344,62% im Vergleich zum Jahr 2009 entspricht. In den letzten Jahren wurde der Fokus in der Automobilindustrie vermehrt auf das autonome Fahren gelegt. Zukünftig soll es möglich sein, dass sich Fahrzeuge im öffentlichen Straßenverkehr auch selbstständig fortbewegen können, ohne dass eine Person aktiv das Fahrzeug betätigen muss. Dafür sind verschiedene lernfähige Systeme notwendig. (Süllwold, 2020, S. 7)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: Entwicklung der Anzahl der angemeldeten Patente im Bereich autonomes Fahren weltweit (Analog zu: https://de.statista.com/statistik/daten/studie/1062558/umfrage/anzahl-der-patente-im-bereich- autonomen-fahren-weltweit/, eigene Darstellung, online abgerufen am 30. April 2022, 16:30 Uhr)
Durch die stetige Steigerung der Anmeldungen der Patente ist deutlich zu erkennen, dass das autonome Fahren in naher Zukunft eine größere Rolle spielen wird als heute. Das klingt in der jetzigen Situation, da noch nicht viele autonome Fahrzeuge im öffentlichen Straßenverkehr unterwegs sind,sehr revolutionär, allerdings ist es in der Luftfahrt oder bei U-Bahnen schon längst Alltag geworden und nicht mehr wegzudenken, denn kein menschlicher Pilot kann einen Autopiloten in den Kategorien Präzision und Fehlerfreiheit übertreffen. (Koch, 2018, S. 4-5)
Wie schnell das autonome Fahrenflächendeckend präsent sein wird, hängt von der gesellschaftlichen Akzeptanz ab. Verantwortung, Sicherheit und Vertrauen in die Technik sind die entscheidenden Themenfelder für die Gesellschaft. In der Gesellschaft herrschen allerdings in vielen Bereichen Akzeptanzprobleme für das autonome Fahren im Straßenverkehr. (Audi, 2021, S. 38)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2: Akzeptanzprobleme für das autonome Fahren: März 2019; 500 Befragte Personen; ab 18 Jahren (eigene Darstellung) (Analog zu : https://de.statista.com/statistik/daten/studie/270612/um- frage/nachteile-von-autonomen-fahrzeugen/, online abgerufen am 30. April 2022, 13:50 Uhr)
In Abbildung 2 ist zu erkennen, dass von 500 befragten Teilnehmern in Deutschland 69% Angst vor Cyberangriffen oder Fernsteuerung an ihrem Fahrzeug und dadurch mögliche Manipulationen haben. Daraufhin folgen mit 65% das fehlende Vertrauen in die Technologie.
Wie in der ersten Abbildung zu erkennen ist, gewinnt das autonome Fahren an Bedeutung, allerdings sind noch viele Schwierigkeiten insbesondere in der Akzeptanz von der Gesellschaft vorhanden. Die Bachelorarbeit hat das Ziel. Das mangelnde Vertrauen in die Technik durch Convolutional Neural Network für das autonome Fahren umzukehren. Ein großes Einsatzgebiet von Convolutional Neural Network ist in der Bild- und Mustererkennung. Allerdings kann die Erkennung von VerkehrsschildernundAmpeln nur dann funktionieren, wenn ein Convolutional Neural Network Modell die Fähigkeit besitzt, Bilder und Muster zu erkennen, um letztlich auf ein Verhaltensmuster zu schließen. Im Bereich des autonomen Fahrens spielt aus diesem Grund das Convolutional Neural Network eine wichtige Rolle. (Dimitri, 2016)
Daher wird in dieser Bachelorarbeit unter anderem der Forschungsstand von Convolutional Neural Network dargestellt, sowie die Funktionsweise und dessen Komponenten, die erst den funktionalen Zusammenhang zwischen dem Convolutional Neural Network und des autonomen Fahrens ermöglichen. Der Schwerpunkt dieser Bachelorarbeit liegt darin, den gesamten Datenprozess von der Datensammlung bis zur Datenverarbeitung für das Convolutional Neural Network Modell aufzuzeigen. Dabei zeigt die Arbeit die Herausforderungen der Datenerfassung, wie zum Beispiel die Tatsache, dass aufgrund der großen Datenmengen, die gesammelt werden müssen, ein großes Rechenzentrum erforderlich ist. Aus den Problemen werden Lösungsansätze abgeleitet, welche eine Darstellung von Prozessen geben, um das autonome Fahren ohne menschlichen Fahrer zu ermöglichen.
Der Leser soll verstehen, wie die Daten für das Convolutional Neural Network Modell gewonnen, gespeichert und verarbeitet werden und welche Herausforderungen im gesamten Prozess zu bewältigen sind, damit das Convolutional Neural Network Modell sein Potenzial entfachten kann. Durch das Aufzeigen des gesamten Datenprozesses für das Convolutional Neural Network Modell, kann Vertrauen in die Technik gewonnen und der Schwierigkeit bezüglich der Akzeptanz entgegengewirkt werden. Die Ergebnisse dieser Bachelorarbeit eignen sich für die weiterführende Analyse von autonomem Fahren und leisten einen akademischen Beitrag zur Diskussion über den gesamten Datenprozess für das Trainieren des Convolutional Neural Network Modells bei.
Eingeleitet wird die Bachelorarbeit durch eine Einführung in die Thematik des maschinellen Lernens, welches die Grundlage für das autonome Fahren bildet. Im nachfolgenden Kapitel werden künstliche neuronale Netzwerke beschrieben, deren Bestandteile ebenfalls wie das Convolutional Neural Network auf mathematischen Modellen aufgebaut werden. Um die Basis der Abschlussarbeit festzulegen, wird sowohl auf die Geschichte als auch auf die für Convolutional Neural Network benötigten Komponenten Bezug genommen. Das Convolutional Neural Network hat einen hohen Stellenwert in dieser Bachelorarbeit, da gezeigt wird, ob ein Convolutional Neural Network Modell für das autonome Fahren geeignet ist. Zusätzlich werden in diesem Zusammenhang wichtige Begriffe definiert. An schließlich erfolgt die Auseinandersetzung mit der eigentlichen Thematik bezüglich der Daten für das autonome Fahren. Speziell im Bereich der Datensammlung wird aufgezeigt, welcher große Aufwand von Rechenzentren betrieben werden muss, um die hohe Quantität an gesammelten Daten zu speichern und zu verarbeiten. Weiter wird beschrieben, wie Daten im Kontext zum autonomen Fahren gewonnen werden und welche Daten unumgänglich für ein gutes trainiertes Convolutional Neural Network Modell sind. Abschließend werden die Ergebnisse der Bachelorarbeit zusammenfassend dargestellt, um eine präzise Beantwortung der Forschungsfragen zu ermöglichen, welche im Fazit sowohl ausgewertet als auch interpretiert wird.
Im Folgenden Kapitel werden nun zunächst die theoretischen Grundlagen des maschinellen Lernens betrachtet, die zum Verständnis für das Convolutional Neural Network notwendig sind. Nach der Erläuterung des maschinellen Lernens werden die Künstlichen Neuronalen Netzwerke sowie das Convolutional Neural Network und dessen Komponenten erklärt. Das Kapitel wird mit der Erklärung der Wichtigkeit des Convolutional Neural Networks für das autonome Fahren und dem Zielbild bei der Klassifikation im öffentlichen Straßenverkehr abgeschlossen.
Das maschinelle Lernenist ein wichtiger Bestandteil der Künstlichen Intelligenz und gehört in die Kategorie der Informatik. Durch das maschinelle Lernen werden IT-Systeme, in eine Lage versetzt, wodurch die anhand der vorhandenen Datenbestände und Algorithmen Muster und Gesetzmäßigkeiten erkennen. Dadurch entwickelt das maschinelle Lernen Lösungen. (Sigurd Schacht, 2019, S. 90-91)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 3: Programmierung auf klassische Weise (links) und durch maschinelles Lernen (rechts) (Sigurd Schacht, Blockchain und maschinelles Lernen -Wie das maschinelle Lernen und die Distributed-Ledger- Technologie voneinander profitieren, 2019, S. 90)
Für die Intuition wie maschinelles Lernenfunktioniert, kann eine Analogie-Bildung angeschaut werden, wie ein Mensch lernt. Um neues Wissen zu erlernen, oder sich neue Fähigkeiten anzueignen, besteht für einen Menschen die Möglichkeit, Daten und Informationen aus bspw. Lexika zu lesen oder Wissen aus alten und neuen Erfahrungen zu generieren, um eigenständige Lösungen für neue und unbekannte Probleme zu finden. Die dafür aufgewendete zielgerichtete Anstrengung zeigt einen Prozess, durch den eine Anreicherung des Wissensschatzes erreicht wird. Durch das wiederholte lesen der Kernaussage in weiteren Lexika oder durch neue Erfahrungen, lassen sich Verhaltensänderungen, welche auf Beobachtung, Übung und zurückzuführen sind, feststellen. Im Vergleich zu Maschinen sind Menschen in der Lage, ihr Verhalten anzupassen sowie Zusammenhänge zu erkennen, Rückschlüsse zu ziehen und Vorhersagen zu treffen. (Aichele & Jörg, 2021, S. 31-32)
Nachdem verdeutlicht wurde, wie das maschinelle Lernen interpretiert werden kann, schauen wir uns ein Praxisbeispiel für das maschinelle Lernen im Bereich autonomes Fahren für das Antrainieren der Objekterkennung an. Für die kamerabasierte Objekterkennung wurde ein Ansatz verfolgt, mit dem der Aufwand zur Generierung von Trainingsbildern deutlich reduziert werden kann. Diese Methodik des maschinellen Lernens kann für die Erkennung von Objekten verwendet werden.Als gutes Beispiel können hier Ampeln und Verkehrsschilder aufgeführt werden.Um die Funktionsweise besser darzustellen, wird Abbildung 4 erläutert. In Abbildung 4ist zu sehen, wie aus unterschiedlichen Perspektiven und vor einem homogenen Hintergrund Bilder aufgenommen wurden, um dannim späteren Anwendungsfall erkannt zu werden. Der nächste Schritt besteht darin, dass die Objekte (synthetisch erstellte Bilder)aus einer Menge der aufgenommenen Bilder mit entsprechenden Bildverarbeitungsalgorithmen automatisiert ausgeschnitten werden. Die Objekte, die ausgeschnitten wurden, werden abschließend für das Training in ein Hintergrundbild (unterer Bereich der Abbildung)eingefügt.Das Zusammensetzen in ein Hintergrundbild dient als Training für das autonome Fahrzeug. Ein Trainingsbeispiel wäre die Ampelschaltung. Wird die verwendete Ampel im Bild auf Grün geschaltet, soll das autonome Fahrzeug lernen, die Fahrt fortsetzen. Für das maschinelle Lernen mit der Convolutional Neural Network Technologie ist es nur relevant, eine hohe Trefferquote für lokale Merkmale zu erzielen, damit das autonome Auto dementsprechend reagieren kann.(Schiefkofer, Erdogan, Schindler, & Wendl, 2019, S. 50-51)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 4: Hierbei handelt es sich um eine grafische Darstellung des Ansatzes zur Generierung von künstlichen Trainingsbilder ( (Schiefkofer, Erdogan, Schindler, & Wendl, Maschinelles Lernen für das automatisierte Fahren, 2019, S. 51)
Im Bereich des maschinellen Lernens gibt es drei Vorgehensweisen, die sich im Lernprozess unterscheiden.
-Überwachtes Lernen(Supervised Learning): Im gesamten Lernprozess ist der korrekte Ausgabewert bekannt.
-Unüberwachtes Lernen(Unsupervised Learning): Im gesamten Lernprozess ist der Ausgabewertnicht bekannt oder wird nicht genutzt.(Matzka, 2021, S. 1112)
- Bestärkendes Lernen(Reinforcement Learning): Das Lernsystem funktioniert durch die Interaktionen und Erfahrungen direkt von der Umwelt.(Ege & Paschke, 2020, S. 11-12)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 5: Einteilung und Verfahren des maschinellen Lernens (Breyer-Mayländer,Industrie 4.0 bei Hidden Champions,2022,S.173)
Die erste Variante, die besprochen wird, ist das überwachte Lernen. Das sicherste Lernen stellt das überwachte Lernen dar. Aus diesem Grund ist es am effektivsten, bei sicherheitsrelevanten Lernaufgaben das überwachte Lernen zu bevorzugen. Dadurch können aber keine innovativen Erkenntnisse aus den Daten gewonnen werden, weswegen es nicht für kreative Aufgaben geeignet ist. Das Hauptziel des überwachten Lernens ist die Optimierung. (Mockenhaupt, 2021, S. 139)
Beim überwachten Lernen wird dem Algorithmus des Maschine Learning ein Datensatz vorgelegt, dessen Zielvariable bereits bekannt ist. Dadurch erlernt der Algorithmus bestimmte Abhängigkeiten und Zusammenhänge innerhalb der Daten, mit denen sich die Variablen erklären lassen. Nach der Durchführung wird die Qualität der Vorhersage bewertet. Die erlernten Muster werden dann auf neue, hinzugewonnene und unbekannte Daten angewendet, um Prognosen sowie Vorhersagen zu erstellen. (Wuttke, Was ist Supervised Learning (Überwachtes Lernen)?, 2020)
Beim überwachten Lernen werden zwei Mechanismen eingesetzt:
-Klassifikation: Immer bei diskreten Ausgabewerten. Bei einer Klassifikation wird ein Input aus einer Auswahl von vorher festgelegten Eigenschaften (Klassen) zugeordnet. Bei einer Bilderkennung für das autonome Fahren könnten es zum Beispiel Verkehrsschilder sein wie zum Beispiel „Stop“ und „Vorfahrt“, welche vorher in Klassen festgelegt wurden.(DIVISIO, 2019)
-Regression: Bei kontinuierlichen Ausgabewerten. Die Regression zeigt Zusammenhänge zwischen zwei oder mehreren Variablen an.(Matzka, 2021, S. 10)
In einer Klassifikation sind in einem Datensatz Eingabeeigenschaften eines beliebigen Typs sowie eine diskrete Eigenschaft, die als Ausgabewert definiert wird, bekannt. Das Ziel hier besteht darin, dass das maschinelle Lernverfahren anhand von Mustern in den Eingabedaten deren konkrete Klasse bestimmen kann.(Matzka, 2021, S. 11)
Nach der Erläuterung der Klassifikation wird die Regression erklärt. Bei der Regression ist der Algorithmus darauf ausgelegt, eine Ausgabe aus einem kontinuierlichen Bereich möglicher Werte zu prophezeien. Dafür muss der Algorithmus eine funktionale Beziehung zwischen den Eingabe- und Ausgabeparametern identifizieren. (TIBCO Software Inc., 2020)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 6: Eigene Darstellung: Überwachtes Lernen: Model trainiert anhand von bekannten Daten und Beispielen. Es gibt eine klare Zielvariable, die vorhergesagt wird. (Quelle: Analog zu https://dataso- lut.com/wiki/supervised-learning/, online abgerufen am 10.05.202)
Als nächstes wird ein Praxisbeispiel im Bereich des überwachtes Lernen aufgezeigt. In Abbildung 6 sind die Eingabedaten vom System zu erkennen. Das überwachte Lernen, worauf das Convolutional Neural Network Modell beim autonomen Fahren beruhen wird, trainiert anhand von bekannten Daten und Beispielen. Das überwachte Lernen unterteilt bei der Ausgabe die Datensätze durch eindeutige Zielvariablen, die vorhergesagt werden. Im Praxisbeispiel ist zu erkennen, dass die Eingabedaten eine grüne Ampel ist. Das Modell wurde darauf trainiert, dass bei einer grünen Ampel die Fahrt fortgesetzt werden kann, wenn die Umgebungsbedingungen stimmen. (Müller, 2021)
Die Gegenseite vom überwachten Lernen ist das unüberwachte Lernen. Das unüberwachte Lernen ist eine Methode, bei der der Algorithmus selbständig und ohne Überwachung Muster und Zusammenhänge in Daten explorativ erkennt. Die Eingangsdaten haben dabei weder eine bestimmte Beschriftung noch eine vorgegebene Zielvariable, weswegen die gewünschten Ausgabedaten nicht vorgegeben sind. (Wuttke, Was ist Unsupervised Learning (Unüberwachtes Lernen), 2020)
Das unüberwachte Lernen hat wie das überwachte Lernen verschiedene Mechanismen:
-Dimensionsreduktion: Das Ziel der Dimensionsreduktion besteht darin, die Anzahl der Merkmale zu verringern, ohne bestimmte Charakteristiken - wie zum Beispiel den paarweisen Abstand der Datenpunkte voneinander wesentlich zu verändern.
-Clusteranalyse: Die Clusteranalyse und das damit verbundene Verfahren hat das Ziel, eingehende Datensätze in Gruppen ähnlicher Informationsobjekte einzuteilen. Analog zum überwachten Lernen wäre eine Klassifikationsaufgabe - nur werden die Clusterlabels nicht durch einen Trainingsdatensatz vorgegeben, sondern vom Algorithmus bestimmt. Hier wird aus der Struktur der Eingangsdaten erlernt. (Plaue, 2021, S. 255) Die Clusteranalyse im Bereich autonomes Fahren kann für die Festlegung der Unfallentwicklung auf lokaler Ebene genutzt werden. Das ermöglicht die Erfassung von den notwendigen Ereignisdaten, um gezielte Maßnahmen für lokale Verbesserungen des Verkehrskonzepts abzuleiten. Dadurch ist es möglich, das Verkehrskonzept zu verbessern und damit das Unfallrisiko an den jeweiligen Orten zu verringern. Das führt zu einer Reduzierung des Unfallpotentials. (Breitfuß, 2020, S. 21)
-Assoziationsanalyse: Das Verfahren bei der Assoziationsanalyse beschäftigt sich mit der Suche nach interessanten Beziehungen zwischen Variablen in großen Datenmengen. (Töbel & Kropp, 2018, S. 17)
Nachdem die beiden Varianten erläutert wurden, wird die letzte mögliche Vorgehensweise im Bereich des maschinellen Lernen dargestellt, nämlich das bestärkende Lernen (Reinforcement Learning). Im Gegensatz zum überwachten Lernen benötigt das beschränkte Lernen im Vorfeld keine Daten. Die Bildung der Daten erfolgt stattdessen durch ausführliche Trial-and-Error-Abläufe innerhalb eines dafür simulierten Szenarios. Mitten im Trainingsdurchlauf werden beim Reinforcement die erforderlichen Daten markiert und generiert. Im Reinforcement Learning ist eine unabdingbare Komponente vorhanden, nämlich der Agent. Der Agent repräsentiert die Künstliche Intelligenz im Reinforcement Learning. Der Agent ist darauf programmiert, eine Strategie zu erlernen, um die erhaltenen Belohnungen anhand einer Belohnungs-Funktion (Nutzwertfunktion) zu maximieren. Dadurch hat der Agent eigenständig erlernt, welche Aktion in der jeweiligen Situation die beste ist. (Laurenz, 2020)
Die drei möglichen Varianten des maschinellen Lernens basieren auf der Grundlage des Deep Learning, wie in der Abbildung 5 zu erkennen ist. In der Forschung im Bereich der Künstlichen Intelligenz werden immer Systeme genutzt, die vergleichbar wie das neuronale Netzwerk des Menschlichen Gehirns funktioniert. Diese Art von Technologie wird auch als Deep Learning bezeichnet. Deep Learning bedeutet, dass der Lernprozess in künstlichen neuronalen Netzen stattfindet, die mindestens aus mehreren, teilweise aber auch aus sehr vielen inneren Schichten bestehen. (Franken, 2020, S. 39-40)
Das Deep Learning hat in den letzten Jahren einen großen Teil dazu beigetragen, die Interpretation von Sprache, Bildern oder Schrift zu ermöglichen. Es ist ein wesentliches Teilgebiet des maschinellen Lernens. Beim Deep Learning werden parametrisierte Modelle genutzt, welche aus sukzessiv, sogar tief hintereinander aufgebauten Schichten bestehen. Es basiert auf der Grundlage der Künstlichen Neuronalen Netzwerke, die im nächsten Unterkapitel erfolgt. Es sorgt für eine reibungslose Identifikation der passenden Parametern zu einem bestehenden Problem, das gelöst werden muss. Dieser Prozess erfolgt iterativ und wird auch Trainingsprozess genannt. Dabei wird vom „Lernen der Aufgabe“ gesprochen. (Folkers, 2019, S. 3)
Künstliche Neuronale Netzwerke sind Im Kontext zum Menschen Nervenzellen mittels Synapsen, die vernetzt sind und verschiedene Neuronen mit Verbindungen verknüpfen und ein Netzwerk bilden. Die verknüpften künstlichen Neuronen werden dann zur Berechnungen genutzt. Die Funktionsweise basiert darauf, dass jedes künstliche Neuron einen Signal empfängt und verarbeitet. Das verarbeitete Signal wird vom Neuron ggf. an das nächste künstliche Neuron weitergeleitet. Im Bereich der Bilderkennung kann ein neuronales Netz selbstständig lernen, ob auf einem Bild ein Auto zu sehen ist, sofern es vorher mit Beispielbildern gefüttert wurde, die mit den Labels Auto/kein Auto versehen sind. Das neuronale Netz muss hierfür nicht darauf programmiert werden, dass ein Auto vier Räder hat und auf der Straße fährt. Es lernt selbstständig Attribute, die ein Auto in Bildern ausmacht. Schematisch dargestellt besteht ein künstliches neuronales Netz von künstlichen Neuronen, die in Schichten angeordnet sind. Zwischen der Eingabeschicht (Input Layer) und der Ausgabeschicht (Output Layer) finden sich weitere verdeckte Schichten (Hidden Layers). (Wennker, 2020, S. 18-20)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 7: Bestandteile eines künstlichen neuronalen Netzes (Eigene Darstellung, analog zu: Wennker, Künstliche Intelligenz in der Praxis - Anwendung in Unternehmen und Branchen: KI wettbewerbs- und zukunftsorientiertes einsetzen 2020)
Nachdem erläutert wurde, wie künstliche neuronale Netzwerke funktionieren, werden die Bestandteile eines KNN erläutert. In Abbildung 7 sind die Bestandteile eines künstlichen neuronalen Netzes zu sehen. Das Input Layer im neuronalen Netz, das sich in der Eingabeschicht befindet, hat die Aufgabe, Informationen aufzunehmen und diese zu gewichten. Dabei ist jedes Neuron individuell. Diese Daten werden als Reiz aufgenommen und an alle Neuronenim inneren, welche auchHidden Layergenannt werden, weitergegeben. Diese Daten werden vor jeder erneuten Weitergabe in die nächste Schicht wiederum individuell gewichtet. Die Neuronen im Hidden Layer geben die gewichteten Reize weiter, und diese landen dann im Output Layer. Das Output Layer befindet sich in der Ausgabeschicht und dort wird das Gesamtergebnis abgebildet. (Grünwald, 2020)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 8: Bestandteile eines Neurons (Wennker, Künstliche Intelligenz in der Praxis - Anwendung in Unternehmen und Branchen: KI wettbewerbs- und zukunftsorientiertes einsetzen 2020)
Nach der Erläuterung der Bestandsteile wird das mathematische Modell beschrieben. Die künstlichen neuronalen Netzwerke basieren auf mathematischen Modellen. Es wird eine Berechnung mit dem Neuroniin einem Zeitschritt durchgeführt. Das Aufladen des Aktivierungspotentials, erfolgt durch Summation der gewichteten Ausgabewertex1 — xnaller eingehenden Verbindungen ’ über die Formel:
Abbildung in dieser Leseprobe nicht enthalten
Bei den neuronalen Modellenwird diese gewichtete Summeberechnet.Die Aktivierungsfunktion erfolgt nach der gewichteten Summe und desjeweiligenErgebnisses.
Abbildung in dieser Leseprobe nicht enthalten
Die Aktivierungsfunktionwird im nächsten Schritt als Ausgabe über die synaptischen Gewichte an die Nachbarneuronenweitergegeben. Es muss beachtet werden, dass für die Aktivierungsfunktion eine Reihe von Möglichkeiten existieren. Um es zu vereinfachen, wird hier die Identität ( /’(X) =x) genommen. (Ertel, Grundkurs Künstliche Intelligenz, 2008, S. 244-245)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 9: Formales Neuron mit den Eingaben der Aktivierungsfunktion (Ertel, Grundkurs Künstliche Intelligenz, 2008)
Neben der Aktivierungsfunktion existiert die Schwellwertfunktion. Die Schwellwertfunktion gibt den Wert 1 zurück, wenn der Bias > 0 ist und -1 für alle anderen vorhandenen Werte. (Hölscher, 2021, S. 116)
Abbildung in dieser Leseprobe nicht enthalten
Die Schwellenwertfunktion ist eine von mehreren Aktivierungsfunktionen, weitere Funktionen sind folgende:
- der Tangens Hyperbolicus
Abbildung in dieser Leseprobe nicht enthalten
- die Sigmoid Funktion mit Steigungsparameter a
Abbildung in dieser Leseprobe nicht enthalten
- die Rectified Linear Unit Funktion
Abbildung in dieser Leseprobe nicht enthalten
Der Funktionsverlauf der Aktivierungsfunktionen wird in einem Diagramm in Intervallen dargestellt. (Neiden, 2017, S. 22-23)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 10: Funktionsverlauf der Aktivierungsfuntkion im Intervall -10 bis 10 (Eigene Darstellung, analog zu: Neiden, Analyse hochdimensionaler MALDI-Daten mittels Convolutional Neural Networks, 2017)
Die Sigmoidfunktion deckt den Bereich zwischen [0,1] ab und die ReLu zwischen [0,~]. Aus diesem Grund wird bei Modellierungen von Wahrscheinlichkeiten meistens die Sigmoidfunktion benutzt, da diese Funktion im Gegensatz zu der ReLu Funktion zwischen 0 und 1 beschränkt ist. Mit dem ReLu werden alle positiv reellen Zahlen modelliert. Der wichtige Vorteil dieser Funktion ist, dass bei der Berechnung von Convolutional Neural Networks keine Komplikationen mit dem „Schwinden“ des Gradienten existieren. Außerdem hat sich herausgestellt, dass Convolutional Neural Networks mittels ReLu effizienter trainiert werden können. (Fischer, Convolutional Neural Networks am Beispiel eines selbstfahrenden Roboters 0.1 Dokumentation, 2017)
An dieser Stelle ist die Konsequenz erkennbar, wenn es zu einem Schwinden des Gradienten kommt. Um dies zu verstehen, wird zunächst das Gradientenabstiegsverfahren, oder auch Verfahren des steilsten Abstiegs genannt, erklärt. Das Ziel dieses Verfahren ist die Suche nach dem optimalen Minimum für eine gewisse ausgewählte Funktion und dass die Gewichte bei jeder Iteration durch das Netz in Richtung eines Fehlerminimums angepasst werden. Die allgemein Problematik liegt darin, dass die Trainingsdaten hochdimensional sein können. Je hochdimensionaler die Daten sind, desto höher ist die Gefahr ein lokales, statt ein globales Minimum zu finden. Der Fokus liegt daher auf der Suche nach dem globalen Minimum. (Sauer, Wiesche, & Krimmling, 2018, S. 226)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 11: Grafische Abbildung vom lokales und globales Fehlerminimum beim Gradientenabstiegsverfahren (Sauer, Wiesche, & Krimmling, Management digitalier Plattformen - Datengetriebene Geschäftsmodelle für Mobilität in der Smart City 2018)
Nun wird ein Vergleich zu der Sigmoid-Aktivierungsfunktion gezogen. Bei dieser Funktion ist der Gradient typischerweise ein Bruchteil zwischen 0 und 1. Bei einem mehrschichtigen Convolutional Neural Network multiplizieren sich diese und erzeugen exponentiell kleine Gradienten. Jeder Schritt des Gradientenabstiegs führt unweigerlich zu einer minimalen Änderung der Gewichte. Diese Änderung hat eine langsame Konvergenz zur Folge. Im Vergleich zu der ReLu-Aktivierung ist der Gradient der ReLu entweder 0 oder 1. Dies führt dazu, dass nach vielen Schichten der Gradient häufig das Produkt aus einer Reihe von 1en enthält und somit der Gesamtgradient nicht zu klein oder zu groß ist. Bei dieser Performance liegt die ReLu Funktion ebenfalls vorne. Diese Funktion ist viel schneller als andere Sigmoid-Aktivierungsfunktionen, die einen Exponenten verwenden, welcher bei häufigem Gebrauch rechenintensiv sein kann. Die Sigmoid-Aktivierungsfunktion war im Bereich des Trainings neuronale Netze früher sehr beliebt, allerdings hat sie das Problem der verschwindenden Gradienten. Daher lautet die allgemeine Empfehlung für das Convolutional Neural Network Training, dass man in den meisten Fällen die Rectified Linear Unit Funktion verwendet werden sollte. (Keras, 2022) Es ist hervorzuheben, wo die Problematik bezüglich der neuronalen Netze liegt und dementsprechend für das Convolutional Neural Network Modell. Falls es zu einem Verschwinden von Gradienten kommt, ist dies insbesondere ein Problem bei wiederkehrenden neuronalen Netzen, da bei der Aktualisierung des Netzwerkes das Netzwerk für jeden Eingabezeitschritt abgewickelt wird. Dadurch entsteht ein instabiles Netzwerk, welches Gewichtsaktualisierungen erfordert. (Babel, 2021, S. 26)
Der Gradient kann bei neuronalen Netzen mit vielen Schichten nicht nur verschwinden, sondern auch explodieren, wobei der Gradient exponentiell zunehmen kann, wenn er sich durch das Netzwerk rückwärts ausbreitet. Die Explosion des Gradienten, welche als Fehlgradient bezeichnet wird, führt dazu, dass das Modell instabil wird. Dies hat zur Folge, dass es nicht mehr aus den hinzugefügten Trainingsdaten lernen kann. (Brutalk, 2021)
Die Geschichte von Neuronalen Netzwerken geht weiter zurück als die Künstliche Intelligenz. In den 1940ern Jahren untersuchten Forscher, wie Neuronen im Gehirn arbeiten. Es wurden Experimente durchgeführt, in denen Neuronen in Form von Schaltungen nachgebildet wurden. Den ersten Durchbruch gab es 1957 mit dem „Mark I Perceptron“, einer Maschine, die mit Hilfe eines einzelnen „Neurons“ Eingabedaten in zwei Klassen aufteilen konnte. Die Maschine lernte aus den Fehlern der Vergangenheit, um die folgenden Versuche optimaler zu gestalten. Der Forscher des Deep-Learning Yann LeCun entwickelte in den 90er Jahren die ersten Convolutional Neural Network Modelle, um handgeschriebene Zahlen zu erkennen. Die damalige neue Form von neuronalen Netzwerken war besonders dazu geeignet, bestimmte Sachen auf Bildern zu erkennen. Danach bekamen allerdings bis 2012 neuronale Netze mit Convolutional Neural Networks kaum Beachtung. (Hertwig, 2018)
Ab 2012 kamen neuronale Netze mit Convolutional Neural Networks wieder in den Vordergrund, als der Experte für maschinelles Lernen Alex Krizhevsky sie einsetzte, um den ersten Preis im ImageNet-Wettbewerb zu erhalten. Er konnte den Rekord bei den Klassifizierungsfehlern deutlich senken und erreichte damit 15 Prozent. Hierbei handelt es sich um eine Verbesserung gegenüber dem alten Rekord von 26 Prozent. (Data Science Team, 2020)
Nachdem die Geschichte erläutert wurde, wird nun auf das Convolutional Neural Network und seine Komponenten eingegangen. Das Convolutional Neural Network (zu Deutsch: faltendes neuronales Netzwerk) ist eine besondere Variante von neuronalen Netzwerken. Es dient zu einer automatisierten Klassifikation von digitalen Bildern. Das Convolutional Neural Network dient der vereinfachten Darstellung von digitalen Bildern, in dem es das Quellbild mit jeder Schicht in neue Merkmalskarten umwandelt, auch Pooling genannt. (Matthias, 2021, S. 245)
Die erste Komponenten von Convolutional Neural Network ist das Convolutional Layer. Das Convolutional Layer stellt eine Arbeitsweise dar, in der lokale Merkmale aus den Eingabedaten extrahiert werden. Die Größe des lokalen Merkmals entspricht der Größe des Filters und wird als rezeptives Feld bezeichnet. Es ist eine Anwendung identischer Operationen auf kleine Bereiche. Es hat die Aufgabe, die Faltungen zu berechnen, indem ein Fenster pixelweise über das Input-Bild geschoben wird. Die Position des Fenstershat viele pixelartige Positionen, und an jeder wird eine gewichtete Summe der Pixel berechnet, die innerhalb derFenster liegen. Die können durch Neuronen dargestellt werden. Die Aktivierungen werden auch als Feature-Map (Feature = Filter)bezeichnet. Das Convolutional Layer ist ein wesentlicher Bestandteil vom Convolutional Neural Network, da eine Verkettung von mehreren Convolutional Layers im Endeffekt das Convolutional Neural Network darstellt. Diese Methodik findet in der Praxis häufig in der Audio- und Bildanalyse Verwendung. (Proff, Brand, & Schramm, 2020, S. 87)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 12: Convolutional Layer(Online: https://databasecamp.de/ki/convolutional-neural-network; Abgerufen am 25.04.2022; 19:29 Uhr)
Um die Funktionsweise vom Convolutional Layer näher dazustellen, wird hier ein Praxisbeispiel aufgezeigt. In Abbildung 12 sollen die Dimensionen eines Bildes im Convolutional Layer verringert werden. Für diesen Fall werden drei verschiedene Farbfilter mit einer Dimension von 2x2 definiert. In den Farbfiltern ist immer eine 1 oder eine 0 vorhanden. Die Zahlen bedeuteten eine Schrittlänge von 1, was bedeutet, dass der Filter nach jedem Berechnungsschritt um einen Pixel weiterverschoben wird. Das Ziel der Schrittlänge 1 besteht darin, dass die Details des Bildes erhalten bleiben. Es hat nicht das Ziel, die Dimensionen stark zu verringern. Bei einer Abwanderung der 4x4 Matrix mit einer 2x2 Matrix, wie in Abbildung 12 zu sehen ist, hat das Convolutional Layer eine 3x3 Matrix als Output. Die Berechnung besteht darin, dass die einzelnen Werte der 4x4 Matrix mit den Farbfiltern multipliziert werden. Die Summe ergibt sich aus der Addition 17 aller drei Ergebnisse. Im nächsten Schritt wird die Komplexität mit dem Pooling Layer erneut reduziert. (Lang, 2021)
Anschließend folgt nach dem Convolutional Layer das Pooling Layer als zweite Komponente vom Convolutional Neural Network. Das Pooling Layer wird benötigt, um zu selektieren, welche Informationen und Daten überflüssig sind und auf welche es sich zu fokussieren gilt. Beispielhaft kann hier wieder die Objekterkennung genannt werden, in der es nicht wichtig ist, an welcher exakten Position ein Feature oder eine Kante ist, sondern die ungefähre Lokalisierung ausreicht. Unterschieden wird hier zwischen zwei unterschiedlichen Varianten: Max Pooling und dem Avg Pooling. (Selle, 2018, S. 36)
Der Unterschied vom Pooling Layer zum Convolutional Layer liegt darin, dass beim Pooling Layer vom Ergebnis je nach Anwendung entweder nur der Maximal- oder der Durchschnittswert übernommen wird. Durch diese Funktionen bleiben Features in wenigen Pixeln erhalten, die für die Aufgabenlösung entscheiden sind. (Lang, 2021)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 13: Max Pooling mit 2x2-Filter und Stride=2 (Selle, Künstliche Neuronale Netzwerke und Deep Learning, 2018)
In Abbildung 13 ist ein Max Pooling Layer mit 2x2 Filter zu sehen. Es ist ein Beispiel für einen basierten Diskretisierungsprozess. Die Diskretisierung ist ein Teil der angewandten Mathematik und dient der Übertragung kontinuierlicher Funktionen. Das Ziel besteht darin, eine Eingabedarstellung (Bild-, Hidden-Layer-Ausgangsmatrix etc.) abzutasten und die Dimensionalität zu reduzieren. Dadurch werden Annahmen über die in den Unterregionen enthaltenen Features erstellt. Beim Max Pooling wird die Anzahl der zu erlernenden Parameter reduziert, in dem man sich auf das Maximum vom Inputnim jeweiligen Bereich konzentriert. Dadurch wird auch der Rechenaufwand reduziert. (Fischer & Pochwyt, Convolutional Neural Networks am Beispiel eines selbstfahrenden Roboters, 2017)
Bei der Verwendung der Avg Pooling Variante werden ausschließlich Mittelwerte der Aktivitäten verwendet. Mit Hilfe des Poolings, auch Down Sampling oder Subsampling genannt, lässt sich also die Dimension und damit die Komplexität reduzieren. Dadurch wird eine Überanpassung vorgebeugt, die Berechnungsgeschwindigkeit steigt und der Speicherbedarf sinkt. Pooling ist eine wichtige Voraussetzung und unabdingbar, wenn sehr tiefe Convolutional Neural Network Modelle konstruiert werden sollen, um komplexe Probleme zu lösen. Die nächste Variante, die auf das Pooling Layer folgt, ist das Fully Connected Layer. (Selle, 2018, S. 37-38).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 14: Pooling Layer übernimmt die 3x3 Matrix der Convolutional Layer als Input - Dimensionsreduktion (Quelle: https://databasecamp.de/ki/convolutional-neural-network; online abgerufen am 26. April, 22:00 Uhr)
Abschließend folgt die letzte Komponente vom Convolutional Neural Network, nämlich das Fully-Connected Layer. Die Neuronen im Fully-Connected Layer (auch Dense Layer genannt) besitzen alle Verbindungen zu den Neuronen des vorrangigen Layers. Sie dient in erster Linie zur Klassifikation. (Brinkmann, 2016, S. 13-14)
Abbildung in dieser Leseprobe nicht enthalten
In der obigen Gleichung ist die allgemeine Formel zu sehen, in der der Ausgabewert eines Fully-Connected Layer berechnet wird. Dasnsteht für die J der Neuronen im Layer undmist die Anzahl der Eingabewerte des vorherigen Layers. Der Fully Connected Layer hat Verbindungen zu allen Neuronen von den vorherigen Schichten (Convolutional Layer, Pooling Layer) ohne Beschränkungen. Die Funktionsweise vom Fully- Connected Layer dient dazu, die vorherigen komplexen berechneten Merkmale für die gesamte Eingabe zu berechnen. Aus den komplexen Merkmalen kann dann, falls es zu Problemen bei der Klassifikation kommt, mit Hilfe von SoftMax Layer Classifern eine Klassifikation bestimmt werden. (Brinkmann, 2016, S. 14)
[...]
Der GRIN Verlag hat sich seit 1998 auf die Veröffentlichung akademischer eBooks und Bücher spezialisiert. Der GRIN Verlag steht damit als erstes Unternehmen für User Generated Quality Content. Die Verlagsseiten GRIN.com, Hausarbeiten.de und Diplomarbeiten24 bieten für Hochschullehrer, Absolventen und Studenten die ideale Plattform, wissenschaftliche Texte wie Hausarbeiten, Referate, Bachelorarbeiten, Masterarbeiten, Diplomarbeiten, Dissertationen und wissenschaftliche Aufsätze einem breiten Publikum zu präsentieren.
Kostenfreie Veröffentlichung: Hausarbeit, Bachelorarbeit, Diplomarbeit, Dissertation, Masterarbeit, Interpretation oder Referat jetzt veröffentlichen!
Kommentare