Kombination von Photogrammetrie und Laserscans für Neuronale Strahlungsfelder

Inhaltsverzeichnis

1 Einleitung

1.1 Hintergrund und Kontext der Arbeit

1.2 Motivation

1.3 Zielsetzung der Arbeit

1.4 Struktur der Arbeit

2 Theoretischer Hintergrund

2.1 Photogrammetrie

2.1.1 Anwendungsbereiche

2.1.2 Arten

2.2 Laser Scans Light Detection and Ranging (Lidar)

2.3 Neuronale Netze

2.3.1 Topologie der neuronalen Verbindungen

2.3.2 Biologisches Vorbild

2.3.3 Funktionsweise

2.3.4 Lernverfahren

2.4 Transformation von Objektpunkten zu Bildpunkten durch Projektionsmatrix

2.5 Punktwolken

2.6 Tiefenkarten

2.6.1 Umwandlung von Punktwolken zu Tiefenkarten

2.6.2 Darstellung der Tiefenkarten

2.7 Neuronale Strahlenfelder NeRF

2.7.1 Szenenrepräsentation

2.7.2 Volumetrisches Rendern der Strahlenfelder

2.7.3 Positionelle Kodierung

2.7.4 Hierarchische Volumen Stichprobe

2.8 Nerfstudio

2.8.1 Nerfacto

2.8.2 Depth-Nerfacto

2.9 Bewertungsmetriken

2.9.1 Peak Signal to Noise Ratio

2.9.2 SSIM

2.9.3 LPIPS

2.10 Blender

3 Methodik

3.1 Einleitung

3.1.1 Forschungsziel

3.1.2 Zielsetzung des Methodik

3.2 Generierung synthetischer Datensätze

3.2.1 Erstellung von 3D-Szenen in Blender

3.2.2 Rendern von Bildern

3.3 Generierung synthetischer Laserscans

3.3.1 Prozentuale Reduzierung der Punktdichte

3.3.2 Vergleich mit perfekten Tiefenkarten aus Blender

3.4 Übergang zu natürlichen Datensätzen

3.4.1 Auswahl der Scannet Datensätze

3.4.2 Entzerrung des Scannet Datensatzes

3.4.3 Berechnung der Tiefenkarten aus Scannet++ Datensatz

3.5 Validierung der Ergebnisse

3.5.1 Vergleich mit etablierten Messmethoden

4 Ergebnisse

4.1 Vorstellung 3D-Modelle

4.2 Einfluss von Tiefenkarten auf NeRF

4.2.1 Quantitative Untersuchung

4.2.2 Qualitative Untersuchung

4.3 Vergleich simulierter Laserscans mit perfekten Tiefeninformation

4.3.1 Rekonstruktion der Tiefe

4.3.2 Quantitative Untersuchung

4.4 Rekonstruktion realer Szenen

4.4.1 Entzerrung der Bilder

4.4.2 Bestimmung der Tiefenkarten

4.4.3 Quantitative Untersuchung

4.4.4 Qualitative Untersuchung

5 Diskussion

5.1 Zusammenfassung wichtigster Ergebnisse

5.2 Beantwortung der Forschungsfrage

5.3 Aufgekommene Problemstellungen

5.3.1 Rekonstruktion einzelner Objekte

5.3.2 Herausforderung bei der Verarbeitung großer Bildermengen

5.3.3 Identifikation von Schwächen der Methodik

5.4 Zukünftige Forschungsmöglichkeiten

Zielsetzung & Themen

Das Hauptziel dieser Arbeit besteht darin, die Rekonstruktionsqualität neuronaler Strahlenfelder (NeRFs) durch die gezielte Integration von Tiefeninformationen aus Laserscans zu verbessern, wobei untersucht wird, wie sich zusätzliche Tiefendaten auf die Genauigkeit der modellierten 3D-Szenen auswirken.

• Kombination von Photogrammetrie und Laserscans zur Optimierung der 3D-Rekonstruktion.
• Quantitative und qualitative Analyse verschiedener NeRF-Implementierungen (Nerfacto vs. Depth-Nerfacto).
• Einsatz synthetischer und realer Datensätze zur Evaluierung der Modellperformanz.
• Untersuchung des Einflusses reduzierter Tiefeninformationen auf das Rekonstruktionsergebnis.
• Anwendung von Bewertungsmetriken wie PSNR, SSIM und LPIPS.

Auszug aus dem Buch

Zusammenfassung der Kapitel

1 Einleitung: Diese Einleitung führt in die Bedeutung von 3D-Datenerfassungsverfahren ein und definiert die Forschungsfrage bezüglich der Integration von Tiefeninformationen in neuronale Strahlenfelder.

2 Theoretischer Hintergrund: Dieses Kapitel erläutert die Grundlagen zu Photogrammetrie, Laserscans, neuronalen Netzen sowie spezifischen NeRF-Implementierungen und Bewertungsmetriken.

3 Methodik: Hier wird der experimentelle Aufbau beschrieben, umfassend die Generierung synthetischer Daten, die Verarbeitung realer Scannet++ Datensätze und die gewählten Validierungsstrategien.

4 Ergebnisse: Dieses Kapitel präsentiert die quantitativen und qualitativen Ergebnisse der durchgeführten Rekonstruktionsexperimente sowohl für synthetische als auch reale Datensätze.

5 Diskussion: Abschließend werden die zentralen Ergebnisse zusammengefasst, die Forschungsfrage beantwortet und aufgetretene Herausforderungen sowie zukünftige Forschungsmöglichkeiten dargelegt.

Schlüsselwörter

3D-Rekonstruktion, Neuronale Strahlenfelder, NeRF, Photogrammetrie, Laserscans, Tiefenkarten, Nerfacto, Depth-Nerfacto, Maschinelles Lernen, Computergrafik, Punktwolken, Datenanalyse, PSNR, SSIM, Scannet++

Häufig gestellte Fragen

Worum geht es in dieser Bachelorarbeit grundsätzlich?

Die Arbeit untersucht, ob und inwiefern der Rekonstruktionsprozess von neuronalen Strahlenfeldern durch die Einbindung zusätzlicher Tiefeninformationen aus Laserscans verbessert werden kann.

Welche zentralen Themenfelder werden behandelt?

Die zentralen Themen sind Photogrammetrie, Lidar-Technologie, neuronale Netze (insbesondere NeRFs und die spezifische Architektur Nerfacto) sowie moderne Verfahren zur 3D-Szenenrekonstruktion.

Was ist das primäre Forschungsziel?

Das primäre Ziel ist ein quantitativer und qualitativer Vergleich von NeRF-Modellen, die mit und ohne zusätzliche Tiefeninformationen trainiert wurden, um deren Einfluss auf die Modellgüte zu bestimmen.

Welche wissenschaftliche Methode kommt zum Einsatz?

Es wird eine experimentelle Methode angewandt, bei der sowohl synthetisch erstellte Szenen (in Blender) als auch reale Datensätze (Scannet++) verwendet werden, um die Leistungsfähigkeit durch Metriken wie PSNR und SSIM zu evaluieren.

Was steht im Hauptteil dieser Arbeit im Fokus?

Im Hauptteil liegt der Fokus auf der Implementierung des Depth-Nerfacto Ansatzes, der Erstellung von Tiefenkarten aus Punktwolken und der anschließenden vergleichenden Analyse der Ergebnisse.

Welche Schlagworte charakterisieren das Dokument?

Die prägendsten Schlagworte sind 3D-Rekonstruktion, neuronale Strahlenfelder, Tiefenintegration, computerbasierte Bildverarbeitung und Leistungsoptimierung von NeRF-Modellen.

Warum ist die Integration von Tiefenkarten bei NeRFs vorteilhaft?

Die Ergebnisse zeigen, dass Tiefenkarten die geometrische Genauigkeit verbessern können, was sich insbesondere durch reduzierte Unschärfe und eine verfeinerte Darstellung komplexer Szenenstrukturen äußert.

Welche Herausforderungen traten bei der Verarbeitung realer Daten auf?

Es traten Probleme bei der Entzerrung von Fischaugenobjektiv-Aufnahmen und bei der Grafikspeicher-Überlastung während des Fitting-Prozesses auf, für die spezielle Vorverarbeitungsschritte und Datenreduktionen gewählt wurden.