Maschinelles Lernen im Onlinehandel

Inhaltsverzeichnis

1. Die Welt der Preisvergleichsportale

1.1 Der Onlinehandel von heute

1.2 Das Preisvergleichsportal idealo

1.3 Das Ziel des Bachelorprojektes

1.4 Die Microservice-Architektur des Scout-Softwaresystems

2. Die Extraktion produktspezifischer Daten

2.1 Die technischen Anforderungen an den Parser

2.2 Die Positionsbestimmung der Produktattribute

2.3 Die Architektur des Parsers

2.4 Die Erstellung der Selektoren

3. Die Genauigkeitsmessung des Extraktionsalgorithmus

3.1 Die Testdaten der Evaluierung

3.2 Die Messergebnisse

3.3 Mögliche Fehlerquellen der Messungen

4. Der Ausblick und das Fazit

Zielsetzung & Themen

Diese Arbeit zielt auf die Konzeption und Entwicklung eines Software-Systems zur automatisierten Bestandsanalyse für Partner des Preisvergleichsportals idealo ab, um fehlende Angebote im Produktkatalog systematisch zu identifizieren.

• Analyse der Marktsituation im E-Commerce und Bedeutung von Preisvergleichsportalen.
• Entwicklung eines shop-spezifischen Parser-Moduls mittels maschineller Lernverfahren.
• Definition von Anforderungen an Datenextraktion und Selektor-Architekturen.
• Methodische Evaluation der Genauigkeit (Precision und Accuracy) des Extraktionsalgorithmus.
• Optimierung von Extraktionsregeln zur Steigerung der Datenqualität für nachgelagerte Matching-Prozesse.

Auszug aus dem Buch

Zusammenfassung der Kapitel

1. Die Welt der Preisvergleichsportale: Einführung in die Relevanz des Onlinehandels und die Rolle von idealo bei der Herstellung von Markttransparenz durch automatisierte Analysen.

2. Die Extraktion produktspezifischer Daten: Detaillierte Erläuterung der technischen Anforderungen, der Architektur des Parser-Moduls und der Strategien zur datengetriebenen Regelerstellung für verschiedene Onlineshops.

3. Die Genauigkeitsmessung des Extraktionsalgorithmus: Präsentation der Evaluierungsergebnisse unter verschiedenen Konfigurationen und Diskussion der erreichten Genauigkeit im Hinblick auf Precision und Accuracy.

4. Der Ausblick und das Fazit: Zusammenfassende Bewertung der Projektergebnisse sowie Darlegung von Potenzialen für zukünftige Optimierungen der Parser-Logik und der Regelgenerierung.

Schlüsselwörter

Preisvergleich, Datenextraktion, Onlinehandel, Parser, Maschinelles Lernen, DOM-Hierarchie, Markttransparenz, E-Commerce, Microservice-Architektur, Selektor, Precision, Accuracy, Bestandsanalyse, Web-Scraping, Qualitätssicherung.

Häufig gestellte Fragen

Worum geht es in dieser Bachelorarbeit grundsätzlich?

Die Arbeit befasst sich mit der Entwicklung einer Software, die in der Lage ist, automatisch Produktinformationen aus verschiedenen Onlineshops zu extrahieren, um den Bestand von idealo auf Vollständigkeit zu prüfen.

Was sind die zentralen Themenfelder der Arbeit?

Die Schwerpunkte liegen auf der Web-Datenextraktion, der Architektur von Parser-Systemen, der Anwendung von maschinellem Lernen zur Regelerstellung und der statistischen Evaluierung von Extraktionsgenauigkeit.

Was ist das primäre Ziel der Untersuchung?

Das Ziel ist die automatisierte Bestandsanalyse für Vertragspartner von idealo, um fehlende Angebote im Katalog zu identifizieren und die Markttransparenz zu erhöhen.

Welche wissenschaftliche Methode wird zur Extraktion verwendet?

Es wurde ein shop-spezifischer Ansatz verfolgt, der mittels maschineller Lernverfahren und definierter Extraktionsregeln (Selektoren) Daten aus HTML-Strukturen und JSON-Objekten extrahiert.

Was wird im Hauptteil der Arbeit behandelt?

Der Hauptteil gliedert sich in die technische Konzeption des Parsers, die Definition von Selektortypen (Text-, Beschreibungs- und Datenknoten) sowie die quantitative Messung der Extraktionsgüte.

Welche Schlüsselwörter charakterisieren die Arbeit am besten?

Kernbegriffe sind Preisvergleich, Datenextraktion, Parser, Precision, Accuracy und maschinelles Lernen.

Warum spielt die Unterscheidung der Knotentypen eine so wichtige Rolle?

Die Unterscheidung in Text-, Beschreibungs- und Datenknoten ist essenziell, da die Daten je nach Shop-Implementierung an unterschiedlichen Stellen im DOM-Baum oder in JSON-Skripten hinterlegt sind.

Welche Auswirkung hat der gewählte Filterschwellwert F auf die Ergebnisse?

Ein höherer Filterschwellwert reduziert die Anzahl der extrahierten Daten (Accuracy sinkt), steigert jedoch die Zuverlässigkeit der gefundenen Werte (Precision steigt), was eine wichtige Balance für das nachfolgende Matching darstellt.

Warum wurde die Microservice-Architektur für das System gewählt?

Diese Architektur erlaubt die Entwicklung logisch gekapselter Komponenten (Crawler, Parser, Matcher), die sich unabhängig voneinander skalieren und einfach erweitern lassen.