Entwicklung einer Metasuchmaschine für internationale Suchdienste

Inhaltsverzeichnis

1 Einleitung

1.1 Zweck von Metasuchmaschinen

1.2 Mittelpunkt dieser Arbeit

1.3 Überblick über diese Arbeit

2 Datenbanken und Metasuchmaschinen

2.1 Webdatenbanken

2.1.1 Funktionsweise

2.1.2 Vorgaben für die Suche

2.1.3 Anwendung auf WWW-Adressen

2.2 Metasuchmaschinen

2.2.1 Funktionsweise

2.2.2 Besondere Anforderungen

2.2.3 Client- und Serverapplikationen

2.2.4 Kriterien für Metasuchmaschinen

2.2.5 Anwendung auf WWW-Adressen

2.2.5.1 Unterstützte Datenbanktypen

2.2.5.2 Vergleich der Ausgabe mit der von Suchdiensten

2.2.5.3 Kommunikation mit den Suchdiensten

3 Objektorientierte Entwicklung

3.1 Planung

3.1.1 Webserver

3.1.2 Programmiersprache

3.1.3 Suchdienste

3.1.3.1 Crawler

3.1.3.2 Verzeichnisse

3.1.3.3 Andere Datenbanken

3.2 Analyse

3.3 Entwurf

3.4 Implementation

4 Weiterentwicklung einer bestehenden Metasuchmaschine

4.1 Aufbau der übernommenen Metasuchmaschine

4.2 Anpassung an internationale Suchdienste

4.3 Änderung der Programmarchitektur

4.3.1 Integration externer Programmteile

4.3.1.1 Phrasenerkennung

4.3.1.2 Doublettenerkennung

4.3.1.3 Existenzprüfung

4.3.1.4 Ausgabe

4.3.2 Parametrisierung der Suchdiensteigenschaften

4.4 Berechnung der Relevanz

4.5 Sicherheit

5 Performance

5.1 Performancemessungen

5.1.1 Benchmark

5.1.2 Profiling

5.2 Performanceverbesserungen

5.2.1 mod_perl

5.2.2 Compiler

6 Bedienung

6.1 Benutzung als Suchhilfe

6.2 Installation

6.3 Parametereinstellungen

6.4 Administration

6.4.1 Anpassen des Ausgabeformats

6.4.2 Ändern der Datenbankeigenschaften

6.4.3 Hinzufügen und Entfernen von Datenbanken

6.4.3.1 Ermitteln der Datenbankeigenschaften

6.4.3.2 Erstellen der Datenbankmodule

6.4.3.3 Test

6.4.4 Ändern der QuickTips

7 Ergebnisse

7.1 Vergleich mit bestehenden Metasuchmaschinen

7.1.1 Kriterien

7.1.2 Resultate

7.2 Weitere Verbessserungen

8 Zusammenfassung und Ausblick

Zielsetzung & Themen

Das Hauptziel dieser Arbeit ist die Entwicklung einer internationalen Metasuchmaschine namens MetaWorld, die aufbauend auf existierendem Programmcode skalierbar für eine hohe Anzahl an Zugriffen implementiert werden soll, während sie gleichzeitig alle Qualitäts- und Funktionalitätskriterien für moderne Metasuchmaschinen erfüllt.

• Methoden zur objektorientierten Entwicklung von Metasuchmaschinen
• Strategien zur Performance-Optimierung und Skalierbarkeit
• Vergleich und Analyse internationaler Web-Suchdienste
• Implementierung einer effizienten Relevanzberechnung
• Methoden zur Doublettenerkennung und Existenzprüfung

Auszug aus dem Buch

Zusammenfassung der Kapitel

1 Einleitung: Beschreibt die Motivation hinter Metasuchmaschinen und legt den Fokus dieser Diplomarbeit auf die Entwicklung von MetaWorld.

2 Datenbanken und Metasuchmaschinen: Erläutert die grundlegende Funktionsweise von Webdatenbanken und Metasuchmaschinen sowie die speziellen Anforderungen an letztere.

3 Objektorientierte Entwicklung: Dokumentiert den Versuch, eine neue Metasuchmaschine mittels objektorientierter Methoden in Perl zu entwerfen und zu implementieren.

4 Weiterentwicklung einer bestehenden Metasuchmaschine: Beschreibt die Anpassung des bestehenden MetaGer-Codes zur Erstellung der internationalen Suchmaschine MetaWorld.

5 Performance: Analysiert Messmethoden für Skripte und beschreibt Optimierungen zur Steigerung der Systemleistung.

6 Bedienung: Bietet detaillierte Anleitungen für die Nutzung und Administration der Software.

7 Ergebnisse: Vergleicht MetaWorld mit anderen Systemen und diskutiert potenzielle zukünftige Verbesserungen.

8 Zusammenfassung und Ausblick: Resümiert die Arbeit und gibt einen Ausblick auf die zukünftige Entwicklung von Metasuchmaschinen im E-Commerce-Bereich und für automatisierte Programmschnittstellen.

Schlüsselwörter

Metasuchmaschine, MetaWorld, Suchdienste, Webdatenbanken, Perl, Performance, Crawler, Verzeichnisse, Relevanz, Doublettenerkennung, Existenzprüfung, Internetsuche, Informatik, CGI, Softwareentwicklung.

Häufig gestellte Fragen

Worum geht es in dieser Arbeit grundsätzlich?

Die Diplomarbeit behandelt die Entwicklung einer internationalen Metasuchmaschine, die Suchergebnisse verschiedener Suchdienste im World Wide Web bündelt, um dem Benutzer eine effizientere Recherche zu ermöglichen.

Was sind die zentralen Themenfelder?

Zu den zentralen Themen zählen die Architektur von Metasuchmaschinen, die Systemperformance, die Integration verschiedener Web-Datenbanken sowie Strategien zur Relevanzbewertung und Qualitätsverbesserung der Suchergebnisse.

Was ist das primäre Ziel der Arbeit?

Das Ziel ist die Erstellung einer skalierbaren internationalen Metasuchmaschine, die alle wissenschaftlichen Qualitätskriterien für solche Systeme erfüllt und gleichzeitig eine hohe Performance bietet.

Welche wissenschaftliche Methode wird verwendet?

Es werden sowohl objektorientierte Softwareentwicklungs-Methoden (OMT) zur Modellierung als auch klassische iterative Programmierverfahren zur Weiterentwicklung von bestehendem Programmcode in Perl eingesetzt.

Was wird im Hauptteil der Arbeit behandelt?

Der Hauptteil gliedert sich in die theoretischen Grundlagen zu Suchmaschinen, den Entwurfsprozess (Analyse und Implementierung), die konkrete Weiterentwicklung des MetaWorld-Codes sowie detaillierte Messungen zur Performance.

Welche Schlüsselwörter charakterisieren die Arbeit?

Die Arbeit lässt sich primär mit Begriffen wie Metasuchmaschine, Perl, Web-Datenbanken, Information Retrieval, Performance-Optimierung und Suchdienst-Integration beschreiben.

Warum wurde von der objektorientierten Programmierung zur Weiterentwicklung des bestehenden Codes gewechselt?

Performancemessungen zeigten, dass der objektorientierte Ansatz in Perl aufgrund des höheren Speicherverbrauchs und der langsameren Zugriffe auf Objektattribute für ein hochfrequentiertes System wie MetaWorld ineffizient war.

Wie geht MetaWorld mit dem Problem von "Doubletten" um?

Das System nutzt einen speziellen Programmteil, der empfangene URLs und Beschreibungen vergleicht. Identische Ergebnisse werden ignoriert, während bei Inhalten mit unterschiedlichen Beschreibungen die Relevanz addiert und der Eintrag entsprechend in der Liste neu sortiert wird.