Adaptive Informationssuche im Internet

Inhaltsverzeichnis

1 Einleitung

1.1 Motivation

1.2 Zielsetzung

1.3 Gliederung

2 Grundlagen

2.1 Data mining, Data Warehouse

2.1.1 Regeln

2.1.1.1 Klassifikationsregeln

2.1.1.2 Charakteristische Regeln

2.1.1.3 Regressionsregeln

2.1.1.4 Assoziationsregeln

2.1.2 Cluster

2.2 Information Retrieval

2.2.1 Standardverfahren

2.2.1.1 Boolesches Retrieval

2.2.1.2 Fuzzy Retrieval

2.2.1.3 Vektorraummodell

2.2.1.4 Cluster-Retrievalverfahren

2.2.1.5 Probabilistische IR-Verfahren

2.3 Software-Agenten

2.3.1 LAW: A learning Apprentice for the WWW

2.3.2 Syskill & Webert

2.3.3 Letizia

2.3.4 WebWatcher

2.4 Selbstorganisierende Merkmalskarten

2.4.1 WEBSOM

2.5 Multidimensionale Skalierung

2.5.1 MDS nach dem Verfahren von Kruskal

2.5.2 MDS nach dem SMACOF-Verfahren

3 Eigener Ansatz

3.1 Szenario

3.2 Dokumentbearbeitung

3.2.1 Anforderungen an einen Stoppvektor

3.2.2 Anforderungen an einen Thesaurus

3.2.3 Generierung von Dokumentenvektoren

3.3 Dokumentenkartenerstellung

4 Simulation

4.1 Dokumentbearbeitung

4.1.1 Generierung eines Stoppvektors

4.1.2 Generierung eines Thesaurus

4.1.3 Generierung eines Dokumentenvektors

4.2 Dokumentenkartenerstellung

4.2.1 Definition eines Ähnlichkeitsmaßes

4.2.2 Anordnung der Dokumente nach dem CARD-Algorithmus

4.2.3 Anordnung der Dokumente mit MDS-Algorithmen

4.2.3.1 Anordnung nach dem Verfahren von Kruskal

4.2.3.2 Anordnung nach dem SMACOF-Verfahren

5 Softwarestruktur

5.1 Implementierung der Dokumentbearbeitung mit ACCESS

5.1.1 Generierung des Stoppvektors

5.1.2 Generierung eines Thesaurus

5.1.3 Erstellung des Dokumentvektors

5.2 Implementierung der Dokumentenkartenerstellung mit JAVA

5.2.1 Basismethoden

5.2.2 Der CARD-Algorithmus

5.2.3 Der MDS-Algorithmus nach Kruskal

5.2.4 Der MDS-Algorithmus nach der SMACOF-Methode

6 Diskussion und Ausblick

Zielsetzung & Themen

Das Hauptziel dieser Arbeit ist die Entwicklung und Implementierung eines adaptiven Systems zur Informationssuche im Internet, das die Dokumentenflut für Benutzer durch eine übersichtliche, grafische Visualisierung minimiert und die Identifikation semantisch ähnlicher Inhalte erleichtert.

• Grundlagen der Informationssuche (Data Mining, Information Retrieval)
• Einsatz von Software-Agenten zur adaptiven Unterstützung
• Methoden der Dokumentenrepräsentation und Ähnlichkeitsanalyse
• Visualisierung durch selbstorganisierende Karten und multidimensionale Skalierung
• Implementierung eines eigenen Modells (CARD-Algorithmus) zur Dokumentenkartenerstellung

Auszug aus dem Buch

Zusammenfassung der Kapitel

1 Einleitung: Beschreibt die Problematik der Informationsflut im Internet und die Zielsetzung der Arbeit, ein adaptives System zur Unterstützung der Informationssuche zu implementieren.

2 Grundlagen: Gibt einen Überblick über Forschungsbereiche wie Data Mining, Information Retrieval, Software-Agenten sowie Visualisierungsmethoden wie SOMs und MDS.

3 Eigener Ansatz: Definiert das Szenario der Arbeit und beschreibt das zu implementierende Modell sowie die notwendigen Schritte der Dokumentbearbeitung und Dokumentenkartenerstellung.

4 Simulation: Dokumentiert die konkrete Umsetzung des Modells und die Ergebnisse der Anwendung der Algorithmen zur Dokumentenbearbeitung und Anordnung.

5 Softwarestruktur: Erläutert die technische Implementierung der entwickelten Algorithmen unter Verwendung von Microsoft ACCESS und JAVA.

6 Diskussion und Ausblick: Bewertet die erlangten Ergebnisse der verschiedenen Algorithmen hinsichtlich ihrer Qualität und Effizienz und zeigt mögliche Weiterentwicklungen auf.

Schlüsselwörter

Information Retrieval, Internet, Dokumentenkarte, CARD-Algorithmus, Data Mining, Software-Agenten, selbstorganisierende Merkmalskarten, Multidimensionale Skalierung, Dokumentvektor, Thesaurus, Adaptivität, Visualisierung, HTML, Stoppvektor, Ähnlichkeitsmaß.

Häufig gestellte Fragen

Worum geht es in dieser Diplomarbeit grundsätzlich?

Die Arbeit befasst sich mit der Entwicklung eines adaptiven Systems zur Informationssuche im Internet, das große Datenmengen durch Visualisierung für den Anwender handhabbar macht.

Welche zentralen Themenfelder werden abgedeckt?

Die Themen umfassen Data Mining, Information Retrieval, den Einsatz von lernenden Software-Agenten sowie mathematische Verfahren zur Visualisierung von Dokumentbeziehungen.

Was ist das primäre Ziel der Arbeit?

Ziel ist die Implementierung eines Modells, das HTML-Dokumente automatisch analysiert und in einer grafischen 2D-Dokumentenkarte so anordnet, dass ähnliche Inhalte nah beieinander liegen.

Welche wissenschaftliche Methode wird primär verwendet?

Es werden verschiedene Algorithmen zur Dokumentbearbeitung und zur Cluster-Visualisierung (insbesondere multidimensionale Skalierung und der eigene CARD-Ansatz) untersucht und angewendet.

Was wird im Hauptteil behandelt?

Der Hauptteil gliedert sich in die theoretischen Grundlagen, die Beschreibung des eigenen Ansatzes, die Simulation und Erprobung der Algorithmen sowie deren konkrete softwaretechnische Umsetzung.

Welche Schlüsselwörter charakterisieren die Arbeit am besten?

Zu den zentralen Begriffen gehören Information Retrieval, Dokumentenkarte, CARD-Algorithmus, selbstorganisierende Karten, Multidimensionale Skalierung und Adaptivität.

Wie löst das System das Problem der unstrukturierten Informationsflut?

Durch die automatische Extraktion von Merkmalen und die Erstellung von Dokumentvektoren ermöglicht das System eine inhaltliche Einordnung der Dokumente, die dem Nutzer visuell als Karte präsentiert wird.

Welchen Vorteil bietet der selbst entwickelte CARD-Algorithmus?

Im Gegensatz zu zufallsbasierten Methoden liefert der CARD-Algorithmus bei der Anordnung der Dokumente stets ein deterministisches, reproduzierbares Ergebnis.