Implementierung einer erweiterbaren Anwendung zur sprachübergreifenden Metadaten- und Volltextsuche in einer serviceorientierten Architektur

Inhaltsverzeichnis

1 Einleitung

1.1 Motivation

1.2 Aufgabenstellung

1.3 Vorgehensweise und Struktur der Arbeit

2 Information Retrieval

2.1 Einfuhrung und Definition des Information Retrieval

2.2 Struktur und Funktionsweise eines Information-Retrieval-Systems

2.3 Beurteilung von IR-Systemen

2.4 Gewinnung von Indextermen

2.5 Das Vektorraummodell

2.6 Auflosen von Mehrdeutigkeiten

2.7 Thesauren

3 Cross-language Information Retrieval

3.1 Einfuhrung und Definition des Cross-language Information Retrieval

3.2 Architekturen von CLIR-Systemen

3.3 Auflosen von Mehrdeutigkeiten im CLIR

3.4 Interlingual Retrieval

3.5 Erkennung der Sprache eines Textes mit n-Grammen

4 Serviceorientierte Architekturen

4.1 Einordnung der serviceorientierten Architektur

4.2 Elemente einer serviceorientierten Architektur

4.3 Merkmale einer serviceorientierten Architektur

4.4 Web Services

5 Anforderungen und Entwurf des Systems

5.1 Vorbedingungen und Anforderungen an das System

5.2 Systemarchitektur und Systementwurf

5.3 1. Phase: Entwurf der Interlingua-Worterbucher und Konzepterkennung

5.4 2. Phase: Entwurf des Indexierungsprozesses

5.5 3. Phase: Entwurf des Suchprozesses

5.6 Abschließender Systemuberblick

6 Verwendete Methoden und Werkzeuge

6.1 Allgemeine Werkzeuge

6.2 Apache Lucene

6.3 Lucene Erweiterungen und sonstige Werkzeuge

7 Implementierung der Suchanwendung

7.1 Allgemeines uber das entwickelte System

7.2 Nutzung des Systems

7.3 Implementierung der Interlingua-Worterbucher und Ubersetzung

7.4 Implementierung der Indexierung

7.5 Implementierung der Suche als Webseite

7.6 Implementierung der Suche als Web Service

7.7 Beispielanfragen an die Suchanwendung

7.8 Uberblick uber die Projektdateien

8 Bewertung des Systems und mogliche Erweiterungen

8.1 Das Interlingua-Konzept

8.2 Bewertung der Indexierung

8.3 Bewertung der Suche

9 Zusammenfassung und Ausblick

Zielsetzung & Themen

Das Hauptziel dieser Arbeit ist die Entwicklung eines Prototyps für eine erweiterbare, sprachübergreifende Suchmaschine (Cross-language Information Retrieval), die auf einer serviceorientierten Architektur (SOA) basiert. Dabei soll ein System geschaffen werden, das Dokumente automatisiert indexiert, sprachübergreifend durchsuchbar macht und mittels Interlingua-Ansatz eine semantische Konzepterkennung ermöglicht.

• Entwurf und Implementierung eines CLIR-Systems basierend auf dem Interlingua-Prinzip.
• Automatisierte Spracherkennung und Indexierung von Dokumenten in Deutsch, Englisch und Japanisch.
• Konzeptbasierte Suche mit Unterstützung für Standardsuche, Volltext- und Phrasensuche.
• Integration serviceorientierter Architekturen durch Bereitstellung einer Weboberfläche und Web-Service-Schnittstellen.

Auszug aus dem Buch

Zusammenfassung der Kapitel

1 Einleitung: Beschreibt die Motivation hinter dem Projekt, die Problematik der Sprachbarrieren im Internet sowie die Zielsetzung und Struktur der Arbeit.

2 Information Retrieval: Erläutert die theoretischen Grundlagen des Information Retrievals, einschließlich Modellierung, Indizierung, Ranking und Problemen wie Synonymie und Polysemie.

3 Cross-language Information Retrieval: Führt in die Thematik der sprachübergreifenden Suche ein, diskutiert Architekturen und Verfahren zur Mehrdeutigkeitsauflösung sowie das Konzept der Interlingua.

4 Serviceorientierte Architekturen: Behandelt die Konzepte serviceorientierter Architekturen (SOA) sowie die praktische Implementierung mittels Web Services, SOAP und WSDL.

5 Anforderungen und Entwurf des Systems: Definiert die Systemanforderungen und beschreibt den detaillierten Entwurf des CLIR-Systems, unterteilt in die Phasen Konzepterkennung, Indexierung und Suche.

6 Verwendete Methoden und Werkzeuge: Stellt die eingesetzten Software-Technologien vor, insbesondere Apache Lucene als Suchframework, cngram zur Spracherkennung und Snowball-Stemmer.

7 Implementierung der Suchanwendung: Beschreibt den konkreten Implementierungsprozess des Systems, inklusive der Erstellung der Interlingua-Wörterbücher sowie der Weboberfläche und Web-Service-Schnittstellen.

8 Bewertung des Systems und mogliche Erweiterungen: Liefert eine kritische Würdigung des entwickelten Prototyps und diskutiert Ansätze zur Optimierung sowie zukünftige Erweiterungsmöglichkeiten.

9 Zusammenfassung und Ausblick: Fasst die Ergebnisse der Arbeit zusammen und gibt einen Ausblick auf die zukünftige Bedeutung sprachübergreifender Suchtechnologien.

Schlüsselwörter

Information Retrieval, Cross-language Information Retrieval, CLIR, Serviceorientierte Architektur, SOA, Web Services, Interlingua, Konzepterkennung, Apache Lucene, Indexierung, Spracherkennung, Mehrdeutigkeitsauflösung, Thesaurus, Suchmaschine, Sprachbarriere

Häufig gestellte Fragen

Worum geht es in dieser Master Thesis grundlegend?

Die Arbeit befasst sich mit der Entwicklung einer sprachübergreifenden Suchmaschine, die Dokumente verschiedener Sprachen (Deutsch, Englisch, Japanisch) in einem gemeinsamen Konzeptindex zusammenführt.

Was sind die zentralen Themenfelder der Arbeit?

Zentral sind das Information Retrieval, das Cross-language Information Retrieval (CLIR) unter Verwendung einer Interlingua sowie die Implementierung einer serviceorientierten Architektur (SOA) mit Web Services.

Was ist das primäre Ziel oder die Forschungsfrage?

Ziel ist der Entwurf und die Implementierung eines Prototyps, der eine sprachübergreifende Suche ermöglicht, ohne dass eine vollständige maschinelle Übersetzung aller Dokumente erforderlich ist.

Welche wissenschaftliche Methode wird primär verwendet?

Die Arbeit nutzt den Ansatz des Interlingual Retrieval, kombiniert mit dem Vektorraummodell für das Ranking sowie statistischen und lexikalischen Verfahren (wie N-Grammen und Stemming) zur Sprach- und Konzepterkennung.

Was wird im Hauptteil der Arbeit behandelt?

Der Hauptteil gliedert sich in theoretische Grundlagen (IR, CLIR, SOA), den Systementwurf, die Beschreibung der verwendeten Werkzeuge (Lucene) und die detaillierte Implementierung der Suchanwendung.

Welche Schlüsselwörter charakterisieren diese Arbeit?

Kritische Begriffe sind Interlingua, Cross-language Information Retrieval, Apache Lucene, Serviceorientierte Architektur, Konzepterkennung und Indexierung.

Wie geht das System mit mehrdeutigen Begriffen um?

Bei der Indexierung erfolgt die Auflösung automatisiert durch den Vergleich von Kontextvektoren, bei der Suche wird dem Benutzer eine Auswahlmöglichkeit über ein Formular zur Konzepterkennung geboten.

Welche Rolle spielt die Interlingua in diesem System?

Die Interlingua dient als gemeinsame semantische Basis, in die Dokumente und Suchanfragen überführt werden, um einen sprachunabhängigen Suchprozess zu ermöglichen.

Warum wird Apache Lucene als Basis gewählt?

Lucene bietet als frei verfügbares Java-Framework leistungsfähige Funktionen für die Indizierung und Suche, die sich durch eigene Erweiterungen wie den ConceptAnalyzer für das Projekt anpassen lassen.