Objektive Evaluation semantischer Jobsuchmaschinen

Inhaltsverzeichnis (Table of Contents)

• 1 Einleitung und Zielsetzung
• 2 Information Retrieval
• 3 Semantische Suche
• 4 Jobsuchmaschinen
• 5 Systemorientierte Evaluation von IR-Systemen
  • 5.1 Definition und Beschreibung
  • 5.2 Zielsetzung
  • 5.3 Erstellung der Dokumentenbasis
  • 5.4 Erstellung der Suchanfragen
  • 5.5 Erstellung der Relevanzeinschätzungen
  • 5.6 Auswahl geeigneter Kennzahlen
    • 5.6.1 Precision und Recall
    • 5.6.2 Precision at rank k
    • 5.6.3 Mean Average Precision
    • 5.6.4 Discounted Cumulated Gains
    • 5.6.5 Kendall-Tau-Koeffizient
    • 5.6.6 Weitere Kennzahlen
  • 5.7 Statistische Signifikanz
• 6 Objektive Evaluation von semantischen Jobsuchmaschinen
  • 6.1 Zielsetzung
  • 6.2 Erstellung der Dokumentenbasis
  • 6.3 Erstellung der Wissensbasis
  • 6.4 Erstellung der Suchanfragen
    • 6.4.1 Eigenschaften und Bezugsquellen
    • 6.4.2 Automatische Suchanfragegenerierung
  • 6.5 Erstellung der Relevanzeinschätzungen
    • 6.5.1 Empfehlungen und Besonderheiten
    • 6.5.2 Relevanzschwelle
    • 6.5.3 Automatische Relevanzeinschätzung
  • 6.6 Auswahl geeigneter Kennzahlen
  • 6.7 Statistische Signifikanz
  • 6.8 Zusammenfassung
• 7 Prototypische Implementierung
  • 7.1 Die semantische Jobsuchmaschine des SABINE-Projekts
  • 7.2 Die syntaktische Jobsuchmaschine des SABINE-Projekts
  • 7.3 Der Evaluationsprototyp
  • 7.4 Instanziierung
    • 7.4.1 Zielsetzung
    • 7.4.2 Erstellung der Dokumentenbasis
    • 7.4.3 Erstellung der Wissensbasis
    • 7.4.4 Erstellung der Suchanfragen
    • 7.4.5 Erstellung der Relevanzeinschätzung
    • 7.4.6 Auswahl geeigneter Kennzahlen
    • 7.4.7 Statistische Signifikanz
• 8 Ergebnisse
  • 8.1 Precision und Recall
  • 8.2 Precision at rank k
  • 8.3 Mean Average Precision
  • 8.4 Kendall-Tau-Koeffizient
  • 8.5 Discounted Cumulated Gains
  • 8.6 Statistische Signifikanz
• 9 Diskussion
  • 9.1 Limitationen und Implikationen der Instanziierung
  • 9.2 Limitationen und Implikationen der vorgestellten Methode
• 10 Fazit

Zielsetzung und Themenschwerpunkte (Objectives and Key Themes)

Die vorliegende Masterarbeit untersucht die Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. Im Fokus steht die Messung der Leistung von semantischen Jobsuchmaschinen und der Vergleich mit einer syntaktischen Jobsuchmaschine.

• Entwicklung einer objektiven Evaluationsmethode für semantische Jobsuchmaschinen
• Prototypische Implementierung der entwickelten Methode
• Vergleich der Leistung einer semantischen und einer syntaktischen Jobsuchmaschine
• Identifizierung von Problemen bei der Evaluation von Jobsuchmaschinen und deren Lösungsansätze
• Integration von Erkenntnissen aus der Evaluation von klassischen Suchmaschinen in die Entwicklung der Methode

Zusammenfassung der Kapitel (Chapter Summaries)

Die Arbeit beginnt mit einer Einleitung, die die Fragestellung und die Zielsetzung der Masterarbeit darstellt. Kapitel 2 und 3 beleuchten den Hintergrund des Information Retrieval und der semantischen Suche. In Kapitel 4 werden Jobsuchmaschinen im Detail beschrieben, bevor in Kapitel 5 das Standardverfahren zur Evaluation klassischer Suchmaschinen vorgestellt wird. Die Arbeit konzentriert sich darauf, wie diese Methode an die Anforderungen semantischer Jobsuchmaschinen angepasst werden kann. Kapitel 6 stellt die entwickelte Methode zur objektiven Evaluation semantischer Jobsuchmaschinen vor. Kapitel 7 beschreibt die prototypische Implementierung der Methode und erläutert die Instanziierung des Evaluationsprototyps. Die Ergebnisse der Evaluation werden in Kapitel 8 präsentiert und in Kapitel 9 diskutiert. Das Fazit fasst die Ergebnisse der Arbeit zusammen und skizziert zukünftige Forschungsrichtungen.

Schlüsselwörter (Keywords)

Die Arbeit behandelt Themen wie Information Retrieval, Semantische Suche, Jobsuchmaschinen, Evaluation, Objektivität, Relevanzschwelle, Automatisierung, Prototypische Implementierung, Retrieval-Effektivität.