Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik

Inhaltsverzeichnis

• Einleitung und Motivation
• Einführung in das Thema
• Problemstellung und Zielsetzung
• Eingrenzung und Abgrenzung
• Vorgehensweise und Aufbau der Arbeit
• Theoretische Grundlagen
• Künstliche Intelligenz
• Neuronale Netze
• Transformer Foundation Models
• Transformer
• Transformer-Gesamtarchitektur
• Large Language Models (LLMs)
• LLAMA: Entwicklungen in LLMs
• Retrieval-Augmented Generation (RAG)
• Verfahrenstechnik und Transformer Modelle
• Kriterien für den Einsatz zu Lehr- und Beratungszwecken
• Analyse
• CRISP-DM Modell
• Geschäftsverständnis (Business Understanding: Zielsetzung)
• Datenverständnis (Data Understanding)
• Wissensdatenbank (Data Preparation)
• Modelling-RAG Generation
• Evaluation
• Kritische Würdigung
• Bewertung auf Akkuratheit und Quellenzuordnung
• Qualitativ
• Quantitativ
• Bewertung des Einflusses der Hyperparameteranpassung
• Modellvergleich
• Size-Vergleich: Einfluss der Modellgröße auf die Leistung
• Strategien für zukünftige Verbesserungen und Forschung
• Ergebnisse und Ausblick

Zielsetzung und Themenschwerpunkte

Diese Arbeit befasst sich mit der Eignung von Transformer-Modellen für den Einsatz in der Verfahrenstechnik. Das Ziel ist es, ein detailliertes Verständnis der Möglichkeiten und Grenzen von LLMs in der prozeduralen Lehre zu erlangen. Dabei stehen die Akkuratheit der Modelle und die korrekte Zuordnung von Referenzen im Vordergrund.

• Bewertung der Eignung von Transformer-Modellen in der Verfahrenstechnik
• Analyse der Stärken und Schwächen von LLMs hinsichtlich Akkuratheit und Quellenzuordnung
• Evaluation des Einflusses von Hyperparametern auf die Leistung der Modelle
• Entwicklung von Empfehlungen für die Implementierung von LLMs in der Lehre
• Exploration des Potenzials von LLMs zur Verbesserung von Lernprozessen

Zusammenfassung der Kapitel

• Einleitung und Motivation: Die Einleitung führt in die rasante Entwicklung von KI und NLP-Technologien ein und beleuchtet die Bedeutung von großen Sprachmodellen (LLMs). Sie hebt die potenziellen Anwendungen von LLMs im Bildungsbereich, insbesondere in der Verfahrenstechnik, hervor. Die Einleitung definiert die Problemstellung und Zielsetzung der Arbeit, die auf die Analyse der Eignung von Transformer-Modellen für die prozedurale Lehre ausgerichtet ist.
• Theoretische Grundlagen: Dieses Kapitel stellt die theoretischen Grundlagen der Arbeit dar, indem es die Konzepte der Künstlichen Intelligenz, neuronaler Netze und Transformer-Modelle erläutert. Es beleuchtet die Funktionsweise von Transformer-Architekturen, die Entwicklung von Large Language Models (LLMs) und die Technik der Retrieval-Augmented Generation (RAG).
• Analyse: Der Analyseteil der Arbeit konzentriert sich auf die Anwendung des CRISP-DM-Modells, um die Eignung von Transformer-Modellen in der Verfahrenstechnik zu bewerten. Es werden die verschiedenen Phasen des CRISP-DM-Modells erläutert, einschließlich des Geschäftsverständnisses, des Datenverständnisses, der Wissensdatenbank, der Modellentwicklung (RAG-Generation) und der Evaluation.
• Kritische Würdigung: In diesem Kapitel erfolgt eine kritische Bewertung der Ergebnisse der Analyse. Es wird die Akkuratheit der Modelle und die Zuordnung von Quellen sowohl qualitativ als auch quantitativ untersucht. Darüber hinaus wird der Einfluss der Hyperparameteranpassung auf die Leistung der Modelle bewertet.

Schlüsselwörter

Die Schlüsselwörter der Arbeit umfassen: Künstliche Intelligenz, Natural Language Processing (NLP), Large Language Models (LLMs), Transformer-Modelle, Retrieval-Augmented Generation (RAG), Verfahrenstechnik, prozedurale Lehre, Akkuratheit, Quellenzuordnung, Hyperparameteranpassung, CRISP-DM-Modell, Evaluation, Bildungsbereich.