Phishing Detection with Modern NLP Approaches

Inhaltsverzeichnis

1 Introduction

1.1 Motivation

1.2 Research Objective

1.3 Research Approach

2 Related Work

3 Modern NLP Approaches

3.1 Transformers

3.2 BERT

3.3 RoBERTa

3.4 XLNet

3.5 ALBERT

3.6 DistilBERT

3.7 ELECTRA

3.8 MobileBERT

4 Data and Methodology

4.1 The IWSPA-AP Dataset

4.2 Data Preprocessing for Classic NLP Methods

4.3 Splitting and Oversampling

4.4 Model Selection

4.5 Performance Metrics

5 Results

5.1 Results of classic machine learning models

5.2 Results of modern NLP models

6 Discussion

7 Conclusion

Zielsetzung & Themen

Die vorliegende Masterarbeit untersucht die Anwendbarkeit moderner Natural Language Processing (NLP) Einbettungsmethoden zur Identifizierung von Phishing-E-Mails. Dabei wird der Frage nachgegangen, ob auf Transformatoren basierende Modelle wie BERT eine höhere Erkennungsleistung erzielen als klassische Machine-Learning-Verfahren, und wie diese modernen Modelle für eine präzise Klassifizierung zwischen legitimen Nachrichten und Phishing-Versuchen optimal gestaltet und trainiert werden sollten.

• Vergleich von modernen NLP-Embeddings (BERT, RoBERTa, etc.) mit klassischen Ansätzen (TF-IDF, Doc2Vec).
• Analyse der Auswirkungen verschiedener Trainings-Szenarien (unbalancierte vs. balancierte Datensätze).
• Untersuchung architektonischer Einflüsse (Modellgröße, Anzahl der Layer) auf die Klassifikationsleistung.
• Evaluierung der Leistungsfähigkeit anhand von Metriken wie Accuracy, F1-Score und Balanced Accuracy.
• Optimierung von Hyperparametern und Trainingsstrategien für die Phishing-Erkennung.

Auszug aus dem Buch

Zusammenfassung der Kapitel

1 Introduction: Einführung in das Thema Phishing und die Motivation, moderne NLP-Methoden für die E-Mail-Klassifizierung zu evaluieren.

2 Related Work: Überblick über existierende Ansätze zur Phishing-Erkennung, von einfachen Blacklists bis hin zu klassischen Machine-Learning-Verfahren.

3 Modern NLP Approaches: Detaillierte technische Beschreibung von Transformer-basierten Modellen wie BERT, RoBERTa, XLNet und deren Varianten.

4 Data and Methodology: Beschreibung des IWSPA-AP Datensatzes, der Vorverarbeitungsschritte und der methodischen Vorgehensweise zur Modell-Evaluation.

5 Results: Präsentation und Vergleich der experimentellen Ergebnisse der verschiedenen Machine-Learning- und NLP-Modelle.

6 Discussion: Kritische Reflexion der gewählten Validierungsstrategien, Hyperparameter und methodischen Einschränkungen.

7 Conclusion: Fazit zur Überlegenheit moderner NLP-Methoden bei der Phishing-Erkennung und Empfehlungen für zukünftige Forschungsarbeiten.

Schlüsselwörter

Phishing-Erkennung, NLP, BERT, Transformer, Machine Learning, Künstliche Intelligenz, E-Mail-Sicherheit, Textklassifizierung, Deep Learning, Datensatz-Balancierung, Modell-Architektur, Knowledge Distillation, Sprachmodellierung.

Häufig gestellte Fragen

Worum geht es in dieser Arbeit grundsätzlich?

Die Arbeit untersucht den Einsatz moderner Natural Language Processing (NLP) Einbettungsmethoden, um Phishing-E-Mails präzise von legitimen E-Mails zu unterscheiden.

Was sind die zentralen Themenfelder?

Die zentralen Themen umfassen die Anwendung von Transformer-Architekturen, den Vergleich klassischer und moderner Klassifizierungsansätze sowie die Optimierung von Trainingsdaten durch Resampling-Techniken.

Was ist das primäre Ziel oder die Forschungsfrage?

Das Hauptziel ist es zu klären, ob moderne NLP-Modelle (wie BERT) eine höhere Performance bei der Phishing-Erkennung erreichen als klassische Machine-Learning-Verfahren, und welche Design-Parameter diese Modelle beeinflussen.

Welche wissenschaftliche Methode wird verwendet?

Es werden verschiedene moderne NLP-Modelle (BERT, RoBERTa, XLNet, ALBERT, DistilBERT, ELECTRA, MobileBERT) mit klassischen Baselines auf dem IWSPA-AP Datensatz unter variierenden Trainingsbedingungen (balanciert/unbalanciert) experimentell verglichen.

Was wird im Hauptteil behandelt?

Der Hauptteil behandelt die theoretischen Grundlagen der Transformer-Modelle, das methodische Vorgehen bei der Datenaufbereitung, das Training der Modelle und die detaillierte Auswertung der Ergebnisse anhand verschiedener Performance-Metriken.

Welche Schlüsselwörter charakterisieren die Arbeit?

Zu den wichtigsten Begriffen zählen Phishing-Erkennung, Transformer, BERT, Deep Learning, E-Mail-Sicherheit und Textklassifizierung.

Wie unterscheidet sich RoBERTa von BERT in dieser Studie?

RoBERTa zeigte in den Experimenten eine besonders hohe Leistungsfähigkeit und konnte in den durchgeführten Tests die besten Ergebnisse erzielen, was auf die optimierte Trainingsmethodik und größere Datenbasis zurückzuführen ist.

Warum ist das "Oversampling" für die Datensätze relevant?

Da der verwendete Datensatz ein starkes Ungleichgewicht zwischen legitimen und Phishing-E-Mails aufwies, wurde Oversampling genutzt, um das Modell nicht auf die Majoritätsklasse zu biasen und so die Validität der Ergebnisse zu erhöhen.

Welche Rolle spielt die GPU beim Training der Modelle?

Aufgrund der hohen Anzahl an Parametern der untersuchten NLP-Modelle ist ein GPU-Training (hier: Tesla T4) zwingend erforderlich, um die Rechenzeiten in einem praktikablen Rahmen zu halten.

Was sind die Hauptergebnisse bezüglich der Modellgröße?

Die Ergebnisse deuten darauf hin, dass Modelle mit mehr Layern und Parametern tendenziell eine bessere Klassifikationsleistung erzielen, wobei jedoch auch die Menge der Pre-training-Daten eine kritische Rolle spielt.