Umbruch der digitalen Lehrevaluation. Darstellung der zentral gesteuerten Lehrevaluation durch die Umstellung auf das Evaluationssystem EvaSys

Inhaltsverzeichnis

• Zusammenfassung
• Einleitung
• Ausgangslage
• Zielsetzung der Arbeit
• Aufbau und methodische Vorgangsweise
• Theoretische Grundlagen zu Evaluation
• Der Begriff Evaluation
• Abgrenzung zu Feedback
• Evaluationsgegenstand
• Evaluationsstandards
• Formen von Evaluation
• Evaluationskreislauf/-ablauf
• Theoretische Grundlagen zu Online-Befragung
• Definition von Online-Befragung
• Entwicklung von Online-Befragung
• Voraussetzungen für Online-Forschung
• Chancen und Herausforderungen von Online-Forschung
• Modelle der Umsetzung von Online-Evaluation
• Das 7-S-Modell von McKinsey
• Ablaufmodell einer internen Evaluation nach Ernst
• Implementierungsplan
• Evaluationssystem EvaSys
• Fragebogenformate in EvaSys
• Profile und Rollen in EvaSys
• Umstellung auf EvaSys
• Umstellung der Online-Lehrevaluation an der PH NÖ mittels EvaSys
• Mission
• Prozessbeschreibung
• Umsetzungsplan
• Schwierigkeiten in der technischen Umsetzung
• Aktuelle Evaluationsrichtlinien (Sommersemester 2023)
• Zwischenresümee
• Pilottestreihe - Quantitative Erhebung
• Untersuchungsdesign
• Umsetzung der Pilottestreihe des ResearchLABs
• Auswertung der Pilottestreihe des ResearchLABs
• Metaevaluation der Pilottestreihe des ResearchLABs
• Metaevaluationsergebnisse und Schlussfolgerungen
• Rücklaufquote der Metaevaluation
• Ergebnisse der Metaevaluation
• Methodenkritik des digitalen Fragebogens
• Qualitative Erhebung Interviews
• Untersuchungsdesign
• Stichprobe
• Auswertung der qualitativen Erhebung - Interviews
• Auswertungsmethode der Interviews
• Vorgehensweise in MAXQDA
• Fälle und Kategorien als Strukturierungsdimensionen
• Kategorienbasierte Auswertung
• Fallzusammenfassungen
• Methodenkritik der qualitativen Forschung
• Resümee der empirischen Forschung und Beantwortung der Forschungsfragen
• Zusammenfassung
• Ausblick

Zielsetzung und Themenschwerpunkte

Diese Masterarbeit evaluiert die Umstellung der zentral gesteuerten, digitalen Lehrevaluation an der Pädagogischen Hochschule Niederösterreich (PH NÖ) von PH-Online auf das Evaluationssystem EvaSys im Sommersemester 2022. Ziel ist die Monitorierung des Umstellungsprozesses, die Aufdeckung von Verbesserungspotenzialen für effizientere und effektivere Evaluationsprozesse sowie die Optimierung der Gestaltung. Die Arbeit untersucht die Chancen und Herausforderungen der Implementierung aus der Sicht der beteiligten Personen.

• Formative Evaluation der digitalen Lehrevaluation
• Implementierung des Evaluationssystems EvaSys
• Analyse der Benutzerfreundlichkeit und Effektivität von EvaSys
• Identifizierung von Verbesserungspotenzialen in den Evaluationsprozessen
• Bewertung der Auswirkungen auf Studierende und Lehrende

Zusammenfassung der Kapitel

1 Einleitung: Dieses Kapitel führt in die Thematik der Lehrevaluation an der PH NÖ ein, erläutert die Ausgangslage mit dem bisherigen System PH-Online und beschreibt die Zielsetzung der Arbeit, die darin besteht, die Umstellung auf EvaSys zu evaluieren und die Auswirkungen auf Studierende und Lehrende zu untersuchen. Die methodische Vorgehensweise mit dem Mixed-Methods-Ansatz wird ebenfalls vorgestellt.

2 Theoretische Grundlagen zu Evaluation: Dieses Kapitel legt die theoretischen Grundlagen zum Begriff Evaluation, dessen Abgrenzung zu Feedback und den Evaluationsstandards (DeGEval) dar. Es werden verschiedene Formen und Abläufe von Evaluationen beschrieben und deren Bedeutung im Kontext von Qualitätsmanagement an Hochschulen herausgestellt.

3 Theoretische Grundlagen zu Online-Befragung: Dieses Kapitel beleuchtet die theoretischen Grundlagen von Online-Befragungen, ihre Entwicklung, die Voraussetzungen für deren Einsatz und die Chancen sowie Herausforderungen im Vergleich zu traditionellen Methoden. Verschiedene Modelle zur Umsetzung von Online-Evaluationen werden vorgestellt und diskutiert.

4 Evaluationssystem EvaSys: Dieses Kapitel beschreibt das Evaluationssystem EvaSys, seine Funktionen, die verschiedenen Fragebogenformate und die Rollen und Profile der Benutzer. Der Fokus liegt auf den Möglichkeiten, die EvaSys für die Lehrevaluation bietet, und auf den Aspekten der Benutzerfreundlichkeit und der automatisierten Auswertung.

5 Umstellung der Online-Lehrevaluation an der PH NÖ mittels EvaSys: Dieses Kapitel beschreibt detailliert den Prozess der Umstellung der Lehrevaluation an der PH NÖ von PH-Online auf EvaSys. Es werden die organisatorischen Maßnahmen, der Umsetzungsplan, auftretende technische Schwierigkeiten und die aktuellen Evaluationsrichtlinien dargestellt.

6 Zwischenresümee: Dieses Kapitel fasst die bisherigen Kapitel zusammen und ordnet die theoretischen Grundlagen und den beschriebenen Umstellungsprozess in einen größeren Kontext ein.

7 Pilottestreihe - Quantitative Erhebung: Dieses Kapitel beschreibt das Untersuchungsdesign der quantitativen Erhebung im Rahmen der Pilottestreihe am ResearchLAB. Die Methodik, die Stichprobe und die Durchführung werden detailliert dargestellt.

8 Auswertung der Pilottestreihe des ResearchLABs: Dieses Kapitel präsentiert und interpretiert die Ergebnisse der quantitativen Erhebung, die im Rahmen der Pilottestreihe gewonnen wurden.

9 Metaevaluation der Pilottestreihe des ResearchLABs: Dieses Kapitel beschreibt die Durchführung und das Design der Metaevaluation, die die quantitative Erhebung begleitet und den Fokus auf die formalen und technischen Aspekte der Evaluation legt.

10 Metaevaluationsergebnisse und Schlussfolgerungen: Dieses Kapitel präsentiert die Ergebnisse der Metaevaluation und zieht daraus Schlussfolgerungen hinsichtlich der Benutzerfreundlichkeit, Effektivität und der technischen Umsetzung des Evaluationssystems EvaSys. Es beinhaltet auch eine kritische Reflexion der gewählten Methodik.

11 Qualitative Erhebung Interviews: Dieses Kapitel beschreibt das Design der qualitativen Erhebung durch leitfadengestützte Interviews, die Stichprobenauswahl und die Durchführung der Interviews.

12 Auswertung der qualitativen Erhebung - Interviews: Dieses Kapitel erläutert die Auswertungsmethoden der qualitativen Daten, die Verwendung von MAXQDA und präsentiert die Ergebnisse nach Kategorien, geordnet nach den Evaluationsstandards. Es werden Fallzusammenfassungen erstellt und die Methodik kritisch reflektiert.

13 Resümee der empirischen Forschung und Beantwortung der Forschungsfragen: Dieses Kapitel fasst die Ergebnisse der quantitativen und qualitativen Erhebungen zusammen und beantwortet die Forschungsfragen. Es werden die wichtigsten Erkenntnisse der Studie reflektiert, in einen größeren Kontext gestellt und Schlussfolgerungen gezogen.

Schlüsselwörter

Lehrevaluation, EvaSys, PH NÖ, PH-Online, digitale Befragung, Qualitätsmanagement, Evaluationsstandards (DeGEval), Mixed-Methods, formative Evaluation, Benutzerfreundlichkeit, Effektivität, Prozessevaluation, qualitative Inhaltsanalyse, MAXQDA.

Häufig gestellte Fragen

Worum geht es in der Masterarbeit?

Diese Masterarbeit evaluiert die Umstellung der zentral gesteuerten, digitalen Lehrevaluation an der Pädagogischen Hochschule Niederösterreich (PH NÖ) von PH-Online auf das Evaluationssystem EvaSys im Sommersemester 2022. Sie zielt darauf ab, den Umstellungsprozess zu monitorieren, Verbesserungspotenziale zu identifizieren und die Gestaltung zu optimieren. Die Arbeit untersucht auch die Chancen und Herausforderungen der Implementierung aus der Sicht der Beteiligten.

Was sind die Hauptziele der Masterarbeit?

Die Hauptziele umfassen die formative Evaluation der digitalen Lehrevaluation, die Analyse der Implementierung des Evaluationssystems EvaSys, die Untersuchung der Benutzerfreundlichkeit und Effektivität von EvaSys, die Identifizierung von Verbesserungspotenzialen und die Bewertung der Auswirkungen auf Studierende und Lehrende.

Welche Evaluationsstandards werden berücksichtigt?

Die Arbeit berücksichtigt die Evaluationsstandards (DeGEval).

Welche Methoden wurden für die Evaluation verwendet?

Es wurde ein Mixed-Methods-Ansatz verwendet, der sowohl quantitative (Pilottestreihe, Metaevaluation) als auch qualitative (leitfadengestützte Interviews) Erhebungen umfasst.

Was ist EvaSys und wie wird es eingesetzt?

EvaSys ist ein Evaluationssystem, das an der PH NÖ zur digitalen Lehrevaluation eingesetzt wird. Die Arbeit untersucht die Funktionen, Fragebogenformate und Rollen im System sowie die Umstellung von PH-Online auf EvaSys.

Was sind die wichtigsten Themen, die in den Kapiteln behandelt werden?

Die Kapitel behandeln Themen wie die theoretischen Grundlagen der Evaluation und Online-Befragung, die Beschreibung des Evaluationssystems EvaSys, den Umstellungsprozess an der PH NÖ, die Ergebnisse der quantitativen und qualitativen Erhebungen sowie Schlussfolgerungen und Handlungsempfehlungen.

Welche Schlüsselwörter sind relevant für die Arbeit?

Relevante Schlüsselwörter sind Lehrevaluation, EvaSys, PH NÖ, PH-Online, digitale Befragung, Qualitätsmanagement, Evaluationsstandards (DeGEval), Mixed-Methods, formative Evaluation, Benutzerfreundlichkeit, Effektivität, Prozessevaluation, qualitative Inhaltsanalyse, MAXQDA.

Welche Schwierigkeiten gab es bei der technischen Umsetzung von EvaSys?

Die Masterarbeit dokumentiert Schwierigkeiten in der technischen Umsetzung der Umstellung auf EvaSys. Die genauen Schwierigkeiten werden im Kapitel zur Umstellung der Online-Lehrevaluation an der PH NÖ mittels EvaSys detailliert beschrieben.

Was ist das ResearchLAB und welche Rolle spielt es bei der Pilottestreihe?

Das ResearchLAB führt eine Pilottestreihe durch, deren quantitative Erhebung in der Masterarbeit untersucht und ausgewertet wird.

Wie wurden die qualitativen Interviews ausgewertet?

Die qualitativen Interviews wurden mithilfe der Software MAXQDA ausgewertet, wobei eine kategorienbasierte Analyse und Fallzusammenfassungen erstellt wurden. Die Auswertung erfolgte in Anlehnung an die Evaluationsstandards.