Quantitative Wirksamkeitsanalyse (Evaluation)

Die Maßnahme adressiert die zentrale Frage, ob die im Projekt entwickelten Weiterbildungsangebote die Lehrqualität und Lehrkompetenz der Teilnehmenden in Bezug auf Digitalisierung und Internationalisierung der Lehre tatsächlich steigern. Damit wurde die Wirksamkeit der Angebote systematisch überprüft. Die Evaluation wurde zur Qualitätssteigerung der Workshops verwendet.

1) Es wurde ein modularer Selbsteinschätzungsfragebogen zur Messung von Kompetenzeinschätzungen zur Digitalisierung und Internationalisierung der eigenen Lehre entwickelt. Dieser Fragebogen wurde validiert, d.h. in einer separaten Stichprobe (N=200 Hochschullehrende) wurden Itemkennwerte und Skalenkennwerte geprüft, um die Reliabilität und Validität (Konstruktvalidität, externe Validität) einzuschätzen.

2) Der Fragebogen wurde zunächst im Post-Design (klassische Lehrevaluation) und später im Prä-Post-Designs eingesetzt, um Veränderungen durch die Workshopteilnahme zu prüfen.

3) Workshopleitende erhielten Rückmeldungen bezüglich der Workshopqualität, zur Weiterentwicklung.

4) Teilnehmende erhielten Rückmeldungen über ihre eigene Kompetenz im Vergleich zu den 200 Hochschullehrenden, zur Anregung ihrer beruflichen Entwicklung.

5) Abschließend wurde überprüft, ob sich über das gesamte Projekt hinweg Veränderungen nachweisen lassen.

Die quantitative Wirksamkeitsanalyse wurde im Rahmen eines Verbundprojekts durchgeführt, in dem verschiedene hochschuldidaktische Weiterbildungsmaßnahmen entwickelt wurden. Diese wurden im Zusammenspiel und in Vernetzung mit dem Hochschuldidaktisches Netzwerk Mittelhessen (HDM) implementiert.

Die Maßnahme setzte voraus, dass die Hochschullehrenden über die notwendigen Ressourcen und die Zeit verfügen, um die Weiterbildungsangebote zu besuchen und zusätzlich die Evaluation zu absolvieren.

Einige der Workshops wurden im Rahmen des Hochschuldidaktischen Netzwerks Mittelhessen (HDM) durchgeführt. Daher musste die Wirksamkeitsanalyse mit den bereits etablierten Evaluationsstrukturen des HDM abgestimmt werden.

Die Rückmeldeberichte wurden von den Workshopleitenden positiv aufgenommen und führten zu konkreten Anpassungen der Angebote. Sie dienten zudem als Qualitätsnachweis für die Lehrevaluation und wurden in der Außendarstellung genutzt.

Zudem wurde von vielen Teilnehmenden aktiv auf die Möglichkeit individueller Rückmeldungen zurückgegriffen – ein Indiz für deren wahrgenommenen Mehrwert.

Die Datenqualität der Wirksamkeitsanalyse ermöglichte die Veröffentlichung der Ergebnisse in zwei wissenschaftlichen Publikationen.

- Bestätigung des Lehrhandelns: Die Evaluation zeigte messbare Kompetenz- und Einstellungsveränderungen und stärkte damit das Vertrauen der Workshopleitenden in ihre eigene Arbeit.

- Strategische Weiterentwicklung: Rückmeldungen ermöglichten eine datengestützte Optimierung von Inhalt und Didaktik.

- Projekttransparenz und Außendarstellung: Die systematische Evaluation erhöhte das Vertrauen in die Qualität des Projekts und der einzelnen Workshops, was zur Außendarstellung genutzt werden konnte.

- Reflexion durch den Fragebogen: Leitende integrierten die im Fragebogen abgefragten Kompetenzbereiche teilweise bereits vorab in ihre Workshops.

- Netzwerkwirkung: Der entwickelte Fragebogen führte zu Kontakten mit anderen Hochschulen und Projekten.

- Akzeptanzsteigerung: Die Rückmeldung der Ergebnisse erhöhte das Engagement und das Vertrauen der Workshopleitenden und förderte die Akzeptanz zukünftiger Evaluationen.

Ein zentrales Learning ist, dass Kompetenzentwicklung nicht allein durch Wissensvermittlung entsteht, sondern stark von Reflexionsprozessen, Selbstvergewisserung und affektiven Faktoren geprägt ist. Workshops wirken vor allem als Impulsgeber, während tiefgreifende Veränderungen im Lehrverständnis Zeit, Begleitung und Gelegenheit zur erprobenden Umsetzung benötigen.

Weiter zeigte sich, dass heterogene Zielgruppen unterschiedliche Formate benötigen: niedrigschwellige, flexible Angebote erleichtern den Zugang, während prozessbegleitete Formate nachhaltige Veränderungen unterstützen.

Methodisch wurde im Projekt die Maßnahme der quantitativen Wirksamkeitsanalyse mit einer weiteren Maßnahme kombiniert, welche qualitative Verfahren einsetzte. Diese Kombination erwies sich als besonders gewinnbringend, da Entwicklung auf Gruppen- und Individualebene sichtbar wurde.

Um auch mit wenigen Teilnehmenden zuverlässige Aussagen zu ermöglichen, nutzten wir statistische Methoden wie Multiple Imputation und den Reliable Change Index. Empfehlung: Berücksichtigen Sie bereits im Evaluationsdesign die geringe Anzahl an Teilnehmenden, z.B. durch Ansätze der quantitativen Einzelfallforschung.

Halten Sie Evaluationsinstrumente möglichst kurz, um hohe Teilnahmequoten zu sichern, und kombinieren Sie modulare Skalen flexibel für unterschiedliche Workshopinhalte. Ergänzen Sie quantitative Verfahren um qualitative Elemente oder Follow-up-Gespräche, um Umsetzungshürden besser zu verstehen. Bieten Sie Teilnehmenden individualisierte Rückmeldungen an – diese werden ausdrücklich geschätzt und erhöhen den wahrgenommenen Nutzen der Teilnahme. Fördern Sie früh Vernetzung und Erfahrungsaustausch, da dies als besonders hilfreich erlebt wurde. Planen Sie strukturelle Hindernisse (Zeitmangel, Infrastruktur) realistisch ein.

Die Ergebnisse zeigen, dass Kompetenzentwicklung im Bereich digitaler und internationaler Lehre ein langfristiger Prozess ist, der durch vielfältige, niedrigschwellige und prozessbegleitende Angebote unterstützt werden sollte. Besonders wertvoll erwies sich die Verbindung von quantitativer Wirksamkeitsanalyse und qualitativer Wirkungsforschung, die zusammen ein umfassendes Bild von Entwicklungspfaden und Bedürfnissen der Lehrenden ermöglicht.