Quantitative Wirksamkeitsanalyse (Evaluation)
In dieser Maßnahme wurden hochschuldidaktische Workshops quantitativ evaluiert. 1) Es wurde ein modulares Selbsteinschätzungsinstrument (Fragebogen) zu digitalen Kompetenzen, Kompetenzen zur Internationalisierung der Lehre sowie zu prädiktiven Faktoren zur Nutzung digitaler Medien in der Lehre entwickelt und an einer Stichprobe von 200 Hochschullehrenden validiert, psychometrische Gütekriterien wurden bestätigt. 2) Für jeden Workshop wurden passende Skalen zusammengestellt, es wurde eine Prä-Post-Befragung durchgeführt. 3) Die Ergebnisse wurden den Workshopleitenden im Sinne einer Lehrevaluation zurück gemeldet. 4) Teilnehmende konnten individuelle Rückmeldungen im Vergleich zu den 200 Hochschullehrenden erhalten. 5) Die Gesamtauswertung aller Workshops zeigt deutliche Kompetenzgewinne in zentralen Bereichen.
Kategorien
Beschreibung
Herausforderung
Die Maßnahme adressiert die zentrale Frage, ob die im Projekt entwickelten Weiterbildungsangebote die Lehrqualität und Lehrkompetenz der Teilnehmenden in Bezug auf Digitalisierung und Internationalisierung der Lehre tatsächlich steigern. Damit wurde die Wirksamkeit der Angebote systematisch überprüft. Die Evaluation wurde zur Qualitätssteigerung der Workshops verwendet.
Herangehensweise
1) Es wurde ein modularer Selbsteinschätzungsfragebogen zur Messung von Kompetenzeinschätzungen zur Digitalisierung und Internationalisierung der eigenen Lehre entwickelt. Dieser Fragebogen wurde validiert, d.h. in einer separaten Stichprobe (N=200 Hochschullehrende) wurden Itemkennwerte und Skalenkennwerte geprüft, um die Reliabilität und Validität (Konstruktvalidität, externe Validität) einzuschätzen.
2) Der Fragebogen wurde zunächst im Post-Design (klassische Lehrevaluation) und später im Prä-Post-Designs eingesetzt, um Veränderungen durch die Workshopteilnahme zu prüfen.
3) Workshopleitende erhielten Rückmeldungen bezüglich der Workshopqualität, zur Weiterentwicklung.
4) Teilnehmende erhielten Rückmeldungen über ihre eigene Kompetenz im Vergleich zu den 200 Hochschullehrenden, zur Anregung ihrer beruflichen Entwicklung.
5) Abschließend wurde überprüft, ob sich über das gesamte Projekt hinweg Veränderungen nachweisen lassen.
Zusammenhang
Die quantitative Wirksamkeitsanalyse wurde im Rahmen eines Verbundprojekts durchgeführt, in dem verschiedene hochschuldidaktische Weiterbildungsmaßnahmen entwickelt wurden. Diese wurden im Zusammenspiel und in Vernetzung mit dem Hochschuldidaktisches Netzwerk Mittelhessen (HDM) implementiert.
Voraussetzung
Die Maßnahme setzte voraus, dass die Hochschullehrenden über die notwendigen Ressourcen und die Zeit verfügen, um die Weiterbildungsangebote zu besuchen und zusätzlich die Evaluation zu absolvieren.
Einige der Workshops wurden im Rahmen des Hochschuldidaktischen Netzwerks Mittelhessen (HDM) durchgeführt. Daher musste die Wirksamkeitsanalyse mit den bereits etablierten Evaluationsstrukturen des HDM abgestimmt werden.
Eignung
Die Rückmeldeberichte wurden von den Workshopleitenden positiv aufgenommen und führten zu konkreten Anpassungen der Angebote. Sie dienten zudem als Qualitätsnachweis für die Lehrevaluation und wurden in der Außendarstellung genutzt.
Zudem wurde von vielen Teilnehmenden aktiv auf die Möglichkeit individueller Rückmeldungen zurückgegriffen – ein Indiz für deren wahrgenommenen Mehrwert.
Die Datenqualität der Wirksamkeitsanalyse ermöglichte die Veröffentlichung der Ergebnisse in zwei wissenschaftlichen Publikationen.
Vorgehen/Schritte
Nutzen Sie etablierte, validierte Fragebögen oder planen Sie Zeit und Ressourcen für eigene Validierung.
Halten Sie die Evaluation kurz, um hohe Antwortraten zu sichern.
Setzen Sie einen modularen Fragebogen ein, um eine Vergleichbarkeit über Workshops hinweg zu ermöglichen bei gleichzeitiger Flexibilität.
Berücksichtigen (und reduzieren) Sie die zeitliche und organisatorische Mehr-Belastung durch die Evaluation für Workshopleitende und Teilnehmende.
Erstellen Sie leicht verständliches Informationsmaterial zur Evaluation (Ziele, Vorgehen, Zeitaufwand) für Workshopleitende und -teilnehmende.
Planen Sie eine enge Kommunikation mit anderen Institutionen ein, die ebenfalls Evaluationsziele verfolgen.
Erheben Sie eine Vergleichsstichprobe – als Basis für individuelle Rückmeldungen.
Integrieren Sie Elemente der quantitativen Einzelfallforschung für belastbare Ergebnisse trotz geringer Fallzahlen.
Planen Sie wenn möglich eine Kontrollgruppe, um Wirkung nachweisbar zu machen.
Nutzen Sie ein Prä-Post-Design für messbare Kompetenzveränderungen.
Nutzen Sie digitale Tools für eine einfache, schnelle und nutzerfreundliche Evaluation.
Geben Sie Workshopleitenden Rückmeldungen zur Qualität – zur Weiterentwicklung der Workshops.
Bieten Sie Teilnehmenden individuelle Rückmeldungen an – zur individuellen Weiterentwicklung.
Hinweise
Effekte
- Bestätigung des Lehrhandelns: Die Evaluation zeigte messbare Kompetenz- und Einstellungsveränderungen und stärkte damit das Vertrauen der Workshopleitenden in ihre eigene Arbeit.
- Strategische Weiterentwicklung: Rückmeldungen ermöglichten eine datengestützte Optimierung von Inhalt und Didaktik.
- Projekttransparenz und Außendarstellung: Die systematische Evaluation erhöhte das Vertrauen in die Qualität des Projekts und der einzelnen Workshops, was zur Außendarstellung genutzt werden konnte.
- Reflexion durch den Fragebogen: Leitende integrierten die im Fragebogen abgefragten Kompetenzbereiche teilweise bereits vorab in ihre Workshops.
- Netzwerkwirkung: Der entwickelte Fragebogen führte zu Kontakten mit anderen Hochschulen und Projekten.
- Akzeptanzsteigerung: Die Rückmeldung der Ergebnisse erhöhte das Engagement und das Vertrauen der Workshopleitenden und förderte die Akzeptanz zukünftiger Evaluationen.
Learnings
Ein zentrales Learning ist, dass Kompetenzentwicklung nicht allein durch Wissensvermittlung entsteht, sondern stark von Reflexionsprozessen, Selbstvergewisserung und affektiven Faktoren geprägt ist. Workshops wirken vor allem als Impulsgeber, während tiefgreifende Veränderungen im Lehrverständnis Zeit, Begleitung und Gelegenheit zur erprobenden Umsetzung benötigen.
Weiter zeigte sich, dass heterogene Zielgruppen unterschiedliche Formate benötigen: niedrigschwellige, flexible Angebote erleichtern den Zugang, während prozessbegleitete Formate nachhaltige Veränderungen unterstützen.
Methodisch wurde im Projekt die Maßnahme der quantitativen Wirksamkeitsanalyse mit einer weiteren Maßnahme kombiniert, welche qualitative Verfahren einsetzte. Diese Kombination erwies sich als besonders gewinnbringend, da Entwicklung auf Gruppen- und Individualebene sichtbar wurde.
Empfehlung
Um auch mit wenigen Teilnehmenden zuverlässige Aussagen zu ermöglichen, nutzten wir statistische Methoden wie Multiple Imputation und den Reliable Change Index. Empfehlung: Berücksichtigen Sie bereits im Evaluationsdesign die geringe Anzahl an Teilnehmenden, z.B. durch Ansätze der quantitativen Einzelfallforschung.
Tipps
Halten Sie Evaluationsinstrumente möglichst kurz, um hohe Teilnahmequoten zu sichern, und kombinieren Sie modulare Skalen flexibel für unterschiedliche Workshopinhalte. Ergänzen Sie quantitative Verfahren um qualitative Elemente oder Follow-up-Gespräche, um Umsetzungshürden besser zu verstehen. Bieten Sie Teilnehmenden individualisierte Rückmeldungen an – diese werden ausdrücklich geschätzt und erhöhen den wahrgenommenen Nutzen der Teilnahme. Fördern Sie früh Vernetzung und Erfahrungsaustausch, da dies als besonders hilfreich erlebt wurde. Planen Sie strukturelle Hindernisse (Zeitmangel, Infrastruktur) realistisch ein.
Sonstiges
Die Ergebnisse zeigen, dass Kompetenzentwicklung im Bereich digitaler und internationaler Lehre ein langfristiger Prozess ist, der durch vielfältige, niedrigschwellige und prozessbegleitende Angebote unterstützt werden sollte. Besonders wertvoll erwies sich die Verbindung von quantitativer Wirksamkeitsanalyse und qualitativer Wirkungsforschung, die zusammen ein umfassendes Bild von Entwicklungspfaden und Bedürfnissen der Lehrenden ermöglicht.
Methoden
Empfohlen
Nicht empfohlen
Kontakt
Das könnte Sie auch interessieren
Qualität digital gestützter Lehre an bayerischen Hochschulen steigern
Für das Projekt QUADIS haben sich alle bayerischen Universitäten, das DiZ-Zentrum für Hochschuldidaktik der bayerischen HAWs und die Virtuelle Hochschule Bayern zusammengeschlossen, um in drei Projektsäulen die Qualität digital gestützter Lehre an bayerischen Hochschulen zu steigern. In der ersten Säule soll die hochschuldidaktische Weiterbildung um Blended Learning Seminare ergänzt werden. So soll Lehrenden ein Lernen am Modell ermöglicht und die Kapazität der Weiterbildung erhöht werden. Die Materialien sollen arbeitsteilig zweisprachig erstellt, als OER veröffentlicht und so über den Verbund hinaus nutzbar werden. In der zweiten Säule sollen bereits etablierte Formate zur Förderung des Diskurses zu digital gestützter Lehre intensiviert und auf alle Verbundpartner skaliert werden, um Lehrende zu inspirieren und Lehrinnovationen zu generieren. Dazu sollen Themenwochen durchgeführt und Fach-und Arbeitsgruppen Lehrender initiiert und begleitet werden. In der dritten Säule soll der Transfer von Lehrinnovationen in die Lehre durch Lehrwerkstätten unterstützt werden. Deren methodische Ausgestaltungen sollen miteinander verglichen und evaluiert werden, um nach Projektende eine Auswahl für zukünftige Transfermaßnahmen treffen zu können.
Projekt anzeigen
Transfertreffen im sächs. Ingenieur-Lehrnetzwerk
Die sächsische Professional Learning Community Ingenieurswissenschaften bringt Lehrende sachsenweit hochschulübergreifend zusammen. Ziel ist ein regelmäßiger fachspezifischer Austausch, bei dem die Bandbreite der Ingenieurwissenschaften abgebildet wird. Im Zentrum stehen Onlinetreffen mit Impulsbei-trägen, um den Transfer von Innovationen zu fördern.
Maßnahme anzeigen