Quantitative Wirksamkeitsanalyse (Evaluation)
In dieser Maßnahme wurden hochschuldidaktische Workshops quantitativ evaluiert. 1) Es wurde ein modulares Selbsteinschätzungsinstrument (Fragebogen) zu digitalen Kompetenzen, Kompetenzen zur Internationalisierung der Lehre sowie zu prädiktiven Faktoren zur Nutzung digitaler Medien in der Lehre entwickelt und an einer Stichprobe von 200 Hochschullehrenden validiert, psychometrische Gütekriterien wurden bestätigt. 2) Für jeden Workshop wurden passende Skalen zusammengestellt, es wurde eine Prä-Post-Befragung durchgeführt. 3) Die Ergebnisse wurden den Workshopleitenden im Sinne einer Lehrevaluation zurück gemeldet. 4) Teilnehmende konnten individuelle Rückmeldungen im Vergleich zu den 200 Hochschullehrenden erhalten. 5) Die Gesamtauswertung aller Workshops zeigt deutliche Kompetenzgewinne in zentralen Bereichen.
Kategorien
Beschreibung
Herausforderung
Die Maßnahme adressiert die zentrale Frage, ob die im Projekt entwickelten Weiterbildungsangebote die Lehrqualität und Lehrkompetenz der Teilnehmenden in Bezug auf Digitalisierung und Internationalisierung der Lehre tatsächlich steigern. Damit wurde die Wirksamkeit der Angebote systematisch überprüft. Die Evaluation wurde zur Qualitätssteigerung der Workshops verwendet.
Herangehensweise
1) Es wurde ein modularer Selbsteinschätzungsfragebogen zur Messung von Kompetenzeinschätzungen zur Digitalisierung und Internationalisierung der eigenen Lehre entwickelt. Dieser Fragebogen wurde validiert, d.h. in einer separaten Stichprobe (N=200 Hochschullehrende) wurden Itemkennwerte und Skalenkennwerte geprüft, um die Reliabilität und Validität (Konstruktvalidität, externe Validität) einzuschätzen.
2) Der Fragebogen wurde zunächst im Post-Design (klassische Lehrevaluation) und später im Prä-Post-Designs eingesetzt, um Veränderungen durch die Workshopteilnahme zu prüfen.
3) Workshopleitende erhielten Rückmeldungen bezüglich der Workshopqualität, zur Weiterentwicklung.
4) Teilnehmende erhielten Rückmeldungen über ihre eigene Kompetenz im Vergleich zu den 200 Hochschullehrenden, zur Anregung ihrer beruflichen Entwicklung.
5) Abschließend wurde überprüft, ob sich über das gesamte Projekt hinweg Veränderungen nachweisen lassen.
Zusammenhang
Die quantitative Wirksamkeitsanalyse wurde im Rahmen eines Verbundprojekts durchgeführt, in dem verschiedene hochschuldidaktische Weiterbildungsmaßnahmen entwickelt wurden. Diese wurden im Zusammenspiel und in Vernetzung mit dem Hochschuldidaktisches Netzwerk Mittelhessen (HDM) implementiert.
Voraussetzung
Die Maßnahme setzte voraus, dass die Hochschullehrenden über die notwendigen Ressourcen und die Zeit verfügen, um die Weiterbildungsangebote zu besuchen und zusätzlich die Evaluation zu absolvieren.
Einige der Workshops wurden im Rahmen des Hochschuldidaktischen Netzwerks Mittelhessen (HDM) durchgeführt. Daher musste die Wirksamkeitsanalyse mit den bereits etablierten Evaluationsstrukturen des HDM abgestimmt werden.
Eignung
Die Rückmeldeberichte wurden von den Workshopleitenden positiv aufgenommen und führten zu konkreten Anpassungen der Angebote. Sie dienten zudem als Qualitätsnachweis für die Lehrevaluation und wurden in der Außendarstellung genutzt.
Zudem wurde von vielen Teilnehmenden aktiv auf die Möglichkeit individueller Rückmeldungen zurückgegriffen – ein Indiz für deren wahrgenommenen Mehrwert.
Die Datenqualität der Wirksamkeitsanalyse ermöglichte die Veröffentlichung der Ergebnisse in zwei wissenschaftlichen Publikationen.
Vorgehen/Schritte
Nutzen Sie etablierte, validierte Fragebögen oder planen Sie Zeit und Ressourcen für eigene Validierung.
Halten Sie die Evaluation kurz, um hohe Antwortraten zu sichern.
Setzen Sie einen modularen Fragebogen ein, um eine Vergleichbarkeit über Workshops hinweg zu ermöglichen bei gleichzeitiger Flexibilität.
Berücksichtigen (und reduzieren) Sie die zeitliche und organisatorische Mehr-Belastung durch die Evaluation für Workshopleitende und Teilnehmende.
Erstellen Sie leicht verständliches Informationsmaterial zur Evaluation (Ziele, Vorgehen, Zeitaufwand) für Workshopleitende und -teilnehmende.
Planen Sie eine enge Kommunikation mit anderen Institutionen ein, die ebenfalls Evaluationsziele verfolgen.
Erheben Sie eine Vergleichsstichprobe – als Basis für individuelle Rückmeldungen.
Integrieren Sie Elemente der quantitativen Einzelfallforschung für belastbare Ergebnisse trotz geringer Fallzahlen.
Planen Sie wenn möglich eine Kontrollgruppe, um Wirkung nachweisbar zu machen.
Nutzen Sie ein Prä-Post-Design für messbare Kompetenzveränderungen.
Nutzen Sie digitale Tools für eine einfache, schnelle und nutzerfreundliche Evaluation.
Geben Sie Workshopleitenden Rückmeldungen zur Qualität – zur Weiterentwicklung der Workshops.
Bieten Sie Teilnehmenden individuelle Rückmeldungen an – zur individuellen Weiterentwicklung.
Hinweise
Effekte
- Bestätigung des Lehrhandelns: Die Evaluation zeigte messbare Kompetenz- und Einstellungsveränderungen und stärkte damit das Vertrauen der Workshopleitenden in ihre eigene Arbeit.
- Strategische Weiterentwicklung: Rückmeldungen ermöglichten eine datengestützte Optimierung von Inhalt und Didaktik.
- Projekttransparenz und Außendarstellung: Die systematische Evaluation erhöhte das Vertrauen in die Qualität des Projekts und der einzelnen Workshops, was zur Außendarstellung genutzt werden konnte.
- Reflexion durch den Fragebogen: Leitende integrierten die im Fragebogen abgefragten Kompetenzbereiche teilweise bereits vorab in ihre Workshops.
- Netzwerkwirkung: Der entwickelte Fragebogen führte zu Kontakten mit anderen Hochschulen und Projekten.
- Akzeptanzsteigerung: Die Rückmeldung der Ergebnisse erhöhte das Engagement und das Vertrauen der Workshopleitenden und förderte die Akzeptanz zukünftiger Evaluationen.
Learnings
Ein zentrales Learning ist, dass Kompetenzentwicklung nicht allein durch Wissensvermittlung entsteht, sondern stark von Reflexionsprozessen, Selbstvergewisserung und affektiven Faktoren geprägt ist. Workshops wirken vor allem als Impulsgeber, während tiefgreifende Veränderungen im Lehrverständnis Zeit, Begleitung und Gelegenheit zur erprobenden Umsetzung benötigen.
Weiter zeigte sich, dass heterogene Zielgruppen unterschiedliche Formate benötigen: niedrigschwellige, flexible Angebote erleichtern den Zugang, während prozessbegleitete Formate nachhaltige Veränderungen unterstützen.
Methodisch wurde im Projekt die Maßnahme der quantitativen Wirksamkeitsanalyse mit einer weiteren Maßnahme kombiniert, welche qualitative Verfahren einsetzte. Diese Kombination erwies sich als besonders gewinnbringend, da Entwicklung auf Gruppen- und Individualebene sichtbar wurde.
Empfehlung
Um auch mit wenigen Teilnehmenden zuverlässige Aussagen zu ermöglichen, nutzten wir statistische Methoden wie Multiple Imputation und den Reliable Change Index. Empfehlung: Berücksichtigen Sie bereits im Evaluationsdesign die geringe Anzahl an Teilnehmenden, z.B. durch Ansätze der quantitativen Einzelfallforschung.
Tipps
Halten Sie Evaluationsinstrumente möglichst kurz, um hohe Teilnahmequoten zu sichern, und kombinieren Sie modulare Skalen flexibel für unterschiedliche Workshopinhalte. Ergänzen Sie quantitative Verfahren um qualitative Elemente oder Follow-up-Gespräche, um Umsetzungshürden besser zu verstehen. Bieten Sie Teilnehmenden individualisierte Rückmeldungen an – diese werden ausdrücklich geschätzt und erhöhen den wahrgenommenen Nutzen der Teilnahme. Fördern Sie früh Vernetzung und Erfahrungsaustausch, da dies als besonders hilfreich erlebt wurde. Planen Sie strukturelle Hindernisse (Zeitmangel, Infrastruktur) realistisch ein.
Sonstiges
Die Ergebnisse zeigen, dass Kompetenzentwicklung im Bereich digitaler und internationaler Lehre ein langfristiger Prozess ist, der durch vielfältige, niedrigschwellige und prozessbegleitende Angebote unterstützt werden sollte. Besonders wertvoll erwies sich die Verbindung von quantitativer Wirksamkeitsanalyse und qualitativer Wirkungsforschung, die zusammen ein umfassendes Bild von Entwicklungspfaden und Bedürfnissen der Lehrenden ermöglicht.
Methoden
Empfohlen
Nicht empfohlen
Kontakt
Das könnte Sie auch interessieren
Civic Education Technology Hacks
Projektgegenstand ist die Konzeption eines Seminars für Lehramtsstudierende, in dem sie in Teams je ein Computersspiel für den Politikunterricht entwickeln und programmieren. Auf innovative Weise soll der Erwerb von IT-Fähigkeiten durch Digital Making mit Unterrichtsplanung nach politikdidaktischen Prinzipien verbunden werden. Das Prinzip der Fallanalyse könnte bspw. als Gameplot dienen, um politische Sachverhalte multiperspektivisch zugänglich zu machen. Ziel ist, dass die Spielenden ein politisches Urteil fällen und dessen Verallgemeinerbarkeit prüfen. Die Studierenden schulen bei der Konzeptionierung die Fähigkeiten der wissenschaftlichen Analyse und profilieren diese im Prozess der Programmierung (Codierung der Inhalte). Die Internetcommunity bietet Musterlösungen an, die durch logisches Denken auf das konkrete Setting übertagen werden. So wird Verständnis für den Produktionsprozess und das digitale Lernen (Nutzen-, Grenzen-, und Risikoanalyse) entwickelt. Bisherige Erfahrungen zeigen, dass projektorientierte Settings die intrinsische Motivation der Studierenden steigern und ihre Expertise und Kreativität bei der fachlichen Konzeption, Programmierung und Erprobung des Spiels fordern. Die Seminarkonzeption soll evidenzbasiert erfolgen (formative und summative Evaluation im Rahmen einer Begleitforschung). Von Nutzen ist dafür die Infrastruktur des Makerspaces am Campus der PH Ludwigsburg, Kooperationsmöglichkeiten mit ExpertInnen digitalen Lernens anderer Fächer bestehen.
Projekt anzeigen
"Mensch was brauchst Du?" - ein Lernspiel
„Mensch, was brauchst du?“ ist ein Spiel zum Austausch über Lernbedürfnisse, das auf der Spielmechanik des bekannten Gesellschaftsspiels „Mensch ärgere dich nicht!“ basiert. Es regt Studierende durch Spielimpulse dazu an, ihre individuellen Lernbedürfnisse zu reflektieren, zu formulieren und anonymisiert für Lehrende sichtbar zu machen. Durch die strukturierte, spielerische Interaktion gehen die Studierenden ihren Lernbedürfnissen auf den Grund und erfahren zudem, wie unterschiedlich diese sein können. Gleichzeitig baut das Spiel aufgrund seines spielerischen Zugangs Barrieren ab, die Studierende durch Hierarchien im Hochschulsystem oft daran hindern, offen zu äußern, was sie als Einzelpersonen beim Lernen unterstützen würde. Lehrende ergeben sich daraus authentische, nachvollziehbare Einblicke in die Vielfalt der Lernbedarfe. Die Ergebnisse bieten konkrete Anknüpfungspunkte für einen dialogischen Austausch und unterstützen die Entwicklung von studierendenorientierten Lehre.
Maßnahme anzeigen
Mediendidaktische Einordnung von Virtual Reality - Potenziale von Virtual Reality bei der Entwicklung von Lehr-und Lernangeboten
Der folgende Beitrag soll Forschenden und Lehrenden ein Modell als Bewertungsmittel an die Hand geben, unter welchen Bedingungen Virtual Reality (VR) in Lehr- und Lernangeboten eingesetzt werden kann. In diesem Modell werden die vier Determinanten für Leistungshandeln [Ke18] - Motivationsdefizit, Personalauswahl, Umgebungsfaktoren und Bildungsproblem - modifiziert und um die Komponentzfaktoren Wissen und Fertigkeiten erweitert. Grundlage für die Bewertung des VR-Einsatzes soll dabei die Beantwortung der Frage sein, ob digital angereicherte Bildungsangebote entweder ein Bildungsproblem lösen oder aber - anders wie in der bisherigen Literatur geschildert - auch (störende) Umgebungsfaktoren modifizieren können.
Publikation anzeigen