Evaluation des Wikis
Nach Abschluss des Wikis (vor der Klausur) wurde eine Umfrage durchgeführt. Die Rücklaufrate liegt bei 84% (107 von 128). Ergänzt werden diese Daten mit semi-strukturierten Interviews (n = 16) um tiefere qualitative Daten zu gewinnen. Ziel der Evaluation ist die Analyse der Auswirkung des Wikis auf die studentische Leistung in der Klausur. Zusätzlich wollen wir die Kurswahrnehmung hinschlich des Wikis evaluieren. [Anm. StIL: Diese Maßnahme wurde in einer Vorgängerversion der Abfrage dokumentiert. Bei der Übertragung auf das aktuelle Format kann es vorkommen, dass die Antworten nicht hundertprozentig zur Frage passen.]
Kategorien
Beschreibung
Herausforderung
Bildungsintervention wird durchgeführt ohne Identifikation von datenbasierten Optimierungspotentialen (durch z.B. quantitative und qualitative Evaluation)
Ressourcen; Aufwand
Voraussetzung
Erschwert wird die Umsetzung der Evaluation durch Nicht-Teilnahme an Wiki, Fragebogen und Interviews. Keine weiteren Nachteile aufgetreten
Für (1) - Bewertung der Wiki-Beiträge – war es wichtig ein einheitliches Bewertungsschema aufzusetzen. Wir haben in Excel die einzelnen wissenschaftlichen Bewertungskriterien der Anleitung aufgeführt, gewichtet und so bei der Durchsicht der Beiträge bewertbar gemacht. Sow wurde jedes einzelnes Kriterium auf Qualität und Vollständigkeit überprüft.
Für (2) – Fragebogen – war es wichtig, dass Bestandteile des Wikis in Ellemente unterteilt werden, die wiederum in Fragen überführt wurden. So stellen wir sich, dass sämtliche Bestandteile des Wikis hinreichend evaluiert werden.
Für (3) - Interviews - war es wichtig gezielt Elemente aus (2) zu identifizieren, die durch die Interviews mit qualitativen Daten ergänzt werden sollten. So wurde in den Interviews der Schwerpunkt auf die „Unterschiede zwischen individuellen und kollektiven Schreibaktivitäten“ oder „Ec
Eignung
summativ (zum Abschluss)
Am Ende des Wiki-Projekts (vor der Klausur) haben wir eine digitale Umfrage durchgeführt, um quantitative und qualitative Daten zu erhalten (107 von 128 haben teilgenommen).
Wir haben quantitative und qualitative Daten dazu erhoben, inwieweit die Schreibaktivitäten das Lernerlebnis der Studierenden positiv beeinflusst haben.
Die Umfragedaten wurden durch 16 halbstrukturierte Interviews ergänzt.
Vorgehen/Schritte
Erstellung des Fragebogens (1 Woche)
Durchführung des Fragebogen (2 Tage)
Analyse des Fragebogens (quantitative und qualitative Daten) (2 Wochen)
Erstellung des Interview Guides (3 Tage)
Durchführung der Interviews (2 Wochen)
Analyse der Interviews (qualitative Daten) (2 Wochen)
Verknüpfung von Fragebogenelementen und Interviewsektionen (2 Tage)
Hypothesenbasierte Analyse von Wirkung des Wikis auf Klausurleistung und Kurswahrnehmung (1 Monat)
Verknüpfung der Ergebnisse mit Bildungstheorien (1 Woche)
Verfassung von Paper (6 Monate)
(ein Semester bis zu einem Jahr)
Hinweise
Effekte
Wir haben das Wiki auf unterschiedliche Art und Weise evaluiert:
(1) Bewertung der Wiki-Beiträge hinsichtlich Inhalt und Format (wissenschaftliche Bewertungskriterien werden vom Lehrpersonal bewertet)
(2) (2) Mit Hilfe eines Fragebogens werden quantitative und qualitative Daten über die Kurserfahrung gesammelt (einschließlich der Erfahrungen mit der Entwicklung, dem Lernen, der Strukturierung, der Verwaltung und der (technischen) Nutzung).
(3) (3) Zusätzlich wurden in 16 halbstrukturierten Interviews detaillierte qualitative Daten zu den in Schritt (2) identifizierten Fragestellungen erhoben.
Mit (1) - Bewertung der Wiki-Beiträge - konnten wir Optimierungspotentiale identifizieren, die Einfluss auf die Planungs- und Durchführungsphase unserer Maßnahmen haben. Beispielsweise stellte sich heraus, dass die Studierenden (trotz Anleitung) Schwierigkeiten hatten, korrekt zu zitieren bzw. akademische von nicht-akademischen Quellen zu unterscheiden. Dadurch haben die Beiträge im Durchschnitt an Wi
Learnings
Die Ergebnisse sind besonders relevant:
- inwieweit die Anleitungen und Beispielbeiträge des Lehrpersonals für die Verfasser hilfreich waren
- inwieweit es Unterschiede zwischen Einzel- und Gruppenbeiträgen gab
- ob kollaborativ gearbeitet wurde oder nur Aufgaben verteilt wurden
- inwieweit die Lernerfahrung der Studierenden beeinflusst wurde
- ob das Wiki leicht zu nutzen war
- ob es technische Probleme gab
…
Empfehlung
Für die Umsetzung an anderen Hochschulen empfehlen wir ggf. eine Pre-Post-Studie. Wir haben nur eine summative Analyse nach Abschluss des Projekts durchgeführt. Eine Pre-Post-Umfrage könnte sowohl die Anpassung der Planung unterstützen als auch eine detaillierte Analyse des Einflusses des Wikis ermöglichen.
Tipps
Wir empfehlen (1) die Analyse der Beiträge, (2) die Durchführung eines digitalen Fragebogens und (3) die Interviews
Methoden
Empfohlen
Kontakt
Das könnte Sie auch interessieren
KoALa Eine kollaborative Analyseumgebung für die Lehre
Im KoALa-Projekt wird ein Tool entwickelt, das einen kollaborativen Austausch über Musik ermöglicht. Kerngedanke ist die Sammlung von Annotationen, die zeitlich den Ereignissen auf einem Zeitstrahl (z. B. in einem Soundfile) zugeordnet sind. Die von den Teilnehmer*innen erstellten Annotationen können anschließend in einer Zusammenschau mit den anderen geteilt und in Kombination dargestellt werden. Die so entstehende Synopse dient dann als Ausgangspunkt für einen Austausch über das Musikstück. Im Projekt wird das Tool zunächst mit dem Fokus auf Unterrichtssituationen entwickelt. Einzelne Sets von Annotationsmarkern (wie z. B. verschiedene Kadenzbegriffe, Klauseln) werden in Templates vorbereitet und zur Verfügung gestellt. Die möglichen Einsatzszenarien von KoALa sind vielfältig sei es Musikunterricht (in Schule, Musikschule oder Hochschule), in Konzertsituationen oder in Reflexion einer eigenen künstlerischen Praxis. Dabei kann es u. a. um Fragen der Interpretationsforschung, der Analyse oder des hörenden Wiedererkennens gehen. Nach der Fertigstellung soll mittel- und langfristig eine Nutzung des Tools auch außerhalb der HfM Freiburg möglich sein.
Projekt anzeigen
Multimediale Beitragsreihe #Diversitäten
Die multimediale Beitragsreihe #Diversitäten reflektiert den Zusammenhang zwischen diversen Identitäten, Wissenskulturen und Wissensvermittlungspraktiken primär aus kulturwissenschaftlicher Sicht und bündelt Beiträge, die vielfachen Ausprägungen von Diversitäten nachgehen. Die Beitragsreihe adressiert ein aktuelles, gesellschaftlich relevantes Thema und nutzt innovative Lehr-/Lernformate für dessen Vermittlung.
Maßnahme anzeigen
Handlungsmöglichkeiten im Umgang mit Spannungen innerhalb von Hochschulver-bünden – eine Reflexion aus Perspektive der Verbundkoordination am Beispiel des Verbundprojektes Digitalisierung in Disziplinen Partizipativ Umsetzen :: Competen-cies Connected (D2C2)
[Kurzbeschreibung folgt (Anm. StIL)]
Publikation anzeigen