Learning Analytics
Übergeordnetes Feedback für das Studierverhalten mit Hilfe von „Learning Analytics“ unterstützt die Studierenden in ihrem Lernverhalten. Dabei werden die Datenspuren der Studierenden in Moodle mit Zusatzdaten ergänzt und mit Hilfe von selbstprogrammierten KI-Modellen mit Vorgängerkohorten verglichen und Prognosen auf das Bestehen der Prüfung gemacht, sowie aufgrund der persönlichen Datensituation individuelle Tipps zum Wiederholen und Lernen gegeben. Der Maßnahme liegt ein robustes Datenschutzkonzept für die Verarbeitung der persönlichen Daten der Studierenden zugrunde.
Kategorien
Beschreibung
Herausforderung
• Das Vorwissen der Studierenden in Mathematik und Physik ist sehr heterogen geworden, so dass individuelle Lernpfade immer wichtiger werden.
• Die Motivation der Studierenden für das Lernen ist sehr unterschiedlich, Aufwand/Nutzen-Optimierung wie in der Schule funktioniert in MINT-Fächern meist nicht, gute Lerntechniken für das Studium sind vielfach nicht vorhanden.
Herangehensweise
Im Fach Physik im Studiengang Wirtschaftsingenieurwesen deuten die Prüfungsergebnisse aus dem Studienjahr 2023/24 auf einen positiven Effekt durch die Maßnahme „Learning Analytics“ gegenüber den Vorjahresergebnissen hin. Potenzielle Indikatoren für den Prüfungserfolg wurden identifiziert und aufbereitet. Machine Learning Modelle (MLM) wurden mit den Indikatoren für eine Prognose, die Prüfung zu bestehen, trainiert.
Für das Feedbacktool wurde in einem Team aus Lehrenden, didaktischen Mitarbeitenden und Studierenden in einem Gaming Prozess (www.empamos.de) und durch Fragebögen die Kriterien für ein lernförderliches und unterstützendes Feedback herausgearbeitet. Ein Lernfeedback mit Dashboard-Grafiken, KI-Prognose und individuellen und allgemeinen Lerntipps wurde zweimal pro Semester an die Studierenden per E-Mail versendet. Die fachlichen Feedbacks bei den Moodle-Quiz-Aufgaben für die einzelnen Antworten unterstützen das Konzept hierbei.
Zusammenhang
Lehrveranstaltung Physik im Studiengang Wirtschaftsingenieurwesen.
Voraussetzung
Die Erstellung eines Datenschutzkonzeptes nach Datenschutz-Grundverordnung (DSGVO) war Voraussetzung für die Verarbeitung der personenbezogenen Daten. Die Trainingsdaten sind pseudonymisiert und anonymisiert auf einem zugangsbeschränkten Server abgespeichert. Die Studierenden mussten aktiv der Teilnahme zustimmen. Jederzeit war eine Wahl oder Abwahl von der Teilnahme an Learning Analytics möglich.
Es mussten Indikatoren für eine erfolgreiche Prüfung identifiziert werden, um die KI-Modelle trainieren zu können. Diese heißen auch Merkmale, Prädikatoren oder Feature-Variablen.
Die Daten zur Auswertung wurden für eine maschinenlesbare Auswertung aufbereitet, Es wurden Skripte für die Auswertung (KI-Modellierung, Grafikerzeugung, Feedback-Wortbaukasten, E-Mail-Komposition) geschrieben.
Das „Framing“ im Unterricht beim Einsatz von Learning Analytics ist sehr wichtig, damit die Studierenden die Aktivitäten mit Ihren Nutzen für das Lernen einordnen können.
Eignung
Die Learning-Analytics-Feedback-E-Mail wurde von den Studierenden in Nachbefragungen positiv bewertet und als motivierend empfunden.
Die Prüfung im Sommersemester 2024 hatte die niedrigste Durchfallrate in diesem Physikkurs seit 20 Jahren.
Vorgehen/Schritte
Datenschutzkonzept auf Basis der DSGVO erstellen.
Datensammlung (z.B. aus Moodle oder andere das Lernen betreffende Daten) ist wichtig. Es müssen auch Daten von vergleichbaren vergangenen Kohorten zum KI-Training vorliegen. Dazu sollten alte Kurse im Lernmanagementsystem nicht gelöscht, sondern gespeichert werden.
Identifizierung der Indikatoren für den Prüfungserfolg.
Manuelle Datenaufbereitung ist notwendig, insbesondere sogenanntes „Nullhandling“ (Umgang mit fehlenden Daten) und u.U. Zusammenfassung von Features/Indikatoren.
Erstellung der Vorlage für eine Feedback-E-Mail - dies benötigt Zeit und Kompetenz (fachlich, didaktisch, pädagogisch).
Hinweise
Effekte
Über 90 % der Studierenden haben an Learning Analytics teilgenommen.
Die Feedback-E-Mail wurde von den Studierenden positiv und motivierend aufgenommen.
Die Prüfung im Sommersemester 2024 (Pilotsemester) hatte die niedrigste Durchfallrate in diesem Physikkurs seit 20 Jahren.
Im Kollegium besteht großes Interesse daran, Learning Analytics auch im eigenen Kurs einzusetzen.
Das „Nullhandling“ und die Programmierung der Machine Learning Modelle war zeitaufwändig.
Learnings
Die Erstellung des Datenschutzkonzeptes ist aufwändiger als erwartet.
Der Zeitaufwand für die Datenaufbereitung („Nullhandling“) ist sehr hoch.
KI-Modelle zu programmieren erfordert viel Wissen zu den Modellen und den Größen, die modelliert werden. Vieles ist Trial & Error, erfordert eine Lernkurve und manches kann durch gezielte Planung verbessert werden.
Empfehlung
Denkbar wäre ein kombinierter Ansatz aus einem Dashboard im Lernmanagementsystem (LMS), z.B. Moodle – analog dem Display einer Fitnessuhr – und drei semesterbegleitenden Einzel-E-Mails, die auf Basis der Online-Quiz-Ergebnisse individuelle Lernempfehlungen enthalten.
Tipps
Verschiedene Machine-Learning-Modelle haben verschiedene Vor- und Nachteile.
Wenn man Feedback geben will, muss man wissen, warum das KI-Modell Petra Musterfrau in die Gruppe der eher gefährdeten Studierenden gesteckt hat. Klassische Neuronale Netze leisten das z.B. nicht, weil wie in einer Blackbox der Weg zur Einordnung unbekannt ist. Wir haben mit Entscheidungsbäumen (Decision Trees), Support Vector Machines (SVM) und Logistischer Regression gearbeitet, weil sie erklärbare Modelle sind. Sogenannte Explainable AI (XAI) könnte sich lohnen auszuprobieren.
Es gibt eine weltweite Learning Analytics Community, die unter www.solaresearch.org erreichbar ist. Auf den jährlichen Tagungen treffen sich über 600 Aktive.
Sonstiges
Wir haben uns bewusst gegen ein Learning-Analytics-Dashboard im Lernmanagementsystem entschieden, das wie eine Pulsuhr jede Minute „Gesundheitsdaten zum Lernen“ sendet. E-Mails sind gezielter und werden persönlicher wahrgenommen. Dies war eine gute Entscheidung.
Methoden
Empfohlen
Nicht empfohlen
Kontakt
Das könnte Sie auch interessieren
Interprofessionelle Strukturen im Gesundheitswesen
Das Projekt - VISION - Vernetzte Interprofessionelle Strukturen und Innovative Organisation für ein modernes Nachhaltiges Gesundheitswesen zielt darauf ab, moderne, innovative und effiziente Studieninhalte, -formate und -strukturen in den fünf primärqualifizierenden Bachelorstudiengängen Pflege, Ergotherapie, Physiotherapie, Hebammenwissenschaft/Midwifery und Rettungswesen und Notfallversorgung im Fachbereich Gesundheit und Pflege der Ernst-Abbe-Hochschule Jena zu implementieren, die den dynamischen Rahmenbedingungen in Studium und Berufspraxis im Gesundheitswesen gerecht werden. Im Fokus stehen (1) die Etablierung eines ganzheitlichen interprofessionellen Lehrkonzepts zur Stärkung der Zusammenarbeit zwischen den verschiedenen Gesundheitsberufen, (2) die systematische Integration simulationsbasierter Trainingsszenarien im SkillsLab inklusive der unterstützenden Digitalisierung von Lernprozessen, (3) die Entwicklung modularer Prüfungsbausteine für SkillsLab-Prüfungen, (4) die inhaltliche und organisatorische Neugestaltung der Praxisbegleitung von Studierenden, (5) die Einführung eines neuen Masterstudiengangs zur Erweiterung der akademischen Qualifizierungswege und (6) die Qualifizierung und Bindung akademischen Lehrpersonals. Durch die geplanten Maßnahmen leistet das Projekt einen entscheidenden Beitrag zur strukturellen Weiterentwicklung des Fachbereichs Gesundheit und Pflege sowie zur Disziplinenentwicklung der Gesundheitsberufe.
Projekt anzeigen
Konzeption und Technologieauswahl
Die vorherige E-Learning-Website der Universität Jena bündelte Angebote verschiedener uni-interner Einrichtungen zur Unterstützung digitaler Lehre und digitalen Lernens, z. B. Tools und Medientechnik, Qualifizierungen oder Austauschformate. Aufgrund des wachsenden Angebotsportfolios wurde die Website grundlegend überarbeitet, um die hohe Anzahl und Vielfalt der Angebote nutzungsgerecht und übersichtlich darzustellen. Die Konzeption und Auswahl einer passenden Technologie basierte auf einer ausführlichen Zielgruppenanalyse, um die tatsächlichen Bedarfe der Lehrenden, Studierenden und Supporteinrichtungen zu adressieren und in technische Funktionalitäten zu überführen. In der Anforderungsanalyse wurden verschiedene Systeme analysiert und getestet. Parallel wurde die Informationsarchitektur mit neuen Navigationswegen, Inhaltsstrukturen und Kategorien erarbeitet. Diese Daten flossen in die Auswahl einer technischen Lösung für die Weiterentwicklung des Portals ein.
Maßnahme anzeigen
Räume der Hochschullehre
Wie gestalten wir die Hochschullehre der Zukunft? Welche Räume fördern effektives Lernen und kreative Entfaltung? Die Beiträger*innen zeigen aus interdisziplinärer Perspektive die Wechselwirkungen zwischen Raum, Technologie und Lehrmethoden. Von hybriden Lernumgebungen, die Studierende in ihrer Selbstorganisation unterstützen, bis zu digitalen Prüfungsformaten im Nachhaltigkeitskontext verdeutlichen sie, wie universitäre Räume als Katalysatoren für kritisches Denken und kreatives Lernen fungieren. Das Fazit: Interaktive Formate und neue didaktische Konzepte transformieren die Lehre und revolutionieren das Lernen.
Publikation anzeigen