KI-basiertes Feedback für Freitexte und Diagramme
In diesem Projekt, welches auf dem Easy-Tutor Projekt von Freiraum 2022 aufbaut, soll unter Benutzung von Prompting-Technologien auf bekannten Sprachmodellen wie ChatGPT oder Mistral sowie eigenen KI-Modellen ein bestehendes intelligentes Tutorensystem (ITS) für SQL-, Excel- und Mathe-Aufgaben um die Feedback-Generierung für weitere Aufgabenarten erweitert werden: Textaufgaben mit wenigen Lösungsvarianten (z.B. Modellierungsaufgaben) und Freitextaufgaben sowie die Überprüfung von Seminar- und Abschlussarbeiten.Im ersten Fall erfolgt zuerst eine Harmonisierung und dann eine (semi)-automatische Klassifikation der Lösungsstrategien durch das ITS. D.h., wenn das ITS eine neue Lösungsstrategie entdeckt, reicht es diese zur Korrektur an Dozierende weiter. So lernt das ITS, neue Strategien zu bewerten. Mit der Zeit kann es dann immer selbstständiger den Studierenden Feedback geben, auch wenn sich die konkreten Formulierungen jedes Mal unterscheiden. Dieser Ansatz ist eine Verallgemeinerung des Ansatzes zur selbstlernenden Feedback-Generierung für SQL-Aufgaben [arXiv:2311.10730].Bei Seminar- und Abschlussarbeiten überprüft das ITS neben Formalkriterien (wie Zitierweise) die Struktur und den Aufbau der Arbeit (Ist eine Forschungsfrage erkennbar? Bauen die vom Sprachmodell erkannten Aussagen auf vorherigen Teilen der Arbeit auf? Gibt es ein Fazit, welches zur Forschungsfrage passt?). Dozierende können Feedback geben, nachdem viele strukturelle und formale Fehler schon beseitigt wurden.
Auf einen Blick
Kontakt
Das könnte Sie auch interessieren
Visualisierung angeborener Herzfehler
Dieses Projekt hat das Ziel, die Anatomie und Funktion des Herz-Kreislauf-Systems mittels erweiterter Realität (XR) für den Einsatz in der curricularen Lehre der Medizin zu visualisieren. Insbesondere angeborene Herzfehler weisen häufig eine komplexe dreidimensionale Anatomie auf, die sich aus verschiedenen Fehlbildungen zusammensetzt. Das Zusammenspiel dieser Fehlbildungen hat verschiedene pathophysiologische Folgen, deren Darstellung essentiell ist für die Aneignung eines umfassenden Verständnisses. Kommerzielle XR-Programme ermöglichen keine funktionelle Darstellung von Blutströmungen und Pumpmechanik, wesentliche Aspekte moderner MRT-Herzbildgebung. In Zusammenarbeit mit dem Institut für immersive Medien der Fachhochschule Kiel beabsichtigen wir die Entwicklung einer App, die anhand funktioneller magnetresonanztomographische (MRT)-Bilddaten Blutströmungen und Pumpmechanik mittels spezieller XR-Brillen visualisieren kann und Interaktionen ermöglicht (Bewegen, Drehen, dynamische Erzeugung von Schnittebenen, Beschriftung, Markierung, Ein- und Ausblenden von Elementen). Der Einsatz solcher Visualisierungs- und Interaktionstechniken in der Lehre hat das Potential, die Strömungsdynamik und Pumpmechanik von Herzanatomien in ihrer räumlichen Komplexität für Studierende begreifbar zu machen und kann die Entwicklung neuer didaktischer Konzepte fördern.
Projekt anzeigen
Entwicklung einer CRUD-API für die Software Madek
Um die Software Madek zu modularisieren und zukunftssicher zu machen, hat das ORC die Entwicklung einer CRUD-API in Auftrag gegeben. Eine CRUD-API ermöglicht die Anbindung von Madek an andere Systeme und Applikationen. Mit der bis dahin vorhandenen API und aufgrund des teilweise monolithischen Codes der Software waren Lesezugriffe nur mit hohem Aufwand, Schreibzugriffe gar nicht möglich.
Maßnahme anzeigen
Too Positive to Be True? Sentiment Analysis of AI-Guided vs. Human-Led Debriefings in Virtual Reality Counseling Training
Debriefings are a crucial component of simulation-based learning, as they allow participants to critically reflect on their performance and translate experiences into knowledge. With the rise of artificial intelligence (AI), large language models (LLMs) are increasingly being explored as conversational agents in debriefings. However, concerns have been raised that AI debriefers may display sycophantic tendencies, characterized by overly positive sentiment and a lack of critical feedback. Such tendencies could affect learners' self-evaluations. In this study, 45 university students participated in a virtual reality (VR) counseling simulation, followed by either an AI-guided or a human-led debriefing. Sentiment analysis of 958 debriefing statements (350 AI, 608 human) was conducted using a German sentiment classification model. Results show that AI debriefers expressed significantly more positive sentiment and substantially fewer negative statements compared to human debriefers, corroborating the assumption of a sycophancy effect. However, sentiment was not found to predict self-rated counseling competence or self-efficacy. While AI debriefers provide consistent encouragement, their lack of critical feedback raises questions about their long-term effectiveness for professional skill development. Future research should explore hybrid approaches that combine AI scalability with human expertise in constructive reflection.
Publikation anzeigen