Publikation Bühne
Zum Projekt

Too Positive to Be True? Sentiment Analysis of AI-Guided vs. Human-Led Debriefings in Virtual Reality Counseling Training

Publikation
Erscheinungsjahr2026
VerlagIEEE Xplore
Autor:innen & Herausgeber:innenMitwirkende anzeigen
Kurzbeschreibung

Debriefings are a crucial component of simulation-based learning, as they allow participants to critically reflect on their performance and translate experiences into knowledge. With the rise of artificial intelligence (AI), large language models (LLMs) are increasingly being explored as conversational agents in debriefings. However, concerns have been raised that AI debriefers may display sycophantic tendencies, characterized by overly positive sentiment and a lack of critical feedback. Such tendencies could affect learners' self-evaluations. In this study, 45 university students participated in a virtual reality (VR) counseling simulation, followed by either an AI-guided or a human-led debriefing. Sentiment analysis of 958 debriefing statements (350 AI, 608 human) was conducted using a German sentiment classification model. Results show that AI debriefers expressed significantly more positive sentiment and substantially fewer negative statements compared to human debriefers, corroborating the assumption of a sycophancy effect. However, sentiment was not found to predict self-rated counseling competence or self-efficacy. While AI debriefers provide consistent encouragement, their lack of critical feedback raises questions about their long-term effectiveness for professional skill development. Future research should explore hybrid approaches that combine AI scalability with human expertise in constructive reflection.

Auf einen Blick

Autor:innen & Herausgeber:innen

Autor:innen
Kristian Träg
Miriam Mulders
Dominik Evangelou

Das könnte Sie auch interessieren

Projekt 101901
Projekt

Neurologischer Okulomotoriksimulator

Die klinische Untersuchung der Pupillo- und Okulomotorik ist als zentraler Bestandteil der klinisch-neurologischen Diagnostik ein wichtiges Element der medizinischen Ausbildung. Als wichtige ärztliche Untersuchungstechnik ist sie in der Notfallversorgung von Patient:innen mit z.B. Koma, Schwindel oder Doppelbildern unerlässlich. Doch obwohl die Untersuchung technisch einfach ist, stellt die korrekte Erkennung und Zuordnung der Befunde für Studierende eine große Herausforderung dar und muss geübt werden. Da die Symptome nicht willentlich "vorgespielt" werden können und den Studierenden nur eine begrenzte Zahl geeigneter Patient:Innen gegenübersteht, stellt eine computergestützte Simulation hier eine vielversprechende didaktische Chance dar. In dem hier vorgestellten Projekt wird eine interaktive, digitale Simulation der Pupillo- und Okulomotorikuntersuchung entwickelt, die von Studierenden der Medizin deutschlandweit genutzt werden kann. Die Simulation wird entwickelt, ihre Anwendung pilotiert und der mit ihrer Nutzung verbundene Lernerfolg evaluiert, um sie anschließend frei zugänglich zu machen.

Projekt anzeigen
Maßnahme 100042
Maßnahme

Qualifizierungsbedarfe erkennen und unterstützen

Um die Kompetenzen von Teilprojektbeteiligten gezielt weiterzuentwickeln, werden Qualifizierungsangebote konzipiert. Diese fokussieren auf mediendidaktische sowie medientechnologische Inhalte zur Stärkung der digitalen Expertise. Ziel ist die systematische Erweiterung des Know-hows der Teilprojektbeteiligten für eine erfolgreiche Zusammenarbeit.

Maßnahme anzeigen
Publikation 100126

Forschung (hybrid) lehren und forschendes Lernen auf der Basis von „Students as Partners“ im Studium Soziale Arbeit – eine datensortentriangulierende Projektevaluation.

[Kurzbeschreibung folgt (Anm. StIL)]

Publikation anzeigen