Too Positive to Be True? Sentiment Analysis of AI-Guided vs. Human-Led Debriefings in Virtual Reality Counseling Training
Debriefings are a crucial component of simulation-based learning, as they allow participants to critically reflect on their performance and translate experiences into knowledge. With the rise of artificial intelligence (AI), large language models (LLMs) are increasingly being explored as conversational agents in debriefings. However, concerns have been raised that AI debriefers may display sycophantic tendencies, characterized by overly positive sentiment and a lack of critical feedback. Such tendencies could affect learners' self-evaluations. In this study, 45 university students participated in a virtual reality (VR) counseling simulation, followed by either an AI-guided or a human-led debriefing. Sentiment analysis of 958 debriefing statements (350 AI, 608 human) was conducted using a German sentiment classification model. Results show that AI debriefers expressed significantly more positive sentiment and substantially fewer negative statements compared to human debriefers, corroborating the assumption of a sycophancy effect. However, sentiment was not found to predict self-rated counseling competence or self-efficacy. While AI debriefers provide consistent encouragement, their lack of critical feedback raises questions about their long-term effectiveness for professional skill development. Future research should explore hybrid approaches that combine AI scalability with human expertise in constructive reflection.
Auf einen Blick
Autor:innen & Herausgeber:innen
Das könnte Sie auch interessieren
(Selbst)wirksam in der OKJA
Die Covid-19-Pandemie gilt als tiefer Einschnitt in die natu?rliche Entwicklungsphase von Jugendlichen. Studien untermauern, dass diese nicht-normative Krise über die Pandemie hinaus zu einer erhöhten Belastung gefu?hrt hat (z.B. Ravens-Sieberer et al., 2023). Der erhöhte Hilfebedarf spiegelt sich jedoch nicht in der Hilfesuche wider. Zur Schließung dieser Lücke kommt dem niedrigschwelligen Beratungsansatz eine besondere Bedeutung zu, um Jugendliche aus allen sozialen Schichten auch in belasteten Sozialräumen zu erreichen. Die Antragstellerin plant ein interdisziplinäres und partizipatives Lehrforschungsprojekt. Im Rahmen der Lehrveranstaltung mit hohem Praxisanteil sollen Studierende der Sozialen Arbeit in Zusammenarbeit mit Fachkräften aus der Praxis und zwei im Rahmen des Projektes angestellten wissenschaftlichen Mitarbeiter*innen eine bisher fu?r Schulen konzeptionierte Kurzmaßnahme zur Stärkung der allgemeinen Selbstwirksamkeit in den Kontext der offenen Kinder- und Jugendarbeit anpassen, implementieren und evaluieren. Die Studierenden sollen so nicht nur theoretisch, sondern auch in der Praxis für besondere Bedarfe ihrer Klient*innen sowie die wissenschaftliche Begleitung von Interventionen sensibilisiert werden. Über den Theorie-Praxis-Transfer werden die Fachlichkeit und Vernetzung der Studierenden zu künftigen Arbeitgeber*innen im Besonderen gefördert. Die aus dem Seminar gewonnen Erkenntnisse werden für Interessent*innen in Form eines Manuals veröffentlicht.
Projekt anzeigen
Wirkungsorientierte Projektumsetzung
Das Konzept zur wirkungsorientierten Projektumsetzung beschreibt, wie Projekte so geplant, umgesetzt und ausgewertet werden, dass ihre tatsächlichen Wirkungen messbar sind. Es stellt die Schritte der Wirkungsorientierung, Wirkungsplanung, Evaluation und Monitoring sowie Maßnahmen zur Verbesserung der Projektwirkung vor. Da im Projektalltag Ziele oft nicht messbar formuliert werden, sodass nicht klar wird, mit welchen Maßnahmen welche Wirkungen erzielt werden sollen, bietet dieses Konzept eine erste Orientierung für Projektleitungen und QM-/Evaluationsverantwortliche.
Maßnahme anzeigen
Mechanik mit nichtlinearen finiten Elementen - Digitale Lehr- und Lernmethoden
[Kurzbeschreibung folgt (Anm. StIL)]
Publikation anzeigen