Tio – interaktiver Chatbot zur Prüfungsgestaltung

Die Maßnahme adressiert die Herausforderung, digitale Prüfungen als selbstverständlichen Teil der Hochschulpraxis zu etablieren – mit hoher Akzeptanz und wachsender Vielfalt an Prüfungsformen und -formaten. Der interaktive Chatbot Tio unterstützt diesen Wandel durch einen strukturierten Entscheidungspfad, der zu geeigneten Use Cases führt. Diese sind teils durch Good Practices veranschaulicht.

Der wichtigste Ansatzpunkt war in diesem Zusammenhang die enge Kooperation nicht nur über Hochschulgrenzen, sondern auch über Projektarbeitspakete hinweg. Für die Erstellung des regelbasierten Chatbots Tio war es notwendig sämtliche im Projekt gesammelten Erfahrungen zu verknüpfen. Angefangen von den diversen entstandenen und dokumentierten Good Practices der Lehrenden, über die entwickelten Konzepte im Feld der Kompetenzorientierung, zu den Erfahrungen im Einsatz mit den primären digitalen Prüfungssystemen im Projekt (Moodle, EXaHM und Mahara).

Initial wurde der Chatbot vollumfänglich von Projektmitarbeitenden getestet. In der zweiten Testphase wurden Lehrende in den Review-Prozess eng mit eingebunden. Der Chatbot wurde anschießend in mehreren Feedbackschleifen schrittweise optimiert, sodass alle Zielgruppen einen Nutzen im Einsatz von Tio feststellen konnten. Der Chatbot wurde auf der Projekt-Webseite eingebunden und befindet sich bis zum Projektende in der Pilotphase, in der er weiterhin angepasst wird.

· Erkenntnisse aus den bisherigen Projektjahren bildeten die zentrale Grundlage.

· Zuordnung aller im Projekt verwendeten Prüfungssysteme zu den jeweiligen Prüfungsformen.

· Verständigung auf eine einheitliche Terminologie und deren Verankerung im Chatbot Tio.

· Definition und Formulierung der Anwendungsfälle und Entscheidungspfade für die relevanten Systeme (Moodle, EXaHM, Mahara).

· Intensive Prüfung der technischen Umsetzbarkeit eines regelbasierten Chatbots im Vorfeld.

· Abklärung von Datenschutzfragen im Vorfeld.

Der Chatbot befindet sich weiterhin im Pilotbetrieb. Das bisher erhaltene Feedback von Lehrenden der Verbundhochschulen fiel durchweg positiv aus. Tio wird als Unterstützung zur Konzeption und Gestaltung einer digitalen Prüfung wahrgenommen. Das Feedback wurde über den schriftliche Feedbackbogen sowie strukturierte Interviews mit Lehrenden eingeholt und ausgewertet.

Zudem wird Tio auf der Projektabschlusskonferenz prominent ausgestellt und präsentiert werden. Hierüber können wertvolle Erkenntnisse auch von Projektexternen gesammelt werden, um den Chatbot zukünftig weiter zu optimieren.

Erwartet:

• Eine strukturierte Formulierung und Darstellung nicht nur der konkreten Anwendungsfälle, sondern insbesondere auch die Darstellung des Entscheidungsweges, der zu den Anwendungsfällen führt, ist sehr zeitintensiv und benötigt einen Austausch mit Personen diverser Disziplinen.

• Reduzierung des Supportaufwands bei der Erstberatung der Lehrenden durch die vorherige Informationseinholung der relevanten Informationen (Prüfungssysteme, Umsetzungsmöglichkeiten, Ka-pazitäten) über den Chatbot.

Unerwartet:

• Datenschutz: frühzeitige Kontaktaufnahme mit Datenschutzbeauftragten der Hochschule suchen, weil während der Nutzung der Software personenbezogene Daten und Klickwege gespeichert werden. In diesem Fall wäre es zu empfehlen „Löschstrategien“ zu entwickeln und eine Datenschutzabfrage zu integrieren.

• Um die Benutzerfreundlichkeit des Chatbots nicht zu verschlechtern, können nicht alle Szenarien eingebunden werden.

• Es ist elementar wichtig die konkreten Zielgruppen des Endprodukts (Chatbots) bereits im Entwicklungsprozess intensiv mit einzubinden. Dies bezieht sich in unserem Fall auf Lehrende, aber auch Mitarbeitende in Supporteinrichtungen.

• Weniger ist manchmal mehr. Eine übersichtliche und nicht zu tiefgreifende Struktur der Entscheidungsebenen im Chatbot ist für die Erfahrung der Nutzenden wichtig. Daher ist es ratsam, zu Beginn die häufigsten Prüfungsformen abzubilden und nicht alle Ausnahmefälle zu integrieren.

Das Vorgehen hat sich in unserem Projekt bewährt. Für andere Projekte wäre zu empfehlen, den Chatbot bereits in einer früheren Projektphase zu etablieren, sodass im weiteren Verlauf noch eine längere Optimierungs- und Anpassungsphase zur Verfügung steht und noch intensiver Feedback von Nutzenden implementiert werden kann.

• Definieren eines Glossars für sämtliche relevanten Begriffe bzgl. digitaler Prüfungen.

• Aufzeichnen der Ebenen des regelbasierten Chatbots. Hier wird bildlich schnell bewusst, ob Entscheidungsebenen vergessen wurden. Man merkt dadurch auch, ob die Entscheidungstiefe evtl. etwas zu verschachtelt bzw. kleinteilig aufgebaut ist.

• Frühzeitig überlegen, wie der Chatbot langfristig innerhalb der Organisation verankern werden soll, inklusive einer konkreten Ansprechperson.