Tio – interaktiver Chatbot zur Prüfungsgestaltung
Im Arbeitspaket „Digitale Prüfungssysteme“ zeigte sich die ausgeprägte Heterogenität der neun Verbundhochschulen als zentrale Herausforderung. Strukturen, Strategien und Prozesse unterschieden sich teils erheblich, insbesondere im Bereich der Prüfungsformen. Zwar waren diese inhaltlich häufig vergleichbar, wurden jedoch in den jeweiligen APO/ASPO unterschiedlich benannt und definiert. Zusätzlich standen nicht an allen Hochschulen dieselben digitalen Prüfungssysteme zur Verfügung. Diese Unterschiede erschwerten die Entwicklung einheitlicher, klar strukturierter Use Cases für Lehrende erheblich. Nach intensiven Abstimmungen wurde entschieden, alle Anwendungsfälle in einem regelbasierten Chatbot abzubilden und über die Projektwebseite bereitzustellen. Dieser Ansatz ermöglicht eine strukturierte Darstellung der vielfältigen digitalen Prüfungslandschaft. Der Chatbot Tio unterstützt Lehrende bei der Auswahl geeigneter Prüfungsformate und erleichtert den Zugang zu bewährten Praxisbeispielen.
Kategorien
Beschreibung
Herausforderung
Die Maßnahme adressiert die Herausforderung, digitale Prüfungen als selbstverständlichen Teil der Hochschulpraxis zu etablieren – mit hoher Akzeptanz und wachsender Vielfalt an Prüfungsformen und -formaten. Der interaktive Chatbot Tio unterstützt diesen Wandel durch einen strukturierten Entscheidungspfad, der zu geeigneten Use Cases führt. Diese sind teils durch Good Practices veranschaulicht.
Herangehensweise
Der wichtigste Ansatzpunkt war in diesem Zusammenhang die enge Kooperation nicht nur über Hochschulgrenzen, sondern auch über Projektarbeitspakete hinweg. Für die Erstellung des regelbasierten Chatbots Tio war es notwendig sämtliche im Projekt gesammelten Erfahrungen zu verknüpfen. Angefangen von den diversen entstandenen und dokumentierten Good Practices der Lehrenden, über die entwickelten Konzepte im Feld der Kompetenzorientierung, zu den Erfahrungen im Einsatz mit den primären digitalen Prüfungssystemen im Projekt (Moodle, EXaHM und Mahara).
Zusammenhang
Initial wurde der Chatbot vollumfänglich von Projektmitarbeitenden getestet. In der zweiten Testphase wurden Lehrende in den Review-Prozess eng mit eingebunden. Der Chatbot wurde anschießend in mehreren Feedbackschleifen schrittweise optimiert, sodass alle Zielgruppen einen Nutzen im Einsatz von Tio feststellen konnten. Der Chatbot wurde auf der Projekt-Webseite eingebunden und befindet sich bis zum Projektende in der Pilotphase, in der er weiterhin angepasst wird.
Voraussetzung
· Erkenntnisse aus den bisherigen Projektjahren bildeten die zentrale Grundlage.
· Zuordnung aller im Projekt verwendeten Prüfungssysteme zu den jeweiligen Prüfungsformen.
· Verständigung auf eine einheitliche Terminologie und deren Verankerung im Chatbot Tio.
· Definition und Formulierung der Anwendungsfälle und Entscheidungspfade für die relevanten Systeme (Moodle, EXaHM, Mahara).
· Intensive Prüfung der technischen Umsetzbarkeit eines regelbasierten Chatbots im Vorfeld.
· Abklärung von Datenschutzfragen im Vorfeld.
Eignung
Der Chatbot befindet sich weiterhin im Pilotbetrieb. Das bisher erhaltene Feedback von Lehrenden der Verbundhochschulen fiel durchweg positiv aus. Tio wird als Unterstützung zur Konzeption und Gestaltung einer digitalen Prüfung wahrgenommen. Das Feedback wurde über den schriftliche Feedbackbogen sowie strukturierte Interviews mit Lehrenden eingeholt und ausgewertet.
Zudem wird Tio auf der Projektabschlusskonferenz prominent ausgestellt und präsentiert werden. Hierüber können wertvolle Erkenntnisse auch von Projektexternen gesammelt werden, um den Chatbot zukünftig weiter zu optimieren.
Vorgehen/Schritte
Vorbereitungsphase ( 3-4 Wochen)
• Verschaffen Sie sich zunächst einen Überblick über die Vielfalt an Prüfungsformen und deren digitale Umsetzungsmöglichkeiten an Ihrer Hochschule bzw. Fakultät..
• Definieren Sie die Zielgruppen für den Einsatz des regelbasierten Chatbots (z. B. Lehrende, Mitarbeitende in Supporteinrichtungen)..
• Sammeln Sie sämtliche Informationen zu digitalen Prüfungssystemen, die in der Prüfungsphase eingesetzt werden dürfen.
• Definieren Sie ein Glossar für sämtliche relevanten Begriffe bzgl. digitaler Prüfungen. Dies können Sie als Hinweise im Chatbot verlinken. Nicht alle Begriffe sind allen Personen geläufig.
• Wählen und testen Sie geeignete Software: Prüfen Sie technische Umsetzbarkeit (Dienstleister oder Eigenentwicklung), Benutzerfreundlichkeit, Zugriffsrechte sowie Datenschutz (z. B. Art und Umfang der gespeicherten Daten).
• Definieren und beschreiben Sie Use Cases.
• Entwickeln und visualisieren Sie Entscheidungspfade (z. B. in Miro).
• Führen Sie umfangreiche Tests durch.
• Erarbeiten Sie ein gestalterisches Konzept.
Umsetzungsphase und Veröffentlichung (6-8 Wochen)
• Setzen Sie den Entscheidungsbaum in Typebot um.
• Gestalten Sie die Use Cases.
• Testen Sie den Chatbot und integrieren Sie Feedback.
• Erstellen Sie eine Einverständniserklärung.
• Entwickeln Sie ein Löschkonzept für gespeicherte Daten.
• Überlegen Sie, wie der Chatbot sichtbar und leicht zugänglich platziert werden kann (z. B. auf der Hochschulwebseite oder im Intranet).
• Veröffentlichen Sie den Typebot.
Fortlaufend nach Veröffentlichung
• Benennen Sie verantwortliche Personen für die Pflege und Weiterentwicklung des Chatbots.
• Diese Personen machen das Tool innerhalb der Organisation bekannt, nehmen Rückmeldungen und Änderungswünsche auf und prüfen deren Umsetzbarkeit.
Hinweise
Effekte
Erwartet:
• Eine strukturierte Formulierung und Darstellung nicht nur der konkreten Anwendungsfälle, sondern insbesondere auch die Darstellung des Entscheidungsweges, der zu den Anwendungsfällen führt, ist sehr zeitintensiv und benötigt einen Austausch mit Personen diverser Disziplinen.
• Reduzierung des Supportaufwands bei der Erstberatung der Lehrenden durch die vorherige Informationseinholung der relevanten Informationen (Prüfungssysteme, Umsetzungsmöglichkeiten, Ka-pazitäten) über den Chatbot.
Unerwartet:
• Datenschutz: frühzeitige Kontaktaufnahme mit Datenschutzbeauftragten der Hochschule suchen, weil während der Nutzung der Software personenbezogene Daten und Klickwege gespeichert werden. In diesem Fall wäre es zu empfehlen „Löschstrategien“ zu entwickeln und eine Datenschutzabfrage zu integrieren.
• Um die Benutzerfreundlichkeit des Chatbots nicht zu verschlechtern, können nicht alle Szenarien eingebunden werden.
Learnings
• Es ist elementar wichtig die konkreten Zielgruppen des Endprodukts (Chatbots) bereits im Entwicklungsprozess intensiv mit einzubinden. Dies bezieht sich in unserem Fall auf Lehrende, aber auch Mitarbeitende in Supporteinrichtungen.
• Weniger ist manchmal mehr. Eine übersichtliche und nicht zu tiefgreifende Struktur der Entscheidungsebenen im Chatbot ist für die Erfahrung der Nutzenden wichtig. Daher ist es ratsam, zu Beginn die häufigsten Prüfungsformen abzubilden und nicht alle Ausnahmefälle zu integrieren.
Empfehlung
Das Vorgehen hat sich in unserem Projekt bewährt. Für andere Projekte wäre zu empfehlen, den Chatbot bereits in einer früheren Projektphase zu etablieren, sodass im weiteren Verlauf noch eine längere Optimierungs- und Anpassungsphase zur Verfügung steht und noch intensiver Feedback von Nutzenden implementiert werden kann.
Tipps
• Definieren eines Glossars für sämtliche relevanten Begriffe bzgl. digitaler Prüfungen.
• Aufzeichnen der Ebenen des regelbasierten Chatbots. Hier wird bildlich schnell bewusst, ob Entscheidungsebenen vergessen wurden. Man merkt dadurch auch, ob die Entscheidungstiefe evtl. etwas zu verschachtelt bzw. kleinteilig aufgebaut ist.
• Frühzeitig überlegen, wie der Chatbot langfristig innerhalb der Organisation verankern werden soll, inklusive einer konkreten Ansprechperson.
Methoden
Empfohlen
Kontakt
Das könnte Sie auch interessieren
Hybridlabor "Mein Luftfahrtsystem"
Der Bachelorstudiengang Luft- und Raumfahrttechnik (LRT) ist mit ca. 350 Studierenden der größte Studiengang der Universität Stuttgart und der größte LRT-Studiengang deutschlandweit. Luftfahrtsysteme 1 und 2 sind Pflichtveranstaltungen in denen Studierende die Grundlagen von Digitaltechnik (Prozessor, Speicher, Bussysteme, Echtzeit, Redundanz-Mechanismen) zur Umsetzung von Flugzeugfunktionen lernen. Das Ziel ist, das Hybridlabor Mein Luftfahrtsystem aufzubauen. Es wird eine virtuelle Entwicklungs- und Lernumgebung für die Studierenden aufgebaut, in der jeder Studierende Zugang zu einem eigenen virtuellen Arbeitsplatz bekommt. Dieser ist mit der realen Entwicklungssoftware MPLAB, einem Simulator für Mikrokontroller und einem Zugang zu einem realen Mikrokontroller-Entwicklungsboard ausgestattet und ist sofort einsatzbereit. Weiterhin soll die Möglichkeit geschaffen werden, jederzeit die Übungsaufgaben oder eigene Programme auf einem realen Mikrokontroller und dem Nachbau einer Nick-Steuerung ausprobieren und beobachten zu können. Es werden Laboraufbauten des Höhenrudersystem mit Mikrokontroller und miniaturisiertem Höhenruder erstellt und in das Hybridlabor integriert. Die Studierenden können diese mit ihrer Software direkt aus dem virtuellen Arbeitsplatz bespielen und die Reaktion beobachten. Dies kann vor Ort geschehen (für kleine Gruppen) oder per Fernzugriff direkt vom virtuellen Arbeitsplatz unter Einsatz einer Webcam.
Projekt anzeigen
Hochschulweiter Tag der digitalen Lehre
Die zentrale Herausforderung, die durch die Einführung des jährlichen Tags der digitalen Lehre angegangen wurde, ist, Lehrende möglichst aus allen Fakultäten über aktuelle Entwicklungen sowie Informations- und Beratungsangebote zu informieren, die sie zur Umsetzung hochwertiger digitaler und digital angereicherter Lehre an der Universität Augsburg nutzen können. Der Tag der digitalen Lehre richtet sich an die gesamte Hochschulöffentlichkeit und besteht aus unterschiedlichen Formaten (u.a. wissenschaftlicher Keynotevortrag, Informations- und Demonstrationsstände, interaktive Workshops, Verleihung von Preisen für digitale Lehre).
Maßnahme anzeigen