Prüfungsrahmen LOCAM-AI: Prüfen nach der Funktion von KI
KI-Detektoren sind unzuverlässig und erzeugen eine Kultur des Misstrauens. LOCAM-AI ersetzt die Frage „Wurde KI benutzt?“ durch die Frage „Welche Funktion hat KI in diesem Prüfungselement?“ und ordnet Prüfungselemente in drei Typen: KI kann unterstützen, KI erfordert angepasste Kriterien, oder das Format muss neu gedacht werden.
Kategorien
Beschreibung
Herausforderung
Bei schriftlichen Hausarbeiten und Berichten ist die Eigenleistung nicht mehr sicher erkennbar. Eigene Studien im Projekt zeigten zudem, dass Sprachmodelle identische Leistungen inkonsistent bewerten. Weder KI-Detektion noch KI-Bewertung lösen das Problem.
Herangehensweise
LOCAM-AI zerlegt eine Prüfung in ihre Elemente und fragt für jedes Element, welche Funktion KI dort haben kann. Die Elemente werden typisiert: Typ A hoher Unterstützungsnutzen bei geringem Validitätsrisiko, KI darf unterstützen; Typ B Unterstützungsnutzen mit deutlichem Validitätsrisiko, Prüfungsdesign und Bewertungskriterien werden angepasst; Typ C hoher Transformationsdruck, das Format wird neu gedacht. Formative KI-Unterstützung wird klar von der summativen Leistungsfeststellung getrennt; Prozesssichtbarkeit (KI-Nutzungsdokumentation, Reflexionsanteil, mündlich-performative Elemente) ersetzt die Detektion.
Zusammenhang
Entwickelt im Projekt KI4Edu an der Universität Duisburg-Essen gemeinsam mit dem Lehr-Lernrahmen (Input, Co-Design, Präsenz) und erprobt in den eigenen Modulen der Lehrkräftebildung Bautechnik. Aufwand für Nachnutzende: Analyse eines Moduls mit dem Raster geschätzt ein Arbeitstag, Anpassung der Prüfung ein bis drei Arbeitstage.
Voraussetzung
Kompetenzorientiert formulierte Lernziele (Constructive Alignment). Bei Formatänderungen die Abstimmung mit Prüfungsausschuss und Prüfungsordnung; prüfungsrechtliche Fragen früh mit der Hochschulverwaltung klären.
Eignung
Das Raster ist fachunabhängig und eignet sich besonders für Module mit schriftlichen Prüfungsleistungen. Es macht Diskussionen über KI in Prüfungen sachlich, weil es nicht pauschal erlaubt oder verbietet, sondern Element für Element entscheidet. Es baut auf dem Modell LOCAM (Learning Outcomes & Competency Assessment Model, Karl 2011) auf.
Vorgehen/Schritte
Prüfung in ihre Elemente zerlegen, entlang des Modells LOCAM (Learning Outcomes & Competency Assessment Model, Karl 2011): formaler Rahmen, Durchführung, Inhaltsdefinition, Bewertung, Evaluation.
Für jedes Element bestimmen, welche Funktion KI dort haben kann.
Elemente typisieren: Typ A (KI darf unterstützen), Typ B (Prüfungsdesign und Bewertungskriterien anpassen), Typ C (Format neu denken).
Formative KI-Unterstützung klar von der summativen Leistungsfeststellung trennen.
Prozesssichtbarkeit schaffen: KI-Nutzungsdokumentation, Reflexionsanteil, mündlich-performative Elemente.
Angepasste Prüfung mit Prüfungsausschuss und Prüfungsordnung abgleichen und den Studierenden zu Semesterbeginn transparent machen.
Hinweise
Effekte
Erprobt in den eigenen Modulen der Lehrkräftebildung Bautechnik. Das Raster macht Diskussionen über KI in Prüfungen sachlich, weil es nicht pauschal erlaubt oder verbietet, sondern Element für Element entscheidet. LOCAM-AI ist Bestandteil des offenen Kurses „Künstliche Intelligenz in der Lehre“ auf baukompetenz.digital und des Workshops im Zertifikat Didaktik IDEAL der UDE.
Learnings
Verbote sind weder durchsetzbar noch lernförderlich. Am meisten verändert sich nicht die Prüfungsform, sondern das, was bewertet wird: nicht nur das Ergebnis, sondern auch Begründung, Prüfung und Risikobewusstsein im Umgang mit KI.
Empfehlung
Mit einem einzelnen Modul beginnen und das Raster gemeinsam mit den Prüfenden durchgehen, statt eine ganze Prüfungsordnung auf einmal umzustellen. Prüfungsrechtliche Fragen früh mit der Hochschulverwaltung klären.
Tipps
Ein kurzes mündliches Element zu einer schriftlichen Arbeit (etwa zehn Minuten Rückfragen zum Vorgehen) erhöht die Validität deutlich und ist mit wenig Aufwand umzusetzen.
Sonstiges
Methoden: LOCAM nach Karl (2011), Constructive Alignment, 3-P-Modell (Produkt, Prozess, Person), Future-Skills-Bezug. Ausführlich beschrieben in report fachdidaktik bau:technik Nr. 7: https://doi.org/10.17185/duepublico/85421
Kontakt
Das könnte Sie auch interessieren
Digitales Mentoring
Die Fachhochschule Dortmund, die Hochschule Bochum und die Westfälische Hochschule möchten mit der Projektidee Digitales Mentoring gemeinsam ein neues System der Lehr-/Lernbegleitung als zeitgemäßen Beitrag zur Qualitätssicherung und -entwicklung schaffen. Aus Sicht der drei Hochschulen eignet sich das System des Digitalen Mentorings, um gleichzeitig verschiedenen aktuellen Herausforderungen der Lehre und des Lernens zu begegnen, wie z.B. der Heterogenität ihrer Studierendenschaft, der Zunahme der Studiendauer aber auch der Veränderung der Lehr-/Lernsituation durch den deutlich gestiegenen Einsatz von Elementen der digitalen Lehre. Dazu möchten sie mit Hilfe von Learning Analytics und Künstlicher Intelligenz (KI) die Potenziale der Digitalisierung nutzen, um ein System zur Erfassung, Reflexion und Unterstützung von Lernprozessen aufzubauen. Gemeinsam mit den Zielgruppen Studierende, Lehrende und Serviceeinrichtungen soll unter konsequenter Beachtung des Datenschutzes in einem evolutionären Entwicklungsprozess ein attraktives und intuitives, digital unterstütztes Mentoringsystem konzipiert und etabliert werden.
Projekt anzeigen
Roundtable OER: Barrierefreiheit, Diversity
OER eignet sich zur Dissemination der Teilprojekt-Resultate sehr gut. Für den Fokus auf Chancengerechtigkeit bot sich zum Roll-Out ein Roundtable an. Zentral war dabei die Beteiligung der Teilprojekte, die vorab Fragen einreichen konnten. Zu Veranstaltungsbeginn zeigten wir unsere Präsentation „Chancengerechtigkeit“ mit Ergänzung zu OER. Anschließend wurden die eingereichten Fragen in Gruppen diskutiert und die Ergebnisse im Plenum vorgestellt und kommentiert.
Maßnahme anzeigen
Welche Chancen bietet der Einsatz von interaktiven Unterrichtsvideos in der Lehrer:innenbildung aus Studierendensicht?
[Kurzbeschreibung folgt (Anm. StIL)]
Publikation anzeigen