Digitale Prüfungen evaluieren
Zur Optimierung der im Projekt ii.oo entwickelten, digitalen kompetenzorientierten Prüfungskonzepte (Good Practices) war es erforderlich, die Rückmeldungen der Studierenden zu den Prüfungen einzuholen, um Verbesserungspotentiale zu identifizieren und Studierenden faire und praxisnahe Prüfungsformate zu ermöglichen. Da es zum Start des Projekts 2021 noch keine Evaluationsinstrumente für digitale Prüfungen gab, weil das Thema durch Corona erst breit in die Hochschulen integriert wurde, ist ein eigenes Evaluationskonzept sowie ein Fragebogen entwickelt worden, der an verschiedenen Hochschulen und in verschiedenen Fachbereichen eingesetzt werden konnte.
Kategorien
Beschreibung
Herausforderung
Die im Projekt entwickelten digitalen Prüfungskonzepte sollten besonders im Hinblick auf Kompetenzorientierung, Didaktik, Prüfungsvorbereitung, Einsatz des Prüfungssystems, Akzeptanz und Fairness weiterentwickelt werden. Um Verbesserungspotentiale zu identifizieren, fehlte bisher jedoch die unmittelbare Nutzerperspektive der Studierenden.
Herangehensweise
Die Evaluation bietet eine direkte Nutzerperspektive, indem sie Einblicke in die unmittelbaren Erfahrungen der Studierenden mit der Prüfung – sowohl inhaltlich als auch technisch – gibt, was ohne Evaluation für Lehrende und Verwaltung schwer zugänglich wäre. Durch Rückmeldungen wird geklärt, ob Prüfungen fair, verständlich und stabil sind. Probleme wie technische Schwierigkeiten oder unklare Aufgaben können frühzeitig identifiziert und zukünftig behoben werden. Zudem fördert Feedback die prüfungsdidaktische Weiterentwicklung, indem es Hinweise liefert, ob Prüfungsformate kompetenzorientiert und lernförderlich sind. Schließlich stärkt die Berücksichtigung der Studierendenperspektive die Akzeptanz und das Vertrauen in digitale Prüfungen, da sich Studierende ernst genommen fühlen.
Da es 2021 noch keine anerkannten Evaluationsinstrumente für digitale Prüfungen gab, wurde im Rahmen des Projekts selbst ein Evaluationskonzept und Fragebogen entwickelt.
Zusammenhang
Im Rahmen des Verbundprojekts ii.oo wurde über acht Semester hinweg an allen neun Verbundhochschulen eine Evaluation für die im Projekt tätigen Lehrenden angeboten. Insgesamt wurden 191 Prüfungen erfolgreich evaluiert. Die Evaluation wurde zentral an der Hochschule München entwickelt, koordiniert und ausgewertet.
Voraussetzung
• Klären der Zuständigkeiten und Aufgabenbereiche
• Datenschutz/ Datenverarbeitungstätigkeit mit Datenschutzbeauftragten abklären
• DSGVO konformes Online-Tool zur Durchführung der Befragung und Programm zur Auswertung
• Mitwirkung der Projektkoordinatoren und Lehrenden
Eignung
• Aus den Evaluationsergebnissen konnten wertvolle Handlungsempfehlungen zur Prüfungsvorbereitung und -durchführung abgeleitet werden.
• Evaluationsergebnisse stellten in Beratungsgesprächen mir Lehrenden zur Prüfungsoptimierung eine gute Gesprächsgrundlage dar.
• Die Evaluationsergebnisse wurden in Semester Kick-Off Terminen vorgestellt, was zu mehr Austausch untereinander führte.
• Viele Lehrende haben bereits kurz nach der Evaluation aktiv die Ergebnisse angefragt und werden die Evaluation auch nach dem Projekt weiterführen, was auf eine hohe Akzeptanz von Seiten der Lehrenden hindeutet.
Vorgehen/Schritte
Im Folgenden beschreiben wir den Evaluationsprozess:
Planung & Vorbereitung (2-3 Wochen)
• Zentrale Planung
• Rücksprache mit Datenschutzbeauftragten
• Sammeln von Informationen (Lehrende, Prüfungsfächer, Prüfungssysteme, Prüfungstermin)
• Rücksprache mit Lehrenden, ob es zusätzliche Wünsche für Evaluationsfragen gibt
• Fragebogen anpassen
• Onlineumfrage generieren und Zugangsdaten versenden
Durchführung (unmittelbar nach der Prüfung)
• Lehrende geben die Zugangsdaten (Link oder QR Code) an Studierende weiter
• Ansprechperson steht bei Fragen oder Problemen zur Verfügung
Auswertung (2 Wochen)
• Zentrale Auswertung
• Erstellen individueller Auswertungsberichte für die einzelnen Prüfungen direkt über das Onlinetool Evasys, zwei Wochen nach der Prüfung
• Gesamtauswertung der geschlossenen Fragen über SPSS mittels deskriptiver Statistik
• Auswertung der offenen Fragen über MAXQDA mittels Inhaltsanalyse
Kommunikation der Ergebnisse
• Ergebnisse werden auf verschiedenen Ebenen aufbereitet und kommuniziert: Individuelle Auswertungsberichte und Feedbackgespräche, Kick-off Termine, Handlungsempfehlungen zur Prüfungsoptimierung als Handreichung im PDF Format
Hinweise
Effekte
• Ein eher unerwarteter Effekt war, dass die Evaluationsergebnisse zu lösungsorientierten Diskussionen und Austauschrunden unter den Lehrenden geführt haben
• Die Evaluationsergebnisse wurden wie erwartet besonders als Grundlage für die Feedbackgespräche als hilfreich empfunden
Learnings
Unsere Learnings beziehen sich vor allem auf die drei Punkte Organisation der Evaluation, Rücklaufquoten sowie die Nutzung der Ergebnisse.
Organisation optimieren
• Gerade in Verbundprojekten erspart eine zentrale Evaluation Aufwand und Ressourcen
• Lehrende sollten in den Prozess aktiv eingebunden werden
• Beteiligung aller Stakeholder durch verschiedene Formate ermöglichen und anregen
Rücklaufquoten erhöhen
• Den Fragebogen so kurz und präzise wie möglich gestalten
• Den Fragebogen möglichst direkt im Anschluss an die Prüfung noch vor Ort ausfüllen lassen und Zeit dafür einplanen
• Bei online Abgaben wie Hausarbeiten oder Portfolio Prüfungen direkt bei der Abgabe einen Hinweis auf die Evaluation einbinden
Ergebnisse wirkungsorientiert nutzen
• Klare Kommunikation der Ergebnisse auf verschiedenen Ebenen
• Konkrete Handlungsempfehlungen ableiten
• Individuelle Feedback Gespräche über die Evaluationsergebnisse
• Feedback der Lehrenden einbinden und auf Bedarfe eingehen/ diese Umsetzen
Empfehlung
Die Herausforderung bei der Konzeption des Fragebogens bestand darin, ein Erhebungsinstrument zu entwickeln, welches allen im Projekt repräsentierten Hochschulen, Prüfungsformen und Fachbereichen gerecht wird. Mit neun bayrischen Hochschulen im Verbund gab es dementsprechend unterschiedliche allgemeine Studien- und Prüfungsordnungen. Die 56 Lehrenden des Projekts sind in unterschiedlichen Fachbereichen wie Soziales und Gesundheit, BWL und MINT tätig. Dementsprechend unterscheiden sich Prüfungsformen und Anforderungen stark, auch je nach Studienart und Semester. Um zu gewährleisten, dass der Fragebogen trotz all dieser Unterschiede verwendet werden kann, mussten die Fragen sehr allgemein gehalten werden, wodurch ein Kompromiss zwischen der allgemeinen Anwendbarkeit und Datenqualität geschlossen werden musste. Bei Evaluationen im kleineren Rahmen sollten Fragen natürlich spezifischer formuliert und ein individueller Bogen erstellt werden, um die Datenqualität zu erhöhen.
Tipps
• Anpassen auf den individuellen Kontext
• Gemeinsames Evaluationsverständnis: Mehrwert, nicht nur Kontrolle
• Gestaltung als partizipativer Prozess
• Gute Dokumentation der Prozesse und Materialien
• Kommunikation und Nutzung der Ergebnisse auf mehreren Ebenen
Sonstiges
Weiterführende Informationen und Materialien wie den Musterbogen und das Evaluationskonzept finden sie auf der verlinkten Website.
Methoden
Empfohlen
Kontakt
Das könnte Sie auch interessieren
Treasure Hunting
Treasure Hunting bringt einerseits Patente in Verwertung und eröffnet andererseits den teilnehmenden Studierenden den Weg in eine patentbasierte Unternehmensgründung. An den Universitäten werden eine Vielzahl von Patenten angemeldet, aber nur wenige werden wertsteigernd verwertet. Da die Patentanmeldung und der Erhalt sehr kostspielig sind, setzt das Projekt Treasure Hunting hier gezielt an: im Rahmen von Summer/Winter School bilden Studierende/Wissenschaftler:innen interdisziplinäre Gruppen, die für ausgewählte ungenutzte Patente aus dem universitären Patentportfolio innovative Geschäftsideen entwickeln und einen nachhaltigen Verwertungsplan erarbeiten. Hierbei werden Innovationsmethoden wie Design Thinking, Prototypenbau und Geschäftsmodellentwicklungsworkshops Anwendung finden. Somit erlernen die Studierenden die Fähigkeit in interdisziplinären Teams zusammenzuarbeiten, mit Patenten umzugehen, sie lernen durch KI-generierte Geschäftsmodelltypen verschiedene nachhaltige Geschäftsmodelle kennen und entwickeln die Expertise, selbst einen nachhaltigen Verwertungsplan für ihr ausgewähltes Patent zu verfassen. Dies kann ein Geschäftsplan für eine Gründung, ein Lizensierungsplan, oder eine Open Source Empfehlung darstellen. Studierenden können 12 ECTS erreichen, indem sie neben einem Pitch zur Vorstellung, auch ein mithilfe eines KI-Tools erstellten Kurzfilms den Verwertungsplan grafisch darstellen und animieren. Expertenvorträge und Keynotes ermöglichen das Netzwerken.
Projekt anzeigen
Communitybuilding für Lehrende
Die Maßnahme richtet sich an Lehrende mit hohem Workload, die dennoch einen praxisorientierten Austausch zu digitalen Lehr- und Lernwerkzeugen suchen. In locker gestalteten Workshops werden Hierarchien bewusst aufgehoben und eine greifbare, weniger akademische Ansprache gewählt. Ziel ist es, keinen zusätzlichen Zeitaufwand zu erzeugen, sondern tatsächlichen Mehrwert zu bieten: Dazu zählen individuelle 1:1-Gespräche, Anerkennung ausgezeichneter Lehre sowie ein asynchrones Social-Network (Academic Cloud Hub) für Publikationen, Ankündigungen und informellen Austausch. Ergänzend ermöglichen Kontakte über LinkedIn und ähnliche Netzwerke gezielt Unterstützung einzuholen. Durch fach- und institutsübergreifende Vernetzung werden didaktische und technische Herausforderungen – etwa der Einsatz von KI-Tools – gemeinsam adressiert. Als Impuls dienen eine gemeinsame Lehr-Lern-Plattform und Academic Cloud Tools.
Maßnahme anzeigen
Digitalisierung in der Hochschullehre – Perspektiven und Gestaltungsoptionen
Die Digitalisierung übt tiefgreifenden Einfluss auf verschiedenste Bereiche menschlichen Lebens aus, unter anderem auf Bildung und damit einhergehend auch auf die Hochschullehre. Eine Kultur der Digitalität (Felix Stalder) verändert nicht nur die für Hochschulen grundlegenden Formen der Produktion von Wissen, sondern ebenso die Umgangsformen und Lehr-Lern-Strategien, die in Lehrveranstaltungen zum Einsatz kommen. Sie wirkt sich auf die Art und Weise aus, wie Wissensinhalte und Kompetenzen vermittelt, erworben und angewendet werden, aber auch auf die Integration digitaler Lerninhalte, die Schaffung neuer Lehr- und Lernmethoden sowie neuer Prüfungsformate. Eine Kultur der Digitalität eröffnet Chancen, um die Qualität der Lehre zu verbessern – beispielsweise durch die Erhöhung von Flexibilität, durch Anpassungsmöglichkeiten an die individuellen Bedürfnisse der Studierenden oderdurch die Vorbereitung sowie Ermöglichung lebenslangen Lernens. Damit verbunden sind jedoch auch Herausforderungen, die beispielsweise im Verhältnis und der Orchestrierung von Präsenz- und Online-Phasen, in der technischen Ausstattung oder in der nötigen Professionalität der Dozierenden gründen. Letztlich kommt es darauf an, die Möglichkeiten der Digitalisierung für die Hochschullehre gezielt und sinnvoll zu nutzen, um zu einer Erhöhung der Qualität beizutragen. Der Sammelband hat das Ziel zu einer zukunftsweisenden interdisziplinären Entwicklung und Gestaltung einer digitalen Kultur der Lehre beizutragen.
Publikation anzeigen