Projektziel 1

Die Arbeitspakete im Bereich „Adaptives Testen“ zielen auf die Entwicklung KI-gestützter Testformate, die sich dynamisch an das individuelle Wissen der Lernenden anpassen. Übungen helfen Studierenden lernbegleitend bei der Lernzielerreichung — aber nicht alle Aufgaben sind für alle Studierenden gleich hilfreich.

Eine gezielte Auswahl von Übungsaufgaben kann dabei helfen, sowohl Langeweile als auch Frustration zu vermeiden.

Computergestützte adaptive Tests (CAT), ursprünglich für summative Prüfungen entwickelt, lassen sich sinnvoll auf formative Übungsszenarien in Moodle übertragen.

Ziel ist die Entwicklung einer einfach einsetzbaren Lösung, die Lehrende ohne großen technischen Aufwand in ihren Kursen nutzen können.

Interface des adaptiven Testsystems (Pilotphase)

MOUSE: CAT-Module Optimised for Usability in Student Exercises

Anwendungsprozess: Übersicht der Schritte

Schritt 1: Aufgabenanalyse

Schritt 2: Adaptive Testgenerierung

Schritt 3: Auswertung & Feedback

Ergebnisse

• Nutzerleitfaden: https://wiki.hft-stuttgart.de/display/ap4
• Publikation Studie: https://doi.org/10.1007/978-3-031-71530-3_19
• Download Plugin: https://transfer.hft-stuttgart.de/gitlab/knight/adaptivetests
• Implementation auf Moodle-Plattform: https://moodle.knight.hft-stuttgart.de

AP 4.3 Komplexitätsbewertung mit ML

• Vergleich zweier Ansätze: LLM-Fine-Tuning vs. klassische ML-Algorithmen
• Ergebnis: keine zuverlässige Bewertung möglich – zu geringe Datenbasis
• Stattdessen: theoriegeleitete manuelle Bewertung und Integration in den Nutzerleitfaden

AP 4.4 System-Demo und Leitfaden

• Einsatz des adaptiven Testsystems als formative Übung und PVL im Sommersemester 2024
• Datenerhebung durch Umfragen und Interviews in Abstimmung mit dem Datenschutz
• Long Paper zur AIED 2025 eingereicht (Track: Architectures and Tools)

Dissemination & Vernetzung

• Intern: Präsentation bei NextNormal (20.06.2024), Erweiterungsangebote für andere Studienbereiche
• Extern: Vortrag bei der Uni Ulm (20.01.2025), GHD-Ringvorlesung „LehrImpulse“ (03.02.2025)
• Technisch: Nutzung desselben Moodle-Servers wie bei AP 3.1 für DSGVO-konformen Chatbot „bwGPT_LMS“
• Inhaltlich: Abstimmung mit AP 2 zu Feedbackmechanismen & ethischer KI

Meilensteine

• M4.1: LMS-Integration eines geeigneten Tools – erreicht
• M4.2: Konsolidierte Tool-Umgebung für Bewertung – erreicht
• M4.3: ML-Ansatz zur Komplexitätsbewertung – erreicht
• M4.4a: Erste Vorlesungseinsätze – erreicht
• M4.4b: System-Demo & Leitfaden – teilweise erreicht