Adaptives Testen

Die Arbeitspakete im Bereich „Adaptives Testen“ zielen auf die Entwicklung KI-gestützter Testformate, die sich dynamisch an das individuelle Wissen der Lernenden anpassen. Die vier Unterpakete umfassen die Integration adaptiver Tools, Bewertungstechnologien, maschinelle Komplexitätsanalyse sowie die begleitende Evaluation und Dokumentation.

AP 4.1 Auswahl und Moodle-Integration adaptiver Tools

• Integration eines adaptiven Test-Plugins in Moodle: abgeschlossen (2022)
• Neues Feature: Studierende können ihre Antworten nachträglich einsehen
• Öffentliche Bereitstellung des Plugins (Moodle 4.1) im Transfer-GitLab

AP 4.2 Konsolidierung von Bewertungstools

• Einbindung des Tools ASYST zur Korrektur von Freitextfragen in Moodle
• Veröffentlichung des Moodle-Plugins im Transfer-GitLab

AP 4.3 Komplexitätsbewertung mit ML

• Vergleich zweier Ansätze: LLM-Fine-Tuning vs. klassische ML-Algorithmen
• Ergebnis: keine zuverlässige Bewertung möglich – zu geringe Datenbasis
• Stattdessen: theoriegeleitete manuelle Bewertung und Integration in den Nutzerleitfaden

AP 4.4 System-Demo und Leitfaden

• Einsatz des adaptiven Testsystems als formative Übung und PVL im Sommersemester 2024
• Datenerhebung durch Umfragen und Interviews in Abstimmung mit dem Datenschutz
• Long Paper zur AIED 2025 eingereicht (Track: Architectures and Tools)

Dissemination & Vernetzung

• Intern: Präsentation bei NextNormal (20.06.2024), Erweiterungsangebote für andere Studienbereiche
• Extern: Vortrag bei der Uni Ulm (20.01.2025), GHD-Ringvorlesung „LehrImpulse“ (03.02.2025)
• Technisch: Nutzung desselben Moodle-Servers wie bei AP 3.1 für DSGVO-konformen Chatbot „bwGPT_LMS“
• Inhaltlich: Abstimmung mit AP 2 zu Feedbackmechanismen & ethischer KI

Meilensteine

• M4.1: LMS-Integration eines geeigneten Tools – erreicht
• M4.2: Konsolidierte Tool-Umgebung für Bewertung – erreicht
• M4.3: ML-Ansatz zur Komplexitätsbewertung – erreicht
• M4.4a: Erste Vorlesungseinsätze – erreicht
• M4.4b: System-Demo & Leitfaden – teilweise erreicht