Adaptives Testen

Die Arbeitspakete im Bereich „Adaptives Testen“ zielen auf die Entwicklung KI-gestützter Testformate, die sich dynamisch an das individuelle Wissen der Lernenden anpassen. Die vier Unterpakete umfassen die Integration adaptiver Tools, Bewertungstechnologien, maschinelle Komplexitätsanalyse sowie die begleitende Evaluation und Dokumentation.

Dashboard-Ansicht adaptives Testen

Abbildung: Interface des adaptiven Testsystems (Pilotphase)

AP 4.1 Auswahl und Moodle-Integration adaptiver Tools

  • Integration eines adaptiven Test-Plugins in Moodle: abgeschlossen (2022)
  • Neues Feature: Studierende können ihre Antworten nachträglich einsehen
  • Öffentliche Bereitstellung des Plugins (Moodle 4.1) im Transfer-GitLab

AP 4.2 Konsolidierung von Bewertungstools

  • Einbindung des Tools ASYST zur Korrektur von Freitextfragen in Moodle
  • Veröffentlichung des Moodle-Plugins im Transfer-GitLab

AP 4.3 Komplexitätsbewertung mit ML

  • Vergleich zweier Ansätze: LLM-Fine-Tuning vs. klassische ML-Algorithmen
  • Ergebnis: keine zuverlässige Bewertung möglich – zu geringe Datenbasis
  • Stattdessen: theoriegeleitete manuelle Bewertung und Integration in den Nutzerleitfaden

AP 4.4 System-Demo und Leitfaden

  • Einsatz des adaptiven Testsystems als formative Übung und PVL im Sommersemester 2024
  • Datenerhebung durch Umfragen und Interviews in Abstimmung mit dem Datenschutz
  • Long Paper zur AIED 2025 eingereicht (Track: Architectures and Tools)

Dissemination & Vernetzung

  • Intern: Präsentation bei NextNormal (20.06.2024), Erweiterungsangebote für andere Studienbereiche
  • Extern: Vortrag bei der Uni Ulm (20.01.2025), GHD-Ringvorlesung „LehrImpulse“ (03.02.2025)
  • Technisch: Nutzung desselben Moodle-Servers wie bei AP 3.1 für DSGVO-konformen Chatbot „bwGPT_LMS“
  • Inhaltlich: Abstimmung mit AP 2 zu Feedbackmechanismen & ethischer KI

Meilensteine

  • M4.1: LMS-Integration eines geeigneten Tools – erreicht
  • M4.2: Konsolidierte Tool-Umgebung für Bewertung – erreicht
  • M4.3: ML-Ansatz zur Komplexitätsbewertung – erreicht
  • M4.4a: Erste Vorlesungseinsätze – erreicht
  • M4.4b: System-Demo & Leitfaden – teilweise erreicht