Interaktive Dialogführung durch AVERT: Authentizitätanalyse und personalisiertes Feedback im KI-unterstützen Programmierunterricht

AP 5.1 Personalisiertes Lernen in der Programmierung

• Initiale Umsetzung durch automatisierte E-Mail-Rückmeldungen bei Git-Commits
• Weiterentwicklung zu einem KI-basierten Chatbot auf Basis von LLMs (zunächst PATE, später AVERT)
• AVERT ersetzt PATE und kombiniert Feedback mit Autorschaftsanalyse
• Personalisiertes Feedback soll künftig direkt im Dialogkontext eingebunden werden

AP 5.2 KI-basierte Plagiatserkennung in der Programmierung

• Entwicklung des Systems AVERT (Authorship Verification and Evaluation through Responsive Testing)
• Nutzung eines Custom GPT mit:
  • Chain-of-Thought-Prompting
  • Sokratischer Fragelogik
  • Kontextverfolgung und Reflexionsmechanismus
• Sitzungen werden protokolliert und den Lehrenden bereitgestellt
• Simulierte Szenarien mit Studierendenprofilen: Anfänger, Fortgeschrittene, Erfahrene
• Evaluation der Effektivität zur Plagiatserkennung bei KI-generiertem Code

Abbildung 2: Prozessbeschreibung der KI-gestützten Plagiatserkennung durch AVERT

AP 5.3 Vergleich Studierendengenerationen

• Feinjustierung der GPT-Parameter für realistische Authentizität und Erkennung
• Erstellung und Überarbeitung von Fragebögen für Studierende und Lehrende
• Abstimmung der Pilotphase mit Beteiligten: Umfang, Zeitplan, Methodik
• Ziel: Validierung der Wirksamkeit unter realen Bildungsbedingungen im SoSe 2025

Relevanz & Perspektiven

• Herausforderung: Zunahme von KI-generiertem Code untergräbt klassische Plagiatsprüfung
• Antwort: AVERT prüft Verständnis statt nur Code-Inhalte
• Langfristiges Ziel: Förderung von Problemlösekompetenzen und Eigenständigkeit
• Technischer Ausblick: Integration in LMS, adaptive Tutoring-Systeme, skalierbare KI-Fragelogik
• Wirtschaftliche Anwendung: Perspektiven für Weiterbildung & Industrie (z. B. ethisches Coding)

Meilensteine

• M5.1: Automatisches Feedback im Abgabeworkflow (Moodle/Git) – erreicht
• M5.2: Entwicklung von Mustererkennung zur Plagiatsidentifikation – erreicht
• Publikation: Vintila, F. (2024). AVERT: an LLM-Based Procedure that Interactively Verifies Code Authorship and Evaluates Student Understanding, IEEE ITHET 2024
• M5.3: Vergleich Studierendengenerationen – teilweise erreicht