Weiterentwicklung der ländergemeinsamen Testinfrastruktur zur adaptiven und formativen Administration und Auswertung onlinebasierter Verfahren zur Diagnostik und Leistungsfeststellung – Technologiebasiertes Assessment (TBA II)
Leitung
Dr. Sofie Henschel
Dr. Sebastian Weirich
Koordination
Pauline Kohrt
Jenny Kölm
Wissenschaftliche Mitarbeiterinnen
Dr. Janine Buchholz
Dr. Thomas Canz
Pauline Wernet
Technische Umsetzung
Martin Mechtel
Philipp Franck
Joachim Hoch
Julian Reichle
NN
NN
Laufzeit
1. Juli 2023 – 30. Juni 2026
Projektbeschreibung
Ziel des Projektes ist es, das bestehende Online-Testsystem, welches derzeit vom IQB im Rahmen des Projektes TBA I entwickelt wird, um Funktionen zum adaptiven und formativen Testen zu erweitern und diese im Kontext von VERA-3 zu erproben.
Das Online-Testsystems des IQB ist frei verfügbar und für vielfältige Anwendungsbereiche einsetzbar (z. B. Kompetenzdiagnostik, digitale Klassenarbeiten und Befragungen). Es besteht aus drei Webanwendungen:
- Teststudio zur Entwicklung und Bearbeitung von Tests und Befragungen
- Testcenter für die Durchführung in den Schulen
- Kodierbox für die Datenaufbereitung
Alle Webanwendungen können über standardisierte Schnittstellen in länderspezifische Portale/Lernplattformen integriert werden. Sie sind frei verfügbar und umfassend dokumentiert: https://iqb-berlin.github.io.
Beim adaptiven Testen passt sich das Anforderungsniveau der Aufgaben bzw. Aufgabenmodule im Testverlauf automatisch an das individuelle Kompetenzniveau der Schüler*innen an (Frey, 2012; Wainer & Dorans, 2000). Ein gewisser Grad von Adaptivität wird im Rahmen von VERA bereits durch die von den Ländern gemeinsam beschlossene Modularisierung erreicht, indem Lehrkräfte oder Länder vor dem Test schwierigere bzw. leichtere Ergänzungsmodule für die Testheftzusammenstellung auswählen können. Im Projekt TBA II wird ein sogenanntes Multi-Stage-Testdesign erprobt, bei dem unterschiedlich schwierige Testmodule anhand der zuvor bearbeiteten Testmodule automatisch ausgewählt werden. Adaptive Tests können sich positiv auf die Testteilnahmemotivation der Schüler*innen auswirken und die Genauigkeit der Kompetenzmessung verbessern. Zudem verringert sich der Aufwand für Lehrkräfte, z. B. bei VERA, deutlich, weil Schüler*innenantworten bereits im Testverlauf automatisch kodiert werden. Die automatische Kodierung von Freitextantworten stellt dabei noch eine besondere Herausforderung dar. Im Projekt werden verschiedene Verfahren zur automatischen Kodierung entwickelt und erprobt.
Durch den Einsatz formativer Tests erhalten Lehrkräfte ein Feedback aus wiederholten Messungen (z.B. Kompetenztests; Schmidt, 2020). Auf diese Weise können sie die Leistungsentwicklung ihrer Schüler*innen genauer verfolgen und darauf bezogene Förderentscheidungen zuverlässiger treffen. Ziel von TBA II ist es, mittels formativer Tests die basalen Kompetenzen und Fähigkeiten in den Blick zu nehmen (z. B. Lesegeschwindigkeit und -genauigkeit oder Größen- und Mengenvorstellungen), die grundlegend für das Erreichen der Mindeststandards am Ende der Primarstufe sind (vgl. SWK, 2022). Die Entwicklung und Normierung dieser Basiskompetenztests findet ebenfalls im Projektzeitraum statt.
Das Projekt gliedert sich in drei Phasen:
Phase I: Methodisch-technische Weiterentwicklung der Webanwendungen
- Entwicklung geeigneter adaptiver Multi-Stage-Testdesigns und Abschätzung der Messeffizienzsteigerung
- Erweiterung der Webanwendungen, um adaptives und formatives Testen zu ermöglichen (bspw. durch automatisches Kodieren)
Phase II: Weiterentwicklung der länderübergreifend standardisierten Schnittstellen für Kodierung und Metadaten
- Entwicklung und Erprobung einer Metadateninfrastruktur. Metadaten sind Informationen über Schwierigkeit, Format, Inhaltsbereich, Bearbeitungszeit etc. von Testaufgaben oder Testitems. Adaptive Tests benötigen Metadaten zur Auswahl des nachfolgenden Moduls
- Schaffung einer Verknüpfungsmöglichkeit dieser Metadaten mit digital verfügbaren Bildungsstandards und Curricula bzw. Rahmenlehrplänen
Phase III: Test- und Optimierungsphase
- Erprobung des weiterentwickelten prototypischen Testsystems und der Rückmeldeformate
- Technische Weiterentwicklung der erprobten Webanwendungen und Rückmeldeformate. Dies betrifft:
- Technische Erprobung des adaptiven und formativen Testsystems
- Verknüpfung mehrerer Messzeitpunkte für formatives Testen
- Erprobung von Varianten des adaptiven Multi-Stage Online-Testsystems und angepasster Rückmeldeformate
Projektergebnis
Ziel ist die Bereitstellung der optimierten prototypischen Webanwendungen des weiterentwickelten Online-Testsystems sowie der erprobten und optimierten Rückmeldeformate.
Literatur
Frey, A. (2012). Adaptives Testen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 275–293). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-20072-4_11
Henschel, S., Weirich, S., Becker, B., Schnitzler, C., Koelm, J., & Mechtel, M. (2021). Schlusssachbericht des Projekts „Technologiebasiertes Assessment (TBA) – Machbarkeitsstudie“. IQB.
KMK (2016) = Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2016). Strategie der Kultusministerkonferenz "Bildung in der digitalen Welt" (Beschluss der KMK vom 08.12.2016 i.d.F. vom 07.12.2017).
Schmidt, C. A. (2020). Formatives Assessment in der Grundschule: Konzept, Einschätzungen der Lehrkräfte und Zusammenhänge. Springer VS. https://doi.org/10.1007/978-3-658-26921-0
Wainer, H., & Dorans, N. J. (2000). Computerized adaptive testing: A primer (2nd ed). Lawrence Erlbaum Associates.