Entwicklung einer ländergemeinsamen Testinfrastruktur für die Entwicklung, Administration und Auswertung onlinebasierter Verfahren zur Diagnostik und Leistungsfeststellung: Technologiebasiertes Assessment (TBA I)
Leitung
Dr. Sofie Henschel
Dr. Sebastian Weirich
Koordination
Pauline Kohrt
Jenny Kölm
Ko-Koordination
Theresa Reiche
Jakob Helf
Felicitas Federlein
Technische Umsetzung
Martin Mechtel
Philipp Franck
Richard Henck
Sven Wolter
Joachim Hoch
Huaning Yang
Laufzeit
1. Januar 2021 – 31. Dezember 2025
Projektbeschreibung
Ziel des Projekts ist es, die Testinstrumente des IQB, insbesondere für die Durchführung der jährlich stattfindenden Vergleichsarbeiten (VERA) und den IQB-Bildungstrend in den kommenden Jahren auf computer- bzw. technologiebasiertes Testen (TBA) umzustellen. Dazu müssen sowohl technische Entwicklungsarbeiten geleistet als auch eine Reihe von Fragestellungen, die sich u. a. auf die Eignung von Testgeräten, Eingabeformen und Aufgabenformaten beziehen, untersucht werden. Zudem wird der gesamte Umstellungsprozess zeitlich und inhaltlich eng auf die Weiterentwicklung der Bildungsstandards abgestimmt.
Weiterentwicklung des IQB-Testsystems
Ziel ist es, die vom IQB in den Jahren 2018‑2020 im Rahmen der TBA‑Machbarkeitsstudie entwickelte Basisversion eines frei verfügbaren Online-Testsystems weiter auszubauen, sodass es für diverse Arten von Erhebungen (insbesondere Tests und Befragungen) im schulischen Kontext genutzt werden kann. Das System hat sich bereits in der TBA-Machbarkeitsstudie unter Nutzung heterogener Schulhardware bewährt und soll auch weiterhin so entwickelt werden, dass möglichst niedrige Anforderungen an die technische Ausstattung in den Schulen gestellt werden. Durch eine länderübergreifend standardisierte Schnittstelle wird sichergestellt, dass sich die Webanwendungen des Testsystems in vorhandene Dritt- bzw. Testsysteme oder Lernplattformen der Länder integrieren lassen. Folgende Webanwendungen werden in den kommenden Jahren weiterentwickelt:
- Das Teststudio umfasst u. a. einen Aufgabeneditor zur Entwicklung und Bearbeitung von Testaufgaben (i. d. R. durch ungeschulte Lehrkräfte) oder Befragungen. Der Aufgabeneditor wird schrittweise um standardisierte Vorlagen für typische Aufgabenformate (z. B. multiple-choice, forced-choice, Drag-and-Drop mit Hör-, Lese- oder Videostimuli) und um digitale Werkzeuge (z. B. Markierfunktionen, Taschenrechner, eingebettete Anwendungen wie dynamische Geometrie-Software oder Simulationen) für innovative Aufgabenformate mit einem höheren Interaktionsgrad erweitert. Länder bzw. Schulen und Lehrkräfte können mit dem Aufgabeneditor sowohl bereitgestellte Testaufgaben bearbeiten als auch eigene Testaufgaben und Fragebögen erstellen. Zudem wird ein Metadatenserver bereitgestellt, auf dem Eigenschaften und Informationen der Aufgaben hinterlegt sind.
- Darüber hinaus wird ein Testcenter entwickelt, das von Lehrkräften ohne Vorkenntnisse intuitiv u. a. für die Testvorbereitung (z. B. Systemcheck) und Testdurchführung (Testleitungskonsole zum Starten, Pausieren und Beenden von Tests sowie zur Testbeobachtung) bedient werden kann. Das Testcenter ist zunächst nur auf die Administration von Onlinetests auf Computern bzw. Laptops ausgelegt und wird in der Projektlaufzeit sukzessive für die Nutzung mit Tablets weiterentwickelt. In diesem Zusammenhang wird im Rahmen von Cognitive Labs erprobt, welches Endgerät (Computer vs. Tablet) und welcher Eingabemodus für Kinder ab der dritten Klassenstufe geeignet ist (z. B. Tippen über eine eingeblendete oder externe Tastatur vs. Schreiben mit einem digitalen Stift). Zusätzlich wird das Testcenter um einen Offlinemodus erweitert, sodass Tests auch bei fehlender Internetanbindung durchführbar sind.
- Zudem wird die Kodierbox ausgebaut, die u. a. einen Antwortkonverter für die Aufbereitung der Rohdaten (Antwortdaten, Logdaten usw.) sowie ein Portal zur Kodierung von Antworten und Funktionen für einfache automatisierte Datenanalysen bereitstellt.
Umstellungsprozess der Testverfahren am IQB
Parallel zur Weiterentwicklung der Testinfrastruktur erfolgt am IQB die sukzessive Umstellung aller Testverfahren auf TBA. Dies betrifft zum einen die Testmodule und Aufgaben für VERA-3 und VERA-8. Zum anderen wird der IQB-Bildungstrend ab dem 4. Zyklus auf Grundlage der weiterentwickelten Bildungsstandards im TBA-Format durchgeführt.
Die Umstellung der VERA-Testmodule und Aufgaben wird im geplanten Projektzeitraum 2021‑2023 sukzessive für jedes Fach bzw. jeden Kompetenzbereich begonnen, sodass in einem Übergangszeitraum sowohl papier- als auch computerbasierte Tests bereitgestellt und von den Ländern wahlweise eingesetzt werden können. Der Umstellungszeitraum endet im Jahr der jeweiligen IQB-Bildungstrendstudien, also 2027 in der Primarstufe, 2028 in den sprachlichen Fächern der Sekundarstufe I bzw. 2030 im Fach Mathematik der Sekundarstufe I (vgl. Tabellen).
Die Umstellung der Erhebungen zu den IQB-Bildungstrends erfolgt im Zuge der Weiterentwicklung der Bildungsstandards, bei der auch Kompetenzen aus dem KMK-Kompetenzrahmen „Bildung in der digitalen Welt“ (KMK, 2016) in den Blick genommen werden. Für die Überprüfung der Bildungsstandards werden deshalb zukünftig voraussichtlich auch vermehrt innovative Aufgabenformate benötigt, die einen höheren Interaktionsgrad aufweisen. Dabei kann es sich um einfache Drag-and-Drop Aufgaben handeln, aber auch um Aufgaben, bei denen die Schüler*innen zwischen verschiedenen Texten navigieren, mit Tabellenkalkulationen oder dynamischer Geometriesoftware arbeiten müssen. Im TBA-Projekt werden die sich aus der Weiterentwicklung der Bildungsstandards ergebenden technischen Anforderungen umgesetzt und auf ihre Eignung hin in Cognitive Labs und Pilotierungsstudien erprobt.
Literatur
Henschel, S., Weirich, S., Becker, B., Schnitzler, C., Koelm, J., & Mechtel, M. (2021). Schlusssachbericht des Projekts „Technologiebasiertes Assessment (TBA) – Machbarkeitsstudie“. IQB.
KMK (2016) = Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2016). Strategie der Kultusministerkonferenz "Bildung in der digitalen Welt" (Beschluss der KMK vom 08.12.2016 i.d.F. vom 07.12.2017).