Entwicklung einer ländergemeinsamen Testinfrastruktur für die Entwicklung, Administration und Auswertung onlinebasierter Verfahren zur Diagnostik und Leistungsfeststellung – Technologiebasiertes Assessment (TBA 2)


Leitung

Dr. Sofie Henschel
Dr. Sebastian Weirich

Wissenschaftliche Mitarbeiterinnen

Jenny Kölm
Pauline Kohrt

Technische Umsetzung

Martin Mechtel
Philipp Franck
Richard Henck
Sven Wolter
Huaning Yang

Laufzeit

1. Januar 2021 – 31. Dezember 2023


Projektbeschreibung

Ziel des Projekts ist es, die Testinstrumente des IQB, insbesondere für die Durchführung der jährlich stattfindenden Vergleichsarbeiten (VERA) und den IQB-Bildungstrend in den kommenden Jahren auf TBA umzustellen. Dazu müssen sowohl technische Entwicklungsarbeiten geleistet als auch eine Reihe von Fragestellungen, die sich u. a. auf die Eignung von Testgeräten, Eingabeformen und Aufgabenformaten beziehen, untersucht werden. Zudem wird der gesamte Umstellungsprozess zeitlich und inhaltlich eng auf die Weiterentwicklung der Bildungsstandards abgestimmt.

Weiterentwicklung des IQB-Testsystems

Ziel ist es, die vom IQB in den Jahren 2018‑2020 im Rahmen der TBA‑Machbarkeitsstudie entwickelte Basisversion eines frei verfügbaren Online-Testsystems zu einer flexiblen Testinfrastruktur auszubauen, die für diverse Arten von Erhebungen (insbesondere Tests und Befragungen) im schulischen Kontext eingesetzt werden kann. Das System hat sich bereits in der TBA-Machbarkeitsstudie unter Nutzung heterogener Schulhardware bewährt und soll auch weiterhin so entwickelt werden, dass möglichst niedrige Anforderungen an die technische Ausstattung in den Schulen gestellt werden. Durch die Entwicklung einer länderübergreifend standardisierten Schnittstelle wird zudem sichergestellt, dass sich die gesamte Testinfrastruktur oder einzelne Webanwendungen (z. B. für die Testdurchführung, siehe unten) in vorhandene Dritt- bzw. Testsysteme der Länder integrieren lassen, die derzeit bereits onlinebasierte Tests zur Kompetenzdiagnostik durchführen (z. B. im Kontext von VERA). Folgende Komponenten der Testinfrastruktur werden in den kommenden Jahren weiterentwickelt:

  1. Das Teststudio umfasst u. a. einen Aufgabeneditor zur Entwicklung und Bearbeitung von Testaufgaben (i. d. R. durch ungeschulte Lehrkräfte) oder Befragungen. Der Aufgabeneditor wird schrittweise um standardisierte Vorlagen für typische Aufgabenformate (z. B. multiple-choice, forced-choice, Drag-and-Drop mit Hör-, Lese- oder Videostimuli) und um digitale Werkzeuge (z. B. Markierfunktionen, Taschenrechner, eingebettete Anwendungen wie dynamische Geometrie-Software oder Simulationen) für innovative Aufgabenformate mit einem höheren Interaktionsgrad erweitert. Länder bzw. Schulen und Lehrkräfte können mit dem Aufgabeneditor sowohl bereitgestellte Testaufgaben bearbeiten als auch eigene Testaufgaben und Fragebögen erstellen. Zudem wird ein Metadatenserver bereitgestellt, auf dem Eigenschaften und Informationen der Aufgaben hinterlegt sind.
  2. Darüber hinaus wird ein Testcenter entwickelt, das von Lehrkräften ohne Vorkenntnisse intuitiv u. a. für die Testvorbereitung (z. B. Systemcheck) und Testdurchführung (Testleitungskonsole zum Starten, Pausieren und Beenden von Tests sowie zur Testbeobachtung) bedient werden kann. Das Testcenter ist zunächst nur auf die Administration von Onlinetests auf Computern bzw. Laptops ausgelegt und wird in der Projektlaufzeit sukzessive für die Nutzung mit Tablets weiterentwickelt. In diesem Zusammenhang wird im Rahmen von Cognitive Labs erprobt, welches Endgerät (Computer vs. Tablet) und welcher Eingabemodus für Kinder ab der dritten Klassenstufe geeignet ist (z. B. Tippen über eine eingeblendete oder externe Tastatur vs. Schreiben mit einem digitalen Stift). Zusätzlich wird das Testcenter um einen Offlinemodus erweitert, sodass Tests auch bei fehlender Internetanbindung durchführbar sind.
  3. Zudem wird der Dateneditor ausgebaut, der u. a. einen Antwortkonverter für die Aufbereitung der Rohdaten (Antwortdaten, Logdaten usw.) sowie ein Portal zur Kodierung von Antworten und Funktionen für einfache automatisierte Datenanalyseschritte bereitstellt.

Umstellungsprozess der Testverfahren am IQB

Parallel zur Weiterentwicklung der Testinfrastruktur erfolgt am IQB die sukzessive Umstellung aller Testverfahren auf TBA. Dies betrifft zum einen die Testmodule und Aufgaben für VERA-3 und VERA-8. Zum anderen wird der IQB-Bildungstrend ab dem 4. Zyklus auf Grundlage der weiterentwickelten Bildungsstandards im TBA-Format durchgeführt.

Die Umstellung der VERA-Testmodule und Aufgaben wird im geplanten Projektzeitraum 2021‑2023 sukzessive für jedes Fach bzw. jeden Kompetenzbereich begonnen, sodass in einem Übergangszeitraum sowohl papier- als auch computerbasierte Tests bereitgestellt und von den Ländern wahlweise eingesetzt werden können. Der Umstellungszeitraum endet im Jahr der jeweiligen IQB-Bildungstrendstudien, also 2027 in der Primarstufe, 2028 in den sprachlichen Fächern der Sekundarstufe I bzw. 2030 im Fach Mathematik der Sekundarstufe I (vgl. Tabelle).

Tabelle. Zeitplan für die Bereitstellung von papierbasierten (P) und technologie- bzw. computerbasierten (T) Testmodulen bzw. Aufgaben für VERA-3 und VERA-8

 

 

2021

2022

2023

2024

2025

2026

2027 a

2028 b

2029

2030 c

VERA-3

 

 

 

 

 

 

 

 

 

 

Deutsch,
Lesen

P

P+T

P+T

P+T

P+T

P+T

T

T

T

T

Deutsch, Sprachgebrauch

P

P

P+T

P+T

P+T

P+T

T

T

T

T

Deutsch, Zuhören

P

P

P

P+T

P+T

P+T

T

T

T

T

Deutsch, Orthografie

P

P+T

P+T

P+T

P+T

P+T

T

T

T

T

Mathematik

P

P

P+T

P+T

P+T

P+T

T

T

T

T

VERA-8

 

 

 

 

 

 

 

 

 

 

Deutsch,
Lesen

P

P

P+T

P+T

P+T

P+T

P+T

T

T

T

Deutsch, Orthografie

P

P

P+T

P+T

P+T

P+T

P+T

T

T

T

Deutsch, Zuhören

P

P+T

P+T

P+T

P+T

P+T

P+T

T

T

T

Deutsch, Sprachgebrauch

P

P+T

P+T

P+T

P+T

P+T

P+T

T

T

T

Englisch, Leseverstehen

P+T

P+T

P+T

P+T

P+T

P+T

P+T

T

T

T

Englisch, Hörverstehen

P+T

P+T

P+T

P+T

P+T

P+T

P+T

T

T

T

Französisch, Leseverstehen

P

P+T

P+T

P+T

P+T

P+T

P+T

T

T

T

Französisch, Hörverstehen

P

P+T

P+T

P+T

P+T

P+T

P+T

T

T

T

Mathematik

P

P

P+T

P+T

P+T

P+T

P+T

P+T

P+T

T

Anmerkungen. Für modularisierte Fächer bzw. Kompetenzbereiche werden computerbasierte Basis- und Ergänzungsmodule angeboten, die von den auswertenden Einrichtungen zu Tests kombiniert werden können, für bisher nicht modularisierte Kompetenzbereiche werden analog zu den papierbasierten Testheften TBA‑Testversionen bereitgestellt; IQB-Bildungstrend Primarstufe; b IQB-Bildungstrend in den sprachlichen Fächern der Sekundarstufe I; c IQB‑Bildungstrend im Fach Mathematik und den naturwissenschaftlichen Fächern der Sekundarstufe I; P = papierbasiertes Format; T = technologie- bzw. computerbasiertes Format.

 

Die Umstellung der Erhebungen zu den IQB-Bildungstrends erfolgt im Zuge der Weiterentwicklung der Bildungsstandards, bei der auch Kompetenzen aus dem KMK-Kompetenzrahmen „Bildung in der digitalen Welt“ (KMK, 2016) in den Blick genommen werden. Für die Überprüfung der Bildungsstandards werden deshalb zukünftig voraussichtlich auch vermehrt innovative Aufgabenformate benötigt, die einen höheren Interaktionsgrad aufweisen. Dabei kann es sich um einfache Drag-and-Drop Aufgaben handeln, aber auch um Aufgaben, bei denen die Schüler*innen zwischen verschiedenen Texten navigieren, mit Tabellenkalkulationen oder dynamischer Geometriesoftware arbeiten müssen. Im TBA-Projekt werden die sich aus der Weiterentwicklung der Bildungsstandards ergebenden technischen Anforderungen umgesetzt und auf ihre Eignung hin in Cognitive Labs und Pilotierungsstudien erprobt.

Literatur

KMK (2016) = Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2016). Strategie der Kultusministerkonferenz "Bildung in der digitalen Welt" (Beschluss der KMK vom 08.12.2016 i.d.F. vom 07.12.2017).

Kontakt

Jenny Kölm
Technologiebasiertes Assessment (TBA)
(030) 2093.46587

jenny.koelm@
iqb.hu-berlin.de