Technologiebasiertes Assessment: Machbarkeitsstudie
Leitung
Dr. Sebastian Weirich
Dr. Sofie Henschel
Wissenschaftliche Mitarbeiterin
Dr. Carola Schnitzler
Technische Umsetzung
Martin Mechtel, Philipp Franck
Laufzeit
1. Januar 2018 – 31. Dezember 2020
Projektbeschreibung
Technologiebasiertes Assessment (TBA) beschreibt eine Testbearbeitung, bei der die zu messenden Kompetenzen nicht mit klassischen Papier-Bleistift-Aufgaben („Paper and Pencil Assessment“, PPA) bearbeitet werden, sondern mithilfe bestimmter technischer Hilfsmittel (beispielsweise am Computer oder über ein Tablet). Sowohl in internationalen Large-Scale-Assessments (PISA, TIMSS) als auch im Rahmen der jährlich in Deutschland durchgeführten Vergleichsarbeiten (VERA) wird eine sukzessive Umstellung auf technologiebasiertes Assessment diskutiert bzw. teilweise bereits umgesetzt (z.B. OECD, 2017). Diese Umstellung beinhaltet viele Vorteile. Beispielsweise reduziert TBA den personellen und materiellen Aufwand bei der Erhebung, Erfassung und Auswertung der Daten und ermöglicht eine teilweise automatisierte und damit unmittelbare Ergebnisrückmeldung. Außerdem bietet TBA innovative Möglichkeiten im Bereich der Testkonzeption, Aufgabenentwicklung und Datenauswertung.
Auch die Operationalisierung der Bildungsstandards kann von TBA profitieren. So benennen etwa die Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss Kompetenzen, die der Leitidee „Raum und Form“ zugeordnet sind, wie: „Die Schülerinnen und Schüler setzen geeignete Hilfsmittel beim explorativen Arbeiten und Problemlösen ein.“ (KMK, 2003, S. 11) und im Bereich „Funktionaler Zusammenhang“ sollen „ Veränderungen von Größen mittels Funktionen, auch unter Verwendung eines Tabellenkalkulationsprogramms“ (ebd., S. 12) beschrieben werden. Diese Anforderungen lassen sich mit klassischen PPA-Aufgaben nur schwer operationalisieren. TBA-spezifische Aufgabenformate könnten hilfreich sein, diese und weitere Aufgabenanforderungen besser zu erfassen, wodurch die Bildungsstandards insgesamt breiter abgedeckt werden.
Eine Umstellung auf TBA birgt jedoch auch viele Herausforderungen, die zunächst genau analysiert werden müssen. Für die vom IQB entwickelten Testaufgaben ist von zentraler Bedeutung, ob sich die Ergebnisse aus TBA-Erhebungen auf die Metrik der vorliegenden Bildungsstandards überführen lassen, die ursprünglich anhand von PPA-Aufgaben operationalisiert wurden (zu sog. Mode-Effekten auf das Leseverstehen vgl. Singer & Alexander, 2017). Zudem beinhaltet eine Umstellung auf TBA auch neue Herausforderungen im Bereich der Aufgabenentwicklung, da beispielsweise Personen für die Aufgabenentwicklung im Umgang mit einem digitalen Aufgabeneditor geschult werden müssen. Zudem stellen sich für das IQB eine Reihe technischer Herausforderungen, wie beispielsweise die Entwicklung eines Testsystems, das so flexibel ist, dass es von allen Ländern langfristig genutzt werden kann und mit ggf. vorhandenen, ländereigenen Systemen kompatibel ist. Gleichzeitig muss sichergestellt werden, dass das Testsystem mit der sehr heterogenen IT-Ausstattung von Schulen von Lehrkräften und Schüler*innen genutzt werden kann.
Das IQB führt seit 01.01.2018 eine TBA-Machbarkeitsstudie durch, in der untersucht wird,
- wie groß der Aufwand sein wird, der mit einer Umstellung auf TBA verbunden ist (u. a. Funktionsumfang des Testsystems, technische Mindestvoraussetzungen)?
- inwieweit Moduseffekte auftreten bzw. die Ergebnisse einer computerbasierten Testung mit denen einer papierbasierten Testung vergleichbar sind und weiterhin auf der vorliegenden Bildungsstandardmetrik abgebildet werden können sowie
- welche Konsequenzen mit der Entwicklung und dem Einsatz innovativer Aufgabenformaten verbunden sind.
Um die genannten Fragestellungen zu untersuchen, hat das IQB seit Projektbeginn zunächst ein frei verfügbares Online-Testsystem entwickelt, das sich in mehreren internen Erprobungen am IQB, zwei technischen Erprobungsstudien an Schulen in unterschiedlichen Ländern sowie einer umfangreichen Machbarkeitsstudie mit 2.676 Schüler*innen der 9. Klassenstufe bewährt hat und von den Ländern im Rahmen von VERA genutzt werden kann. Beispiele dafür, wie Englisch-Aufgaben zur Kompetenzmessung in den Domänen Lese- und Hörverstehen im Rahmen der Machbarkeitsstudie mit dem IQB-Testsystem im TBA-Format umgesetzt wurden, findet man hier.
In Übereinstimmung mit internationalen und nationalen Studien (z. B. Fishbein, Martin, Mullis & Foy, 2018; Goldhammer et al., 2019; Jerrim, Micklewright, Heine, Sälzer & McKeown, 2018; Nachtigall, 2018) konnten im Rahmen der Machbarkeitsstudie für die Kompetenzbereiche Lese- und Hörverstehen im Fach Englisch Moduseffekte nachgewiesen werden. Die Testergebnisse aus einem computerbasierten Test fallen teilweise zwischen einem halben und einem Schuljahr niedriger aus als bei einer papierbasierten Testbearbeitung. Zudem fallen die Moduseffekte differenziell aus, d. h. sie unterscheiden sich zwischen Kompetenzbereichen (Lese- und Hörverstehen), Darstellungsformen der Items eines Stimulus (einseitig/Scrollen vs. mehrseitig/Blättern) und zentralen Hintergrundmerkmale der Schülerschaft (Schulart, Sprachhintergrund, sonderpädagogischer Förderbedarf). Die Ergebnisse aus TBA-Tests können somit nicht ohne weiteres auf die vorliegende Metrik der Bildungsstandards übertragen werden. Eine Umstellung auf TBA erfordert somit eine Neunormierung der Bildungsstandards und eine Überarbeitung der Kompetenzstufenmodelle.
Die bisher durchgeführten Tests wurden von geschulten Testleiterinnen und Testleitern durchgeführt. Um zu gewährleisten, dass Lehrkräfte onlinebasierte VERA-Tests zukünftig einfach durchführen können, wird im Jahr 2020 eine einfach zu bedienende Testleitungskonsole entwickelt und gemeinsam mit Lehrkräften in unterschiedlichen Ländern erprobt.
Seit dem Jahr 2019 entwickelt eine Aufgabenentwicklungsgruppe TBA-Aufgaben mit sogenannten innovativen Aufgabenformaten für das Fach Mathematik (Sekundarstufe I), bei denen beispielsweise externe Applikationen wie Dynamische Geometriesoftware oder Tabellenkalkulationen in die Testaufgaben integriert werden. Die Entwicklung dieser Aufgaben erfolgt in Kooperation mit dem DIPF Leibniz-Institut für Bildungsforschung und Bildungsinformation Frankfurt am Main und dem Lehrstuhl für Didaktik der Mathematik der Universität Münster. Die innovativen Aufgaben in zwei Pilotierungsstudien erprobt, um zu untersuchen, wie gut Jugendliche mit diesen Aufgaben zurechtkommen, und um zu prüfen, inwieweit diese Aufgaben das gleiche Kompetenzkonstrukt messen wie „reguläre“ Mathematikaufgaben.
Ausgewählte Publikationen und Literatur
- Henschel, S., Weirich, S., Becker, B., Schnitzler, C., Koelm, J., & Mechtel, M. (2021). Schlusssachbericht des Projekts „Technologiebasiertes Assessment (TBA) – Machbarkeitsstudie“. IQB.
- KMK (2004): Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 4.12.2003.
- OECD (2017). PISA 2015. Technical Report.
- Singer, L. M. & Alexander, P. A. (2017). Reading Across Mediums: Effects of Reading Digital and Print Texts on Comprehension and Calibration. The Journal of Experimental Education, 85, 155-172. [Text online lesen]