Technologiebasiertes Assessment (TBA)
Computerbasierte bzw. technologiebasierte Tests zur Kompetenzdiagnostik (TBA) werden im Rahmen von internationalen Studien in der Sekundarstufe schon seit einigen Jahren und zunehmend auch im Primarbereich (z. B. eTIMSS, ePIRLS) eingesetzt. Im Rahmen der Weiterentwicklung der Vergleichsarbeiten (VERA) sollen diese Testungen ebenfalls auf TBA umgestellt werden (KMK, 2018). Ebenso ist geplant, die IQB-Bildungstrends ab dem 4. Zyklus mit computerbasierten Tests durchzuführen.
Einerseits sind mit TBA zahlreiche Vorteile verbunden (z. B. verringerter logistischer Aufwand, Verbesserung der Messpräzision, Möglichkeit des adaptiven Testens), andererseits ergeben sich aber auch verschiedene Herausforderungen (z. B. sogenannte Moduseffekte, vgl. Singer & Alexander, 2017), die vor einer Umstellung papierbasierter auf computer- bzw. technologiebasierte Testverfahren genauer untersucht werden müssen, um dafür angemessene Lösungsstrategien zu entwickeln.
Vor der Umstellung der Testinstrumente des IQB wurde in den Jahren 2018 bis 2020 deshalb zunächst eine Machbarkeitsstudie durchgeführt, in der ein frei verfügbares (open source) und modular aufgebautes Online-Testsystem entwickelt und mit heterogener Schultechnik erprobt wurde (TBA Machbarkeitsstudie). Die Ergebnisse der Studie weisen darauf hin, dass die Messungen der Konstrukte (exemplarisch Lese- und Hörverstehen im Fach Englisch) nicht unabhängig vom (papier- oder computerbasierten) Testmodus sind und Moduseffekte auftreten, die zudem mit Merkmalen der Aufgabendarstellung (z. B. einseitige oder mehrseitige Darstellung der Items von TBA-Aufgaben) und Hintergrundmerkmalen der Schüler*innen (z. B. Schulart, Herkunftssprache, sonderpädagogischer Förderbedarf) zusammenhängen. Welche Leistungen Schüler*innen erzielen hängt also davon ab, ob sie die Aufgaben mit Papier und Bleistift oder mit TBA bearbeitet haben; zudem variiert die Größe dieses Unterschieds zwischen Aufgabenformaten und Schüler*innengruppen. Daher ist es nicht möglich, eine einheitliche Verrechnungsvorschrift zu bestimmen, anhand derer Item- und Personenparameter konsistent, z. B. über Teilpopulationen hinweg, adjustiert und auf den bereits vorliegenden Kompetenzstufenmodellen verortet werden können.
Eine Umstellung auf TBA erfordert somit eine Neunormierung der Kompetenztests und eine Anpassung der Kompetenzstufenmodelle. Um die Umstellung der Testinstrumente auf TBA möglichst effizient zu gestalten, erfolgt diese in den kommenden Jahren im Rahmen eines über den DigitalPakt Schule geförderten Projekts (TBA I). Dabei werden die technische Infrastruktur umfassend ausgebaut und die Testinstrumente für VERA und den IQB-Bildungstrend sukzessive auf TBA umgestellt, wobei der Umstellungsprozess durch Erprobungsstudien begleitet und sowohl inhaltlich als auch zeitlich eng auf die Weiterentwicklung der Bildungsstandards abgestimmt ist. Aktuelle und abgeschlossene TBA-Projekte:
- Technologiebasiertes Assessment: Machbarkeitsstudie (2018-2020)
- Entwicklung einer ländergemeinsamen Testinfrastruktur für die Entwicklung, Administration und Auswertung onlinebasierter Verfahren zur Diagnostik und Leistungsfeststellung: Technologiebasiertes Assessment (TBA I, 2021-2025)
- Weiterentwicklung der ländergemeinsamen Testinfrastruktur zur adaptiven und formativen Administration und Auswertung onlinebasierter Verfahren zur Diagnostik und Leistungsfeststellung – Technologiebasiertes Assessment (TBA II, 2023-2026)
Literatur
Henschel, S., Weirich, S., Becker, B., Schnitzler, C., Koelm, J., & Mechtel, M. (2021). Schlusssachbericht des Projekts „Technologiebasiertes Assessment (TBA) – Machbarkeitsstudie“. IQB.
KMK (2018) = Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2018). Vereinbarung zur Weiterentwicklung der Vergleichsarbeiten (VERA). (Beschluss der Kultusministerkonferenz vom 08.03.2012 i. d. F. vom 15.03.2018). https://www.kmk.org/fileadmin/Dateien/veroeffentlichungen_beschluesse/2012/2012_03_08_Weiterentwicklung-VERA.pdf
Singer, L. M., & Alexander, P. A. (2017). Reading across mediums: Effects of reading digital and print texts on comprehension and calibration. The Journal of Experimental Education, 85(1), 155–172. https://doi.org/10.1080/00220973.2016.1143794