Technologiebasiertes Assessment (TBA) – Machbarkeitsstudie


Leitung

Dr. Sebastian Weirich
Dr. Sofie Henschel

Wissenschaftliche Mitarbeiterin

Carola Schnitzler

Technische Umsetzung

Martin Mechtel

Laufzeit

1. Januar 2018 – 31. Dezember 2019


Projektbeschreibung

Technologiebasiertes Assessment (TBA) beschreibt eine Testbearbeitung, bei der die zu messenden Kompetenzen nicht mit klassischen Papier-Bleistift-Aufgaben („Paper and Pencil Assessment“, PPA) bearbeitet werden, sondern bei denen die Testbearbeitung mithilfe bestimmter technischer Hilfsmittel (beispielsweise am Computer oder über ein Tablet) erfolgt. Sowohl in internationalen Large-Scale-Assessments (PISA, TIMSS) als auch im Rahmen der jährlich in Deutschland durchgeführten Vergleichsarbeiten (VERA) wird eine sukzessive Umstellung auf technologiebasiertes Assessment diskutiert bzw. teilweise bereits umgesetzt (z.B. OECD, 2017). Diese Umstellung beinhaltet viele Vorteile. Beispielsweise reduziert TBA den personellen und materiellen Aufwand bei der Erhebung, Erfassung und Auswertung der Daten und ermöglicht eine teilweise automatisierte und damit unmittelbare Ergebnisrückmeldung. Außerdem bietet TBA innovative Möglichkeiten im Bereich der Testkonzeption, Aufgabenentwicklung und Datenauswertung.

Auch die Operationalisierung der Bildungsstandards kann von TBA profitieren. So benennen etwa die Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss Kompetenzen, die der Leitidee „Raum und Form“ zugeordnet sind, wie: „Die Schülerinnen und Schüler setzen geeignete Hilfsmittel beim explorativen Arbeiten und Problemlösen ein.“ (KMK, 2003, S. 11) und im Bereich „Funktionaler Zusammenhang“ sollen „ Veränderungen von Größen mittels Funktionen, auch unter Verwendung eines Tabellenkalkulationsprogramms“ (ebd., S. 12) beschrieben werden. Diese Anforderungen lassen sich mit klassischen PPA-Aufgaben nur schwer operationalisieren. TBA-spezifische Aufgabenformate könnten hilfreich sein, diese und weitere Aufgabenanforderungen besser zu operationalisieren, wodurch die Bildungsstandards insgesamt breiter abgedeckt werden können als mit klassischen PPA-Aufgaben.

Eine Umstellung auf TBA birgt jedoch auch viele Herausforderungen, die zunächst genau analysiert werden müssen. Für die vom IQB entwickelten Testaufgaben ist von zentraler Bedeutung, ob sich die Ergebnisse aus TBA-Erhebungen auf die Metrik der Bildungsstandards überführen lassen, die ursprünglich anhand von PPA-Aufgaben operationalisiert wurden (zu sog. Mode-Effekten auf das Leseverstehen vgl. Singer & Alexander, 2017). Zudem beinhaltet eine Umstellung auf TBA auch neue Herausforderungen im Bereich der Aufgabenentwicklung, da beispielsweise Aufgabenentwickler/innen im Umgang mit einem speziellen Testentwicklungssystem geschult werden müssen. Zudem stellen sich eine Reihe technischer Herausforderungen, wie beispielsweise die Entwicklung eines Testsystems, das so flexibel und nachhaltig ist, dass es von allen Ländern langfristig genutzt werden kann. Zudem gilt es zu klären, welche Mindestanforderungen an die IT-Ausstattung der teilnehmenden Schulen gestellt werden.

Vor diesem Hintergrund führt das IQB eine Machbarkeitsstudie durch, in der drei zentrale Fragestellungen untersucht werden:

  1. Aufwand bei der Umstellung: Wie groß ist der mit der Umstellung von PPA auf TBA verbundene Aufwand? Welches technische System ist für die Anforderungen der Testungen langfristig am besten geeignet?
  2. „Mode-Effekte“/Übertragbarkeit der Ergebnisse: Können die Ergebnisse von bildungsstandardbasierten Tests wie VERA, die mit TBA administriert werden, auf der Metrik der vorliegenden und auf PPA-Aufgaben basierenden Kompetenzstufenmodelle abgebildet werden?
  3. Kompetenzstufenmodelle: Welche Konsequenzen haben TBA-spezifische Aufgabenformate für die Kompetenzstufenmodelle und die Bildungsstandards?

Umsetzung

Die Machbarkeitsstudie wird im Frühjahr 2019 im Fach Englisch für die Kompetenzbereiche „Leseverstehen“ und „Hörverstehen“ in der 9. Jahrgangsstufe durchgeführt. Der Machbarkeitsstudie gehen zwei im Umfang eingeschränkte Präpilotierungen (jeweils ca. 20 Schulklassen) im Herbst 2018 voraus, die v. a. die erste der drei Fragestellungen behandeln, also dazu dienen, das technische System zu erproben, das in der eigentlichen Studie zum Einsatz kommen wird.

Die Machbarkeitsstudie selbst ist an die Pilotierungsstudie für den IQB-Bildungstrend 2021 angekoppelt. In einem Mixed-Methods-Design bearbeiten die Schülerinnen und Schüler einen Teil der Aufgaben im Papierformat (PPA) und einen Teil am Computer (TBA). Sofern keine Moduseffekte auftreten, sollten für jeden Schüler aus beiden Testformaten äquivalente Fähigkeitsschätzungen resultieren. Sofern die Konstrukte, die in beiden Testformaten operationalisiert werden, äquivalent sind, sollte der Zusammenhang zwischen den beiden Testformaten hoch ausfallen. Zusammenhänge sollen sowohl für die gesamte Population als auch für Teilpopulationen (z.B. zielgleich unterrichtete Schülerinnen und Schüler mit sonderpädagogischem Förderbedarf) untersucht werden.

Für die dritte Fragestellung sollen in den Jahren 2018 und 2019 innovative TBA-spezifische Itemformate entwickelt werden. Dies erfolgt exemplarisch im Fach Mathematik (Sekundarstufe I). Hier bestehen einerseits höhere Anforderungen an die Aufgabenentwicklungsprozesse (inklusive der Programmierung), die eine realistische Einschätzung des Aufwands bei der Umstellung ermöglichen, und andererseits eine größere Notwendigkeit, die besonderen Möglichkeiten des TBA-Formats zu nutzen (z.B. die Einbettung von Tabellenkalkulationsprogrammen und Grafikplottern in Aufgabenstellungen als standardisierte Hilfsmittel). Diese werden in einer separaten Pilotierungsstudie erprobt.

Die Ergebnisse der Machbarkeitsstudie werden wegweisend sein für die Entscheidung hinsichtlich einer langfristigen Umstellung der Datenerhebungen des IQB auf TBA.

Ausgewählte Publikationen und Literatur

 

 

Kontakt

Dr. Carola Schnitzler
Machbarkeitsstudie zum Technologiebasierten Assessment (TBA)
(030) 2093.46535

carola.schnitzler@
iqb.hu-berlin.de