Wie entsteht ein VERA-Test?
Das IQB entwickelt die Testaufgaben für die Fächer Deutsch und Mathematik in der 3. und für die Fächer Deutsch, Mathematik, Englisch und Französisch in der 8. Jahrgangsstufe gemeinsam mit Lehrkräften aus allen Bundesländern. Dafür werden die Lehrkräfte jeweils zu Beginn und während ihrer Tätigkeit in regelmäßigen Abständen im Rahmen von Workshops in den Bereichen Fachdidaktik und Empirie am IQB geschult. Die Fachkoordinationen, Fachdidaktiken und Wissenschaftler:innen begleiten den gesamten Entwicklungsprozess der Testaufgaben und bewerten bzw. überprüfen diese fortwährend auf ihre fachdidaktische Eignung und empirische Güte. Die Testentwicklung beginnt zwei bis drei Jahre vor dem Einsatz in einem VERA-Durchgang (siehe Abbildung 1). Für VERA-8 beispielsweise beginnt die Aufgabenentwicklung jeweils im Herbst eines Jahres, der finale Test wird den Ländern im November des übernächsten Jahres übergeben (ausgefüllte Balken). Etwas zeitversetzt beginnt der Prozess in VERA-3 im Januar und endet im Januar des übernächsten Jahres (schraffierte Balken). Damit das IQB den Ländern jedes Jahr neue VERA-Tests zur Verfügung stellen kann, müssen immer mindestens zwei VERA-Durchgänge und über einige Monate im Jahr sogar drei VERA-Durchgänge parallel vorbereitet werden. Die Abbildung zeigt beispielhaft die Überschneidungen der Testentwicklung für die Durchgänge 2018 bis 2020.
Abbildung 1: Überschneidung der Testentwicklungsprozesse für die VERA-Durchgänge 2018 bis 2020
Wie läuft die Aufgabenentwicklung ab?
Pro Fach und Jahrgangsstufe (VERA-3 und VERA-8) arbeiten ca. 11 bis 14 Lehrkräfte aus unterschiedlichen Schulformen mit jeweils ein bis zwei Fachdidaktiker:innen an den Testaufgaben. Die jeweiligen Fachkoordinationen am IQB organisieren und koordinieren die Arbeitsprozesse. Zunächst werden für die Testaufgaben geeignete Themenbereiche, Kontexte, Aufgabenschwerpunkte bzw. Stimuli (z. B. geeignete Lese- oder Hörtexte) gesucht und mit der Fachdidaktik abgestimmt. Im Anschluss beginnen die Lehrkräfte mit der Entwicklung erster Testaufgabenentwürfe, die zunächst von der Fachdidaktik gesichtet und im Anschluss mehrfach in der Aufgabenentwicklungsgruppe überarbeitet und weiterentwickelt werden. Die Aufgabenentwicklung erfolgt kriteriengeleitet, d. h. es werden gezielt konkrete Bildungsstandards operationalisiert und bestimmte Anforderungsbereiche berücksichtigt. In einem iterativen Überarbeitungsprozess werden die Aufgaben für eine Vorerprobung (sog. Präpilotierung) vorbereitet und im Anschluss von Lehrkräften in ein bis drei Klassen getestet. Die Ergebnisse dieser Präpilotierung werden unter Berücksichtigung folgender Fragestellungen ausgewertet und diskutiert:
- Sind die Testaufgaben zu schwierig oder zu leicht?
- Wie viele Schüler:innen konnten die Testaufgaben (nicht) lösen?
- Welche Probleme hatten die Schüler:innen bei der Lösung der Testaufgaben, wurden z. B. bestimmte Begriffe oder die gesamte Instruktion nicht verstanden?
- Wie lange haben die Schüler:innen für die Bearbeitung gebraucht, war die kalkulierte Bearbeitungszeit zu knapp oder zu umfangreich bemessen?
- Hatten bestimmte Schüler:innengruppen besondere Schwierigkeiten, die Aufgaben zu lösen und wenn ja, warum?
- Kamen alle Schüler:innen mit den Aufgabenformaten zurecht und mit welchen Formaten hatten sie ggf. Schwierigkeiten?
- Welche Antworten geben die Schüler:innen auf offene Fragen?
- Sind die Aufgabenformate aus fachdidaktischer Sicht geeignet, um bestimmte Anforderungen messen zu können?
Die Ergebnisse aus der Präpilotierung liefern den Aufgabenentwicklungsgruppen wichtige Hinweise darauf, an welchen Stellen die Aufgaben weiter optimiert werden müssen. Im Anschluss an diesen erneuten Überarbeitungsprozess, in dessen Rahmen sich auch die Aufgabenformate noch einmal deutlich verändern können (z. B. werden offene Aufgaben, die sich als sehr schwierig erweisen, mitunter in geschlossene Formate umgewandelt), sichten Fachvertretungen der Länder die Testaufgaben und teilen dem IQB etwaige Optimierungshinweise mit. Diese Hinweise werden dann gemeinsam mit den Fachkoordinationen am IQB und den beteiligten Fachdidaktiken sowie den Ländervertretungen im Rahmen der Veranstaltung „Diskussion der Pilotierungsaufgaben“ ausgetauscht und diskutiert. Die Hinweise der Länder und die Diskussionsergebnisse der gemeinsamen Veranstaltung fließen schließlich in die letzte Überarbeitsrunde der Aufgaben ein, bevor die empirische Güte der Testaufgaben in einer Pilotierung untersucht wird.
Die Pilotierung findet jeweils im Mai eines jeden Jahres alternierend in acht Bundesländern statt. Im Rahmen einer annähernd repräsentativen Stichprobe von ca. 1.500 bis 3.000 Schüler:innen wird jede Testaufgabe an etwa 300 Schüler:innen erprobt, dafür benennen die Länder Klassen. Anschließend werden die Testaufgaben von den Wissenschaftler:innen des IQB auf ihre empirische Güte hin überprüft. Hierzu zählen insbesondere die Schwierigkeit, Trennschärfe und Reliabilität der Aufgaben. Auf Grundlage der Ergebnisse aus der Pilotierung und unter Berücksichtigung fachdidaktischer Aspekte werden nur solche Aufgaben für den VERA-Durchgang ausgewählt, die die erforderlichen Kriterien hinreichend erfüllen und sich in allen Entwicklungsstadien bewährt haben. Möglicherweise können nicht alle infrage kommenden Aufgaben aus zeitlichen oder kombinatorischen Gründen im nächsten Durchgang untergebracht werden. Diese Aufgaben werden dann für zukünftige VERA-Durchgänge zurückgelegt. Aufgaben, die sich nicht bewährt haben, werden verworfen oder in einer erneuten Qualitätsschleife überarbeitet. Beispielaufgaben aus allen Fächern und Kompetenzbereichen können von der IQB-Webseite abgerufen werden. Abbildung 2 zeigt die Entwicklung der VERA-Tests noch einmal schematisch.
Abbildung 2: Ablauf der Aufgabenentwicklung am Beispiel VERA 3 Deutsch
Parallel dazu erstellt das IQB gemeinsam mit den Fachdidaktiker:innen sogenannte Didaktische Handreichungen (hier für jedes Fach und jede Schulstufe). Diese unterstützen die Lehrkräfte dabei, die Ergebnisse auszuwerten, einzuordnen und liefern Hinweise und Anregungen für die Weiterarbeit im Unterricht. Das IQB übergibt den Ländern jeweils im November (VERA-8) bzw. Januar (VERA-3) die VERA-Tests für die jeweiligen Fächer und Kompetenzbereiche, die Didaktischen Handreichungen und weitere Unterstützungsmaterialien zur Testdurchführung und -auswertung. Des Weiteren entstehen auch Publikationen zum Thema, wie VERA sinnvoll in den Unterricht integriert werden kann
(z. B. Grundschulmagazin 4/2018).
In den Ländern werden die VERA-Tests in den meisten Fällen von Lehrkräften (in einem Bundesland von Testleitungen) durchgeführt. Dazu erhalten die Lehrkräfte zur Vorbereitung Zugangsdaten zu den Testmaterialien sowie Informations- und Instruktionsmaterial. In den meisten Ländern korrigieren die Lehrkräfte die Testhefte und geben die Ergebnisse der Schüler:innen in eine Onlinemaske ein. Die Auswertung und die Rückmeldung zu den Ergebnissen der Vergleichsarbeiten erhalten die Schulen von einer vom Land beauftragten Einrichtung (z. B. Landesinstitut). Die Rückmeldung zu den VERA-Ergebnissen und die Beratung hierzu erfolgt adressatenbezogen und unterscheidet sich in den einzelnen Ländern. Es sind unterschiedliche Berichtsformen möglich, je nachdem, ob der/die teilnehmende Schüler:in, betroffene Eltern, ggf. die Elternvertretung, die beteiligte Lehrkraft, die Schulleitung und ggf. die Bildungsadministration die Adressaten der jeweiligen Ergebnisrückmeldung sind. Die Lehrkräfte erhalten vor den Sommerferien eine ausführliche Rückmeldung, die einerseits einen Vergleich der Leistungen der einzelnen Schüler:innen auf der Grundlage von inhaltlich beschriebenen Kompetenzstufen sowie eine Orientierung an den Bildungsstandards ermöglicht. Des Weiteren werden die Ergebnisse der Schüler:innen in Beziehung zu allen Klassen der Schule und zu allen Schulen ihres Landes gesetzt. In einigen Ländern können sich zudem unter bestimmten Voraussetzungen im Rahmen des sogenannten „fairen Vergleichs“ die Klassen mit ähnlicher sozialer Zusammensetzung miteinander vergleichen.
Zuständigkeiten
Zuständig für die Durchführung von VERA sind die Länder. Das heißt sie organisieren die Vorbereitung, den Ablauf, die Auswertung und die Ergebnisrückmeldung in eigener Verantwortung und nach länderspezifischen Regelungen. In welchen Fächern und Kompetenzbereichen VERA eingesetzt wird, kann sich sowohl zwischen als auch innerhalb der Länder zwischen Schulen unterscheiden. Die Länder legen jeweils bundesweit einheitliche Testzeitfenster fest. Die Termine für die Durchführung des VERA-Tests und die Eingabe der Schüler:innenantworten durch die Lehrkräfte sowie für die Rückmeldungen und weitere Auswertungen bestimmt jedes Bundesland eigenständig. In der Verantwortung der Länder liegen im Einzelnen:
- der Druck und die Distribution der Testhefte
- die Testdurchführung
- die Korrektur und Dateneingabe (i. d. R. durch die Lehrkräfte)
- die statistische Auswertung
- die Rückmeldungsgestaltung
- die Rückmeldung
In der Verantwortung des IQB liegt die Testentwicklung, die sich in folgende Prozesse untergliedert:
- Aufgabenentwicklung
- Aufgabenerprobung (Präpilotierung und Pilotierung)
- Ermittlung der Aufgabenschwierigkeiten (Skalierung)
- Aufgabenauswahl
- Erstellen der Tests und der Auswertungsanleitungen
- Erarbeitung begleitender didaktischer Materialien
Abbildung 3: Zuständigkeiten von der Entwicklung bis zur Ergebnisrückmeldung an die Schule