Pilotierung
Für die Pilotierung der Vergleichsarbeiten werden die Aufgaben zu Blöcken von ca. 15 bis 20 Minuten Bearbeitungszeit zusammengestellt. Hierbei ist aus psychologischen Gründen darauf zu achten, dass die ersten Aufgaben eines Blockes eher einfach sind und zum Ende die Schwierigkeit zunimmt. Grundlage dieser Anordnung ist zu diesem Zeitpunkt noch die von den Aufgabenentwicklern und dem didaktischen Beraterteam geschätzte Schwierigkeit.
Grund für die ansteigende Anordnung ist, dass es für die Geltung des Auswertungsmodells wichtig ist, dass möglichst jede Aufgabe von den Schülerinnen und Schülern zu lösen versucht wird – zumindest jedoch alle Aufgaben, die potenziell bewältigt werden könnten. Eine zu schwere Aufgabe zu Beginn eines Blocks kann jedoch dazu führen, dass sich eine Schülerin/ein Schüler zu lange der jeweiligen Aufgabe aufhält oder aufgibt und somit eine deutlich geringere Punktzahl erreicht, als ihm von seiner Kompetenz her möglich gewesen wäre. Mathematisch formuliert bedeutet das: Damit die Grundannahme der erschöpfenden Information (s.o.) zutrifft, darf die Wahrscheinlichkeit, eine Aufgabe zu lösen, nicht (in der Praxis: nicht zu sehr) davon abhängen, welche anderen Aufgaben bereits gelöst werden konnten, sondern muss ausschließlich (praktisch: überwiegend) von der Fähigkeit des Schülers bzw. der Schülerin abhängen.
Zusätzlich zu den für die Politierung vorgesehenen Aufgabenblöcken werden bei VERA-Pilotierungen Aufgaben verwendet, die bereits erprobt wurden und deren empirische Schwierigkeit bekannt ist. Diese sogenannten Ankeraufgaben werden entweder in einzelne Blöcke neu entwickelter Aufgaben hineingegeben oder als separate Blöcke in die Testhefte eingefügt. Mithilfe dieser Ankeraufgaben kann die Schwierigkeit der neuen Aufgaben über deren Lösungshäufigkeiten sehr verlässlich angegeben werden, ohne dass die im Pilottest einbezogenen Schüler vollkommen repräsentativ für die Schülergruppe des eigentlichen Tests sind und ohne dass alle im Pilottest eingebrachten Aufgaben den angelegten Prüfkriterien genügen. Stehen solche Anker nicht zur Verfügung, muss die Erprobung der Blöcke zweimal nacheinander unter streng kontrollierten Bedingungen und mit repräsentativen Stichproben durchgeführt werden (als Pilotierung bzw. Normierung), wobei in den zweiten Durchgang nur diejenigen Aufgaben eingehen, die sich im ersten Durchgang bewährt haben.
Bei VERA erfolgt die Erprobung der Aufgaben als einfache Pilotierung mit Hilfe von Ankeraufgaben. Hier werden die Blöcke zu Testheften kombiniert, wobei mehrere Testheftversionen mit unterschiedlichen Block-Abfolgen verwendet werden, um Reihenfolge-Effekte der Aufgaben auszuschließen. Um eine statistisch hinreichende Aussagesicherheit zu gewinnen, erfolgt die Pilotierung mit 2.000 bis 3.000 Schülerinnen und Schülern aller Schularten, wobei jede Aufgabe von mindestens 400 Schülern bearbeitet wird. Diese Pilotierung findet etwa ein Jahr vor Durchführung des eigentlichen Tests statt. So absolviert beispielsweise bei VERA-8 eine Stichprobe von 3.000 Schülerinnen und Schülern des 8. Jahrgangs im Frühsommer die Pilottests, deren endgültige Version ein Jahr später im Frühjahr von dem nachfolgenden Jahrgang geschrieben werden wird. Beim Pilot-Test (in manchen Ländern auch beim eigentlichen Test) werden auch anonymisierte Hintergrundsdaten zum Schüler und zur Schule erhoben.
Die Rückläufe aus den Pilottests werden umfangreich mathematisch-statistisch ausgewertet. Schwerpunkt der Auswertungen bilden die Ermittlung der tatsächlichen Schwierigkeit der jeweiligen Aufgaben – vor der Pilotierung wurde diese von den Aufgabenentwicklern lediglich geschätzt – und die eindeutige Zuordnung der Aufgaben zu einer Kompetenz. Außerdem soll ausgeschlossen werden, dass die Aufgaben bestimmte Gruppen von Schülerinnen und Schülern benachteiligen, indem sie beispielsweise Vorlieben von Jungen oder Mädchen ansprechen, schularttypische Schwerpunktsetzungen unangemessen wiedergeben oder zu viel kulturspezifisches Hintergrundwissen erfordern. Grundlage der Analysen sind die Lösungshäufigkeiten der einzelnen Aufgaben, im Zusammenhang zum einen mit den Lösungshäufigkeiten der übrigen Aufgaben und zum anderen mit den erhobenen Hintergrunddaten (Geschlecht, Schulnote, Schultyp, eventuell vorhandener Zuwanderungshintergrund, Bundesland etc.).