Erprobungsstudie 2019 zu den Bildungsstandards Deutsch und Englisch in der Sekundarstufe I
Ziele und Inhalte der Erprobungsstudie
Im Rahmen der Vorbereitung des IQB-Bildungstrends 2022 wurden von Lehrkräften unter Federführung des IQB und Anleitung bzw. Beratung durch wissenschaftliche Kooperationspartnerinnen und Kooperationspartner aus der Fachdidaktik ergänzende Testaufgaben in den Fächern Deutsch und Englisch entwickelt. Diese werden unter anderem benötigt, um veraltete Aufgaben zu ersetzen und eine höhere Messgenauigkeit bei Schülerinnen und Schülern mit gering ausgeprägten Kompetenzen zu erzielen. Ziel der Erprobungsstudie 2019 war es, die neu entwickelten Testaufgaben vor deren Einsatz im IQB-Bildungstrend 2022 einer größeren Zahl an Schülerinnen und Schülern vorzulegen, um sicherzustellen, dass sie im Schwierigkeitsgrad angemessen und für die Schülerinnen und Schüler allgemein gut verständlich sind.
Um die Güte der Testaufgaben angemessen bewerten zu können, ist es auch erforderlich, die schulischen und außerschulischen Bedingungen, unter denen die Jugendlichen lernen, zu untersuchen. Deshalb wurden die Schülerinnen und Schüler sowie die Lehrkräfte gebeten, einen Fragebogen auszufüllen.
Wer nahm an der Studie teil und wann fand sie statt?
An der Erprobungsstudie nahmen etwa 5.800 Schülerinnen und Schüler der 9. Jahrgangsstufe an fast 300 allgemeinen Schulen und Förderschulen aus neun Bundesländern teil. Der Testzeitraum erstreckte sich von April bis Mai 2019. An den einzelnen Schulen wurde die Erhebung an einem einzelnen Vormittag im genannten Zeitraum durchgeführt.
Wer verantwortet die Studie und wer führte sie durch?
Die wissenschaftliche und datenschutzrechtliche Gesamtverantwortung für die Studie liegt beim Institut zur Qualitätsentwicklung im Bildungswesen (IQB) an der Humboldt-Universität zu Berlin unter der Leitung von Prof. Dr. Petra Stanat. Am IQB wurden die eingesetzten Erhebungsinstrumente entwickelt, vorerprobt und optimiert. Mit der Organisation und Durchführung der Studie wurde die IEA Hamburg beauftragt. Der Test selbst wurde von Testleiterinnen und Testleitern durchgeführt, die von der IEA Hamburg für diese Aufgabe geschult wurden.
Welche Aufgaben wurden in den Tests verwendet?
Es wurden verschiedene Aufgabenformate verwendet: a) geschlossene Aufgabenformate (z. B. sogenannte Multiple-Choice-Aufgaben, bei denen aus verschiedenen Antwortalternativen auszuwählen ist), b) halboffene Aufgabenformate (mit einer Kurzantwort zu bearbeitende Aufgaben) und c) offene Aufgabenformate (z. B. frei zu formulierende Antworten mit einer Länge von mehreren Sätzen). Geschlossene Aufgabenformate wurden maschinell ausgewertet. Halboffene und offene Formate erforderten Beurteilungen durch geschulte Kodiererinnen und Kodierer anhand von genauen Kodieranweisungen.
Hat jede Schülerin/jeder Schüler die gleichen Aufgaben bearbeitet?
Bei der Untersuchung wurden verschiedene Aufgabenhefte eingesetzt. Jede Schülerin bzw. jeder Schüler bearbeitete also nur einen kleinen Teil der ingesamt zu erprobenden Aufgaben. Welches Aufgabenheft eine einzelne Schülerin/ein einzelner Schüler bearbeitet hat, wurde nach dem Zufallsprinzip festgelegt. Schülerinnen und Schülern an Förderschulen erhielten Aufgaben, die von Expertinnen und Experten aus der Sonderpädagogik entwickelt wurden.
Wie wurden die Aufgaben bearbeitet?
An einem Teil der Schulen erhielten die Schülerinnen und Schüler alle Aufgaben auf Papier, während in anderen Schulen einige der Aufgaben am Computer bearbeitet wurden. Auf diese Weise sollte im Rahmen der Machbarkeitsstudie zum technologiebasierten Assessment (TBA) überprüft werden, ob Unterschiede zwischen der papier- und computerbasierten Bearbeitung von Aufgaben bestehen.
Wie wurde mit den erhobenen Daten umgegangen?
Lehrkräfte, anderes Schulpersonal oder Erziehungsberechtigte werden zu keinem Zeitpunkt Einblick in die Testantworten oder die Angaben im Schülerfragebogen erhalten. Die bearbeiteten Aufgabenhefte und Fragebögen wurden von den Testleiterinnen und Testleitern nach der Bearbeitung eingesammelt und direkt an die IEA Hamburg weitergeleitet. Im Anschluss an die Erhebungen wurden die Daten durch die IEA Hamburg aufbereitet und in pseudonymisierter Form (d. h. ohne Schul- und Schülernamen) an die Studienleitung am IQB zur Auswertung übermittelt. Alle Berichte über die Ergebnisse der Studie werden auf zusammengefassten Daten beruhen. Es wird also nicht möglich sein, die Ergebnisse einzelnen Personen zuzuordnen.
Die Einhaltung aller datenschutzrechtlichen Bestimmungen war Voraussetzung für die Durchführung der Studie. Alle in der Studie verwendeten Unterlagen und Abläufe wurden von den Kultusministerien der beteiligten Länder unter Einbezug des bzw. der Datenschutzbeauftragten geprüft und freigegeben.