Optimierung von Instrumenten und Analyseverfahren

Validität von Kompetenzmessungen 🔗

Das IQB entwickelt Mess­instrumente zur Erfassung konzeptuell fundierter Kompetenzen und zentraler Erträge von Bildungsprozessen. Dabei wird der Frage nachgegangen, inwieweit die Messinstrumente den Ansprüchen gerecht werden, die notwendig sind, um ihre Funktion zu erfüllen. Dies betrifft vor allem die Validität und die Dimensionalität der Verfahren: Erfassen sie das, was sie messen sollen und lassen sich verschiedene Facetten der Konstrukte abgrenzen?

Aktuelle Forschungsvorhaben in diesem Bereich:

• NEPS-Kohortensukzession im Sekundarbereich (NEPS-SC8)

Optimierung von Testinstrumenten und Administrationsbedingungen 🔗

Seit dem Jahr 2021 stellt das IQB die Testinstrumente des Instituts (IQB-Bildungstrend, VERA) und die damit verbundenen Prozesse zur Testentwicklung auf computer- bzw. technologiebasiertes Testen um. Im Rahmen der Umstellung untersucht das IQB mögliche Effekte der Bearbeitung von Testaufgaben an unterschiedlichen Endgeräten (Tablet, Laptop) und die Integration von Funktionen zum adaptiven und formativen Testen.

Ferner werden Variationen computerbasierter Administrationsbedingungen untersucht. Digitale Tests bieten vielfältige Möglichkeiten der Anpassung, etwa für Schüler*innen mit sonderpädagogischem Unterstützungsbedarf oder durch motivierende Elemente wie multimedial angereicherte Rückmeldungen oder Gamification sowie zur Validierung durch Zusatzdaten wie Antwortzeiten, mit denen gewissenhafte Bearbeitungsversuche von schnellem Rateverhalten unterschieden werden können. Welche Anpassungen technisch umgesetzt werden können (z. B. weil die Menge online übertragbarer Daten begrenzt ist, wenn die Tests in Schulen über Netze mit begrenzter Kapazität durchgeführt werden und inhaltlich sinnvoll sind, wird in Pilotierungsstudien des IQB untersucht. Die Forschung zielt darauf ab, Onlinetests so zu gestalten, dass alle Schüler*innen die Aufgaben motiviert und mit konstanter Anstrengungsbereitschaft bearbeiten. Dabei wird auch untersucht, inwieweit die Testgestaltung fair und valide ist, insbesondere im Hinblick auf mögliche Benachteiligungen von Schüler*innen mit sonderpädagogischem Förderbedarf oder nicht-deutscher Herkunftssprache.

Evaluation und Optimierung von Analyseverfahren 🔗

Das IQB arbeitet stetig daran, vorhandene und neue quantitative Methoden der Bildungsforschung zu prüfen und weiterzuentwickeln. Ein Schwerpunkt liegt auf der Anwendbarkeit von Analyse­verfahren, zum einen für die Bearbeitung der Kernaufgaben des IQB und zum anderen für Sekundäranalysen. Auch in der Bildungsforschung spielen datengetriebene Ansätze eine zunehmend wichtige Rolle, die in anderen Forschungsbereichen bei der Identifikation komplexer Zusammenhangsmuster vielversprechende Ergebnisse erzielt haben. Daher beschäftigt sich auch das IQB mit dem Potenzial von Machine-Learning-Verfahren.

Die Daten des IQB bieten ein erhebliches Potenzial für solche Analysen mit Verfahren des maschinellen Lernens, da mehrere hundert Kovariaten untereinander und mit Schüler*innenleistungen in Beziehung gesetzt werden können. Bevor Machine-Learning-Methoden jedoch sinnvoll zur Bearbeitung von Kernaufgaben des IQB oder in Sekundäranalysen eingesetzt werden können, ist es erforderlich, ihre Konfigurationen für diesen spezifischen Anwendungsbereich gründlich zu testen. Mit entsprechenden Vorhaben verfolgt das IQB das Ziel, zur Erprobung und Evaluation der Eignung von Machine-Learning-Verfahren für die Analyse großer Schulleistungsdatensätze beizutragen. Vor- und Nachteile der Verfahren sollen bewertet und Empfehlungen für die Anwendung bei verschiedenen Arten von Fragestellungen abgeleitet werden. Dazu werden Ergebnisse von Analysen mit Machine-Learning-Verfahren mit Ergebnissen traditioneller Analyse­methoden hinsichtlich Genauigkeit, Effizienz und Interpretierbarkeit verglichen.