Technologiebasierte Kompetenzdiagnostik
In der pädagogisch-psychologischen Diagnostik werden vermehrt computergestützte Testverfahren eingesetzt. Für diese Entwicklung spielen nicht nur administrative und ökonomische Erwägungen eine Rolle (z.B. Einsparungen beim Testmaterial und beim Testleitungspersonal), sondern auch inhaltliche Gesichtspunkte, insbesondere die Möglichkeit der Anreicherung und Optimierung der Testverfahren. Im Bereich der technologiebasierten Kompetenzdiagnostik lassen sich allgemein zwei Forschungsstrategien unterscheiden. Zum einen wird versucht, bereits bestehende Messinstrumente auf neue Medien zu übertragen und zu bestimmen, inwieweit sich die Äquivalenz der Messinstrumente über Testmedien hinweg gewährleisten lässt. Zum anderen wird angestrebt, durch interaktive Aufgaben oder die Verwendung von Videos Kompetenzmessungen inhaltlich anzureichern oder effizienter zu gestalten.
An dieser Differenzierung des Forschungsfeldes orientieren sich auch die Untersuchungen im Bereich der technologiebasierten Kompetenzdiagnostik am IQB. Erstens wurde in einer Reihe von Studien die Vergleichbarkeit von Messinstrumenten, die mit unterschiedlichen Testmedien – Smartphones, Notebook-PCs und Papier-Stift – operationalisiert wurden, untersucht. Nach den Ergebnissen dieser Studien, die sich mit der Mehrzahl der in der Literatur berichteten Befunden decken, eignen sich computerbasierte Testungen zur Leistungsmessung ebenso gut wie die papierbasierten Varianten. Je nach konkreter Testrealisierung müssen jedoch Methodenfaktoren berücksichtigt werden, um dem Einfluss spezifischer Testmedien Rechnung zu tragen.
Ein weiteres Ziel des IQB ist es, innovative Testformate zu entwickeln und hinsichtlich ihrer psychometrischen Eignung zu überprüfen. Erste Untersuchungen zur Erfassung von Verstehensleistungen in den Naturwissenschaften mittels kurzer Videos und anschließenden Verständnisfragen haben beispielsweise gezeigt, dass es sich bei dieser sogenannten Sehverstehensleistung nicht um ein eigenständiges Konstrukt handelt, sondern um eine naturwissenschaftliche Verstehensleistung, wie sie auch mit traditionellen Papier-Stift-Verfahren erfasst wird.
In Zukunft soll versucht werden, die mit modernen Testmedien verbundenen Möglichkeiten weiter auszuschöpfen. Dabei werden wir das Augenmerk vor allem auf Kompetenzen richten, von denen angenommen werden kann, dass sie sich einer Erfassung mit herkömmlichen Testmedien entziehen, mit innovativen Verfahren jedoch zugänglich gemacht werden können.
Ausgewählte Publikationen
- Schroeders, U., & Wilhelm, O. (2011). Equivalence of reading and listening comprehension across test media. Educational and Psychological Measurement, 71 (5), 849–869.
- Schroeders, U., Wilhelm, O. & Bucholtz, N. (2010). Reading, listening, and viewing comprehension in English as a foreign language: One or more constructs? Intelligence, 38, 562–573.
- Schroeders, U., Wilhelm, O. & Schipolowski, S. (2010). Internet-based ability testing. In S. D. Gosling, & J. A. Johnson (Eds.), Advanced methods for behavioral research on the Internet (S. 131–148). Washington, DC: American Psychological Association.
- Schroeders, U. & Wilhelm, O. (2010). Testing reasoning ability with handheld computers, notebooks, and paper and pencil. European Journal of Psychological Assessment, 26, 284–292.