The Reproducibility and Robustness of Secondary Analyses in Educational Research: The Role of Publication Bias and Researcher Degrees of Freedom (META-REP-IQB)


Leitung

Dr. Malte Jansen
Dr. Aleksander Kocaj

Wissenschaftliche Mitarbeiter*innen

Aishvarya Aravindan Rajagopal (ab 01.04.2022)

Studentische Mitarbeiter*innen

Nikolas Weigt

Laufzeit

01. Februar 2022 - 31. Januar 2025

Förderung

Deutsche Forschungsgemeinschaft (DFG)


Projektbeschreibung

Im Februar 2022 startet das von der Deutschen Forschungsgemeinschaft (DFG) geförderte Schwerpunktprogramm "META-REP: A Meta-scientific Programme to Analyse and Optimise Replicability in the Behavioural, Social, and Cognitive Sciences" (SPP 2317). Ziel des interdisziplinären Projektes unter Koordination der LMU München ist es, systematisch zu erforschen, a) was Replizierbarkeit bedeutet und wann eine Replikation als erfolgreich betrachtet werden kann, b) welche Faktoren Replikationserfolgsraten beeinflussen und c) mit welchen Maßnahmen Replikationserfolgsraten so erhöht werden können, dass belastbare Forschungsergebnisse erzielt werden. Es handelt sich also um ein metawissenschaftliches Forschungsprogramm, bei dem ein Austausch  zwischen verschiedenen empirisch arbeitenden sozialwissenschaftlichen Disziplinen angestrebt wird, um Gemeinsamkeiten und Besonderheiten bei der Erhöhung von Replikationserfolgen herauszuarbeiten. Insgesamt werden 15 Projekte aus den Bereichen der Kognitiven Psychologie, Neuropsychologie, Methodenforschung, Kommunikationswissenschaften, Wirtschaftswissenschaften und Bildungsforschung für jeweils 3 Jahre gefördert.

Das Teilprojekt am Forschungsdatenzentrum (FDZ) des IQBs unter Leitung von Dr. Malte Jansen und Dr. Aleksander Kocaj widmet sich den Fragen nach der Reproduzierbarkeit und Robustheit von Forschungsergebnissen auf Basis von Sekundäranalysen in der empirischen Bildungsforschung (Laufzeit 02/2022-01/2025, 231.578€). Grundlage des Projekts sind die Datennutzungsanträge, die Forschende einreichen, um Datensätze am FDZ des IQB sekundäranalytisch auszuwerten. In diesen Anträgen beschreiben Forschende ihre zentrale Fragestellungen, Hypothesen und ihren geplanten Auswertungsansätze. Diese Angaben können mit aus den Anträgen entstehenden Publikationen systematisch verglichen und im nächsten Schritt die Ergebnisse von unabhängigen Forschenden reproduziert werden. Das Teilprojekt am FDZ des IQB hat vier Ziele. Erstens soll geprüft werden, ob Datennutzungsanträge, die in signifikanten bzw. hypothesenbestätigenden Ergebnissen münden, auch eher zur Publikation eingereicht und publiziert werden (Publication Bias). Zweitens soll ein Index entwickelt werden, der die Ähnlichkeit zwischen Datennutzungsanträgen und resultierenden Publikationen quantifiziert, um Hinweise auf eine selektive Ergebnisberichterstattung (Selective Reporting) zu liefern. Drittens wird geprüft, ob sich die Ergebnisse ausgewählter Datennutzungsanträge reproduzieren lassen, wenn die von den Autor*innen beschriebene Analysestrategie angewendet wird. Dabei wird der Vorteil genutzt, dass die zugrundeliegenden Daten am FDZ des IQB verfügbar sind. Darauf aufbauend soll viertens untersucht werden, wie robust ausgewählte Forschungsergebnisse hinsichtlich alternativer plausibler Auswertungsmethoden sind. Insgesamt zielt das Teilprojekt am FDZ des IQBs darauf ab, Quellen von Heterogenität zu identifizieren, die die Replizierbarkeit und Reproduzierbarkeit von Forschungsergebnissen in der empirischen Bildungsforschung beeinflussen können.

Homepage des Schwerpunktprogramms

https://www.psy.lmu.de/soz/meta-rep/index.html