Methodische Hinweise

Methodische Hinweise zu den einzelnen Studien finden Sie auf den entsprechenden Studienseiten. An dieser Stelle möchten wir über studienübergreifende Besonderheiten im Umgang mit unseren Daten informieren.

 

Tutorial (Replikations-)Analysen von Large-Scale-Assessment-Daten in R

Im Tutorial "Replikationsanalysen mit eatRep" (DOI: 10.5159/IQB_Tutorial_Replikationsanalyse_v1) werden einige typische Analysen mit dem R-Paket "eatRep" beispielhaft demonstriert.

Für die Bestimmung deskriptiver Statistiken, Häufigkeitsverteilungen oder von Parametern linearer bzw. logistischer Regressionen in Datensätzen großer Schulleistungsstudien (z. B. IQB-Ländervergleich und IQB-Bildungstrend, PISA, TIMSS) sind drei Besonderheiten zu berücksichtigen:

  1. Der Datensatz stellt keine einfache Zufallsstichprobe (simple random sample) aus der Population dar. Stattdessen erfolgte die Ziehung in verschiedenen Schichten (Stratifizierung). Dies hat zur Folge, dass die (ungewichtete) Verteilung der Schülerinnen und Schüler auf die verschiedenen Bundesländer, Schularten usw. (je nach Definition der Ziehungsschichten) nicht den entsprechenden Anteilen in der Population entsprechen.
  2. Die Ziehungseinheiten (sampling units) bei der Stichprobenziehung sind Schulen und in einem zweiten Schritt innerhalb der gezogenen Schulen in der Regel vollständige Klassen. Da sich Schüler*innen innerhalb einer Schule bzw. Klasse ähnlicher sind als Schüler*nnen verschiedener Schulen bzw. Klassen, ist die Stichprobe homogener, als es eine einfache Zufallsstichprobe gleicher Größe wäre (Klumpungs- bzw. Designeffekt).
  3. Die interessierenden Variablen (Kompetenzen) sind latente Konstrukte, d. h. nicht direkt beobachtbar. Zudem enthalten viele (auch direkt beobachtete) Variablen fehlende Werte. Die Kompetenzwerte stellen daher Schätzungen auf Basis des jeweils gewählten Testmodells dar. Fehlende Datenpunkte wurden in der Regel imputiert.

Das R-Paket "eatRep" ermöglicht die Bestimmung von Mittelwerten, Häufigkeitsverteilungen, Perzentilen und Regressionen unter Berücksichtigung der geschachtelten und imputierten Stichprobe. Auch Trendanalysen können gerechnet werden.

Die oben genannten Besonderheiten werden im R-Paket "eatRep" wie folgt berücksichtigt:

  1. Einbeziehung von individuellen Personengewichten
  2. Replikationsmethoden (Bootstrap, Jackknife oder “Balanced repeated replicate”-Methoden)
  3. Poolen der Ergebnisse entsprechend den Regeln von Rubin (1987).