• Studies
  • DESI
  • back to study list
• Data access
• Data transfer
• Available data
• FAQ
• Workshops
• Newsletter
• Preregistration
• Publications
• Projects of the FDZ
• Essential documents
• How to find us
• Team
• German Data Forum's Complaints Office

Assessment of Student Achievements in German and English as a Foreign Language (DESI)

Inhaltsverzeichnis

Projektbeschreibung

Leerdatensätze

Dokumentation

Hinweise zur Nutzung der Daten

Literatur

> Scientific Use Files beantragen

Projektbeschreibung

Die Studie wurde im Auftrag der Kultusminister*innen der Länder in der Bundesrepublik Deutschland durchgeführt. Erfasst wurden sprachliche Kompetenzen von Schüler*innen der 9. Jahrgangsstufe unterschiedlicher Schulformen in Deutschland in den Fächern Deutsch und Englisch. Die Studie wurde im September/Oktober 2003 und im Mai/Juni 2004 mit ca. 11.000 Schüler*innen durchgeführt. Die Daten umfassen ein breites Spektrum sprachlicher Fähigkeiten und geben Informationen über die Qualität des Lehrens und Lernens im Deutsch- und Englischunterricht. Zu ihrer Erfassung wurden Testaufgaben und Fragebögen eingesetzt. (Projekt/IQB)

back to overview

Blank data sets

For a first overview of the data set and its variables, dummy data sets containing the variables used and the value labels relating to them are provided for download here.

• dummy data set for students data (SPSS)
• dummy data set for school class data (SPSS)

 back to overview

Documentation

• The Scaling Manual of DESI provides detailed descriptions of the scales and variables used in the DESI study.
• For an overview of the variables in the datasets, please use our overview of variables in the student data set and our overview of variables in the school class data set.
• Information about the data
• Scaling manual - Surveys of Principals (German version only)

back to overview

Notes on the use of data

What are the reliabilities of the competence estimators (plausible values)?

Unfortunately, we only have the EAP reliabilities of the PVs (we have asked several people from the data consortium, no reliabilities were calculated for the WLEs and we do not have any data at the individual item level). The EAP reliabilities of the PVs for the DESI study can be found below.

1. Deutsch Leseverständnis (German Reading comprehension)

t1: EAP-Reliabilität  = 0.681 (Variablennamen: LK_T1pv1 - LK_T1pv5)

t2: EAP-Reliabilität  = 0.631 (Variablennamen: LK_T2pv1 - LK_T2pv1)

1. Deutsch Sprachbewusstheit (German Language Consciousness)

t1: EAP-Reliabilität  = 0.817 (Variablennamen: BD_T1pv1 - BD_T1pv5)

t2: EAP-Reliabilität  = 0.752 (Variablennamen: BD_T2pv1 - BD_T2pv5)

1. Deutsch Argumentation (German Argumentation)

t2: EAP-Reliabilität  = 0.563 (Variablennamen: KA_pv1 - KA_pv5)

1. Deutsch Wortschatz (German vocabulary)

t2: EAP-Reliabilität  = 0.733 (Variablennamen: WS_pv1 - WS_pv5)

1. Englisch: C-Test (English: C-Test)

t1: EAP-Reliabilität  = 0.927 (Variablennamen: CT_T1pv1 - CT_T1pv5)

t2: EAP-Reliabilität  = 0.868 (Variablennamen: CT_T2pv1 - CT_T2pv5)

1. Englisch Hörverstehen (English Listening)

t1: EAP-Reliabilität  = 0.699 (Variablennamen: HV_T1pv1 - HV_T1pv5)

t2: EAP-Reliabilität  = 0.656 (Variablennamen: HV_T2pv1 - HV_T2pv5)

1. Englisch Bewusstheit Grammatik (English Awareness of Grammar)

t2: EAP-Reliabilität  = 0.770 (Variablennamen: BEgr_pv1 - BEgr_pv5)

1. Englisch Bewusstheit Pragmatik (English Awareness of Pragmatics)

t1: EAP-Reliabilität  = 0.744 (Variablennamen: BEsp_pv1 - BEsp_pv5)

1. Englisch Leseverständnis (English Reading comprehension)

t2: EAP-Reliabilität  = 0.744 (Variablennamen: LV_pv1 - LV_pv5)

No reliability estimates are available for the WLE competence estimators.

Why should not only the scale manual be used?

Not all variables documented in the scale manual are also contained in the data sets available at the FDZ. Please use in addition our overview of variables.

Certain variables - which are documented in the scale manual - are missing. What is the reason for this? Can I still get these variables?

Unfortunately, we have not received a few variables from the consortium. They are documented in the scale manua but are not available in the original datasets submitted to us. These variables are:

sk_e1, sk_e2 [E, T1/T2], sk_d1, sk_d2 [D, T1/T2], sozsk1, sozsk2; T1LG5901, T1LG5902, T1LG5903, T1LG5904, T1LG5905, T1LG5906,T1LG5907; T2LG4401, T2LG4402, T2LG4403,T2LG4404, T2LG4405, T2LG4406, T2LG4407

How are teachers’ and students’ data sets linked?

The data sets of the students and teachers can be linked with each other via the variable "FDZ_idclass". To select German or English classes, the variables "FDZ_dklasse" (German) and "FDZ_eklasse" (English) can be used in the teachers’ data set, which can also be linked with the variable "FDZ_idclass" in the students’ data set.

How is the IQB data linked to the video data at DIPF?

In addition to the competence and survey data sets available at FDZ at IQB, videos were used as part of the DESI study. These data sets (http://doi.org/10.7477/6:1:1) can be applied for at the Research Data Centre at DIPF. Video data sets can be linked to the survey and competence data. The following procedure is needed when linking both data sources:

1. Data users apply for the video data at DIPF in addition to the survey and competence data available at the FDZ at IQB.
2. Data users save all characteristic values/variables obtained in their evaluations of the video data as data sets (preferably with one class per line).
3. This data set (csv, sav (SPSS) or r.data) is transmitted to the FDZ at IQB.
4. In this data set, we will recode the class IDs corresponding to the class IDs in the survey and competence data so that both data sources can be linked.
5. Notes on the recoded class IDs in the video data: In the video data, some classes appear twice (indicated by the addition "-2" at the end of the video ID), while in the class data set available at FDZ at IQB, each FDZ class ID appears only once. If class IDs are assigned twice, the additions "_1" and "_2" are added to the FDZ class ID in the combined data set. If the video record is to be linked to the students’ or class’ data sets, these additions must be removed and the class ID defined as a numeric variable.

Detailed information on the DESI video data can be found on the homepage of the Research Data Centre at DIPF.

back to overview

Literature

Selected further publications are listed  here (as of February 2023).

2022

Brunner, M., Stallasch, S. E. & Lüdtke, O. 2022, 31. March Empirical Benchmarks to Interpret Intervention Effects on Student Achievement in Elementary and Secondary School: Meta Analytic Results from Germany. Department of Educational Sciences, University of Potsdam, Germany; Leibniz Institute for Science and Mathematics Education, Germany; Centre for International Student Assessment, Germany. https://doi.org/10.35542/osf.io/39gbq

2021

Becker, M., Kocaj, A., Jansen, M., Dumont, H. & Lüdtke, O. (2021). Class-average achievement and individual achievement development: Testing achievement composition and peer spillover effects using five German longitudinal studies. Journal of Educational Psychology. https://doi.org/10.1037/edu0000519

Stallasch, S. E., Lüdtke, O., Artelt, C. & Brunner, M. (2021). Multilevel Design Parameters to Plan Cluster-Randomized Intervention Studies on Student Achievement in Elementary and Secondary School. Journal of Research on Educational Effectiveness, 22(10), 1–35. https://doi.org/10.1080/19345747.2020.1823539

2020

Stallasch, S. E., Lüdtke, O., Artelt, C. & Brunner, M. 2020, 3. March Multilevel Design Parameters to Plan Cluster-Randomized Intervention Studies on Student Achievement in Elementary and Secondary School. https://doi.org/10.35542/osf.io/f3p7q

2019

Ehmke, T., Kuhl, P. & Pietsch, M. (Hrsg.). (2019). Lehrer. Bildung. Gestalten. Beiträge zur empirischen Forschung in der Lehrerbildung (1. Aufl.). Weinheim: Beltz Juventa.

Jennek, J., Gronostaj, A. & Vock, M. (2019). Wie Lehrkräfte im Englischunterricht differenzieren. Eine Re-Analyse der DESI-Videos. Unterrichtswissenschaft, 47(1), 99–116. https://doi.org/10.1007/s42010-018-0027-7

Jennek, J., Gronostaj, A. & Vock, M. (2019). Wovon hängt ab, wie Lehrkräfte differenzieren? Eine Re-Analyse von Fragebogen- und Video-Daten der DESI-Studie. In T. Ehmke, P. Kuhl & M. Pietsch (Hrsg.), Lehrer. Bildung. Gestalten. Beiträge zur empirischen Forschung in der Lehrerbildung (1. Aufl., S. 303–313). Weinheim: Beltz Juventa.

Steinmann, I. (2019). Ganztagsschule in Deutschland: Effekte auf Leistungsniveau und soziale Bildungsungleichheit - Dissertation. Technische Universität Dortmund, Dortmund. https://doi.org/10.17877/DE290R-19905

Steinmann, I. & Strietholt, R. (2019). Effekte nachmittäglicher Bildungsangebote auf sprachliche Kompetenzentwicklungen. Zeitschrift für Pädagogik, 65(2), 285–306. https://doi.org/10.25656/01:23942

Käfer, J., Kuger, S., Klieme, E. & Kunter, M. (2018). The significance of dealing with mistakes for student achievement and motivation: results of doubly latent multilevel analyses. European Journal of Psychology of Education, 80(3), 1–23. https://doi.org/10.1007/s10212-018-0408-7

2018

Plüschke, A. (2018). Selbstüberschätzung im schulischen Kontext: Eine Reanalyse von Daten der DESI-Studie - Unveröffentlichte Masterarbeit. Universität Potsdam, Potsdam.

2012

Hartig, J. & Frey, A. (2012). Konstruktvalidierung und Skalenbeschreibung in der Kompetenzdiagnostik durch die Vorhersage von Aufgabenschwierigkeiten. Psychologische Rundschau, 63, 43–49.

Klieme, E. (2012). Deutsch-Englisch-Schülerleistungen-International (DESI) (Version 1) [Datensatz]. Berlin: IQB - Institut zur Qualitätsentwicklung im Bildungswesen. https://doi.org/10.5159/IQB_DESI_v1

2011

Göbel, K., Rauch, D. & Vieluf, S. (2011). Leistungsbedingungen und Leistungsergebnisse von Schülerinnen und Schülern türkischer, russischer und polnischer Herkunftssprachen. Zeitschrift für interkulturellen Fremdsprachenunterricht, 16(2), 50–65.

2010

Göbel, K., Vieluf, S. & Hesse, H.-G. (2010). Die Sprachentransferunterstützung im Deutsch- und Englischunterricht bei Schülerinnen und Schülern unterschiedlicher Sprachlernerfahrung. In C. Allemann-Ghionda, P. Stanat, K. Göbel & C. Röhner (Hrsg.), Migration, Identität, Sprache und Bildungserfolg (Zeitschrift für Pädagogik. Beiheft., Bd. 55, S. 101–122). Weinheim u.a.: Beltz. Verfügbar unter https://nbn-resolving.org/urn:nbn:de:0111-opus-69470

Klieme, E., Steinert, B. & Hochweber, J. (2010). Zur Bedeutung der Schulqualität für Unterricht und Lernergebnisse. In W. Bos, E. Klieme & O. Köller (Hrsg.), Schulische Lerngelegenheiten und Kompetenzentwicklung (S. 231–255). Münster: Waxmann.

2009

Hesse, H.-G. & Göbel, K. (2009). Mehrsprachigkeit als Kapital. Ergebnisse der DESI Studie. In U. Neumann & I. Gogolin (Hrsg.), Streitfall Zweisprachigkeit (S. 281–287). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-531-91596-8_16

Wagner, W., Helmke, A. & Rösner, E. (2009). Deutsch Englisch Schülerleistungen international. Dokumentation der Erhebungsinstrumente für Schülerinnen und Schüler, Eltern und Lehrkräfte (Materialien zur Bildungsforschung 25,1). Frankfurt, M.: GFPF; Deutsches Institut für Internationale Pädagogische Forschung (DIPF). Verfügbar unter http://nbn-resolving.de/urn:nbn:de:0111-opus-32520

2008

DESI-Konsortium (Hrsg.). (2008). Unterricht und Kompetenzerwerb in Deutsch und Englisch. DESI-Ergebnisse Band 2. Weinheim: Beltz Pädagogik.

Klieme, E. (Hrsg.). (2008). Unterricht und Kompetenzerwerb in Deutsch und Englisch. Ergebnisse der DESI-Studie - Abschlussbericht. Weinheim: Beltz. Verfügbar unter http://www.pedocs.de/volltexte/2010/3149/

Wagner, W. (2008). Methodenprobleme bei der Analyse der Unterrichtswahrnehmung aus Schülersicht - Dissertation. Universität Koblenz-Landau, Koblenz-Landau. Verfügbar unter https://nbn-resolving.org/urn:nbn:de:hbz:lan1-2345

2007

Beck, B. & Klieme, E. (Hrsg.). (2007). Sprachliche Kompetenzen. Konzepte und Messung : DESI-Studie (Deutsch Englisch Schülerleistungen International) (Beltz Pädagogik). Weinheim: Beltz Verlag. Verfügbar unter http://deposit.dnb.de/cgi-bin/dokserv?id=2638047&prov=M&dok_var=1&dok_ext=htm

Helmke, A., Helmke, T., Kleinbub, I., Nordheider, I., Schrader, F.-W. & Wagner, W. (2007). Die DESI-Videostudie. Unterrichtstranskripte für die Lehrerausbildung nutzen. Der fremdsprachliche Unterricht. Englisch, 41(90), 37–45.

Jude, N. & Klieme, E. (2007). Sprachliche Kompetenz aus Sicht der pädagogisch-psychologischen Diagnostik. In B. Beck & E. Klieme (Hrsg.), Sprachliche Kompetenzen. Konzepte und Messung : DESI-Studie (Deutsch Englisch Schülerleistungen International) (Beltz Pädagogik ). Weinheim: Beltz Verlag.

Willenberg, H. (Hrsg.). (2007). Kompetenzhandbuch für den Deutschunterricht. Auf der empirischen Basis des DESI-Projekts. Baltmannsweiler: Schneider Hohengehren.

Beck, B., Kühnbach, O., Radisch, F. & Stecher, L. (2006). Rückmeldungen an Schulen. Längsschnittstudie Deutsch-Englisch-Schülerleistungen-International, Studie zur Entwicklung von Ganztagsschulen. DIPF informiert, 9, 11–15.

2006

Gathen, J. v. d. (2006). Die innerschulische Rezeption von Leistungsrückmeldungen aus Large-Scale-Assessments - Grundlagen und Ziele von Fallstudien. In H. Kuper & J. Schneewind (Hrsg.), Rückmeldung und Rezeption von Forschungsergebnissen. Zur Verwendung wissenschaftlichen Wissens im Bildungssystem (S. 77–88). Münster: Waxmann.

Klieme, E., Eichler, W., Helmke, A., Lehmann, R. H., Nold, G., Rolff, H.-G., Schröder, K., Thomé, G. & Willenberg, H. (2006). Unterricht und Kompetenzerwerb in Deutsch und Englisch. Zentrale Befunde der Studie Deutsch Englisch Schülerleistungen International (DESI).

Köller, O., Trautwein, U., Cortina, K. S. & Baumert, J. (2006). Rezeptive Kompetenzen in Englisch am Ende der gymnasialen Oberstufe. Verankerung deutscher Abiturienten am Gemeinsamen Europäischen Referenzrahmen für die Sprachen. Unterrichtswissenschaft, 34(3), 239–255. Verfügbar unter https://nbn-resolving.org/urn:nbn:de:0111-opus-55173 ; http://www.digizeitschriften.de/dms/img/?PPN=PPN513613439_0034&DMDID=DMDLOG_0021

Neumann, A. (2006). Stabilität von Raterurteilen über die Zeit - Anpassung an vorhandene Schülerleistungen. Auswertung zweier Replikationsstudien zu den Urteilen in "DESI-Textproduktion". Empirische Pädagogik, 20(3), 286–296.

Nold, G., Klieme, E. & Schröder, K. (2006). Messung von Schülerkompetenzen - Der Beitrag der DESI-Studie zur Diskussion um Bildungsstandards und Referenzrahmen. In J.-P. Timm (Hrsg.), Fremdsprachenlernen und Fremdsprachenforschung. Kompetenzen, Standards, Lernformen, Evaluation. Festschrift für Helmut Johannes Vollmer (Giessener Beiträge zur Fremdsprachendidaktik, S. 85–104). Tübingen: Narr.

Nold, G. & Rossa, H. (2006). Anforderungsprofile von Aufgaben: Task-based assessment und task-based language learning. In I. Hosenfeld & F.-W. Schrader (Hrsg.), Schulische Leistung. Grundlagen, Bedingungen, Perspektiven (S. 65–86). Münster, Westfalen: Waxmann.

2005

Steinert, B. (2005). Forschungsansätze und Forschungsfragen zu Ganztagsangeboten im Rahmen von Arbeitsplatzuntersuchung (APU) und Deutsch-Englisch-Schülerleistungen-International (DESI). In F. Radisch & E. Klieme (Hrsg.), Ganztagsangebote in der Schule. Internationale Erfahrungen und empirische Forschungen (S. 138–163). Bonn: Bundesministerium für Bildung und Forschung.

2004

Helmke, A. & Hosenfeld, I. (2004). Vergleichsarbeiten - Standards - Kompetenzstufen. Begriffliche Klärung und Perspektiven. In M. Wosnitza, R. S. Jäger & A. Frey (Hrsg.), Lernprozess, Lernumgebung und Lerndiagnostik. Wissenschaftliche Beiträge zum Lernen im 21. Jahrhundert (S. 56–75). Landau: Verl. Empirische Pädagogik.

Helmke, A. (2004). Unterrichtsqualität erfassen, bewerten, verbessern (3. Aufl.). Seelze: Kallmeyer.

2003

Beck, B. & Klieme, E. (2003). DESI - Eine Längsschnittstudie zur Untersuchung des Sprachunterrichts in deutschen Schulen. Empirische Pädagogik, 17(3), 380–395.

Helmke, A., Göbel, K., Hosenfeld, I., Schrader, F.-W., Vo, T. & Wagner, W. (2003). Zur Rolle des Unterrichts im Projekt DESI. Empirische Pädagogik, 17(3), 396–411.

  back to overview