Assessment of Student Achievements in German and English as a Foreign Language (DESI)
Table of contents
> Link to application form (Scientific Use Files)
| Data Set Published on | 01.05.2012 |
|---|---|
| Current Version Available Since | 01.05.2012 |
| Survey Period | 2003, 2004 |
| Sample | Students in grade 9 (N=10,543); Schools (N=239); Classes (N=459) |
| Survey Unit | Parents Students Teachers |
| Measured Competencies | Language Achievement German, Forgein Language Achievement: English |
| Region | Germany, Baden-Wuerttemberg, Bavaria, Berlin, Brandenburg, Bremen, Hamburg, Hesse, Mecklenburg-Western Pomerania, Lower Saxony, North Rhine-Westphalia, Rhineland-Palatinate, Saarland, Saxony, Saxony-Anhalt, Schleswig-Holstein, Thuringia |
| Data Producers | Klieme, Prof. Dr. Eckhard |
| Funded by | Standing Conference of the Ministers of Education and Cultural Affairs of the Länder in the Federal Republic of Germany |
| Suggested Citation | Klieme, E. (2012). Deutsch-Englisch-Schülerleistungen-International (DESI) [Assessment of Student Achievements in German and English as a Foreign Language (DESI)] (Version 1) [Data set]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_DESI_v1 |
| Restriction Notice | Please note that the codebook does not correspond completely with the data sets available at the FDZ. Not all variables documented in the codebook are also contained in the data sets available at the FDZ. Please use our overview of variables for a complete overview of the data sets. Digital documentation of the survey instruments here. The project was supplemented by video data. The Research Data Centre at the DIPF also provides further information about the video data. If you intend to link the competency and survey data sets with those of the video surveys at person level, please indicate this in the application form when applying for data access). |
Project description
DESI was commissioned by the ministers of culture and education of the German federal states in order to measure the linguistic achievement of 9th-grade students attending various school types in the domains of German and English. The survey was conducted in September/October 2003 and in May/June 2004, assessing about 11,000 students. DESI covers a broad spectrum of linguistic skills and provides information on the quality of teaching and learning in the domains of German and English. Valuable information is made available through test tasks and questionnaires regarding classroom teaching. (IQB)
Blank data sets
For a first overview of the data set and its variables, dummy data sets containing the variables used and the value labels relating to them are provided for download here.
Documentation
- The
Scaling Manual of DESI provides detailed descriptions of the scales and variables used in the DESI study. - For an overview of the variables in the datasets, please use our overview of variables in the student data set and our overview of variables in the school class data set.
- Information about the data
Notes on the use of data
What are the reliabilities of the competence estimators (plausible values)?
Unfortunately, we only have the EAP reliabilities of the PVs (we have asked several people from the data consortium, no reliabilities were calculated for the WLEs and we do not have any data at the individual item level). The EAP reliabilities of the PVs for the DESI study can be found below.
- Deutsch Leseverständnis (German Reading comprehension)
t1: EAP-Reliabilität = 0.681 (Variablennamen: LK_T1pv1 - LK_T1pv5)
t2: EAP-Reliabilität = 0.631 (Variablennamen: LK_T2pv1 - LK_T2pv1)
- Deutsch Sprachbewusstheit (German Language Consciousness)
t1: EAP-Reliabilität = 0.817 (Variablennamen: BD_T1pv1 - BD_T1pv5)
t2: EAP-Reliabilität = 0.752 (Variablennamen: BD_T2pv1 - BD_T2pv5)
- Deutsch Argumentation (German Argumentation)
t2: EAP-Reliabilität = 0.563 (Variablennamen: KA_pv1 - KA_pv5)
- Deutsch Wortschatz (German vocabulary)
t2: EAP-Reliabilität = 0.733 (Variablennamen: WS_pv1 - WS_pv5)
- Englisch: C-Test (English: C-Test)
t1: EAP-Reliabilität = 0.927 (Variablennamen: CT_T1pv1 - CT_T1pv5)
t2: EAP-Reliabilität = 0.868 (Variablennamen: CT_T2pv1 - CT_T2pv5)
- Englisch Hörverstehen (English Listening)
t1: EAP-Reliabilität = 0.699 (Variablennamen: HV_T1pv1 - HV_T1pv5)
t2: EAP-Reliabilität = 0.656 (Variablennamen: HV_T2pv1 - HV_T2pv5)
- Englisch Bewusstheit Grammatik (English Awareness of Grammar)
t2: EAP-Reliabilität = 0.770 (Variablennamen: BEgr_pv1 - BEgr_pv5)
- Englisch Bewusstheit Pragmatik (English Awareness of Pragmatics)
t1: EAP-Reliabilität = 0.744 (Variablennamen: BEsp_pv1 - BEsp_pv5)
- Englisch Leseverständnis (English Reading comprehension)
t2: EAP-Reliabilität = 0.744 (Variablennamen: LV_pv1 - LV_pv5)
No reliability estimates are available for the WLE competence estimators.
Why should not only the scale manual be used?
Not all variables documented in the scale manual are also contained in the data sets available at the FDZ. Please use in addition our overview of variables.
Certain variables - which are documented in the scale manual - are missing. What is the reason for this? Can I still get these variables?
Unfortunately, we have not received a few variables from the consortium. They are documented in the scale manua but are not available in the original datasets submitted to us. These variables are:
sk_e1, sk_e2 [E, T1/T2], sk_d1, sk_d2 [D, T1/T2], sozsk1, sozsk2; T1LG5901, T1LG5902, T1LG5903, T1LG5904, T1LG5905, T1LG5906,T1LG5907; T2LG4401, T2LG4402, T2LG4403,T2LG4404, T2LG4405, T2LG4406, T2LG4407
How are teachers’ and students’ data sets linked?
The data sets of the students and teachers can be linked with each other via the variable "FDZ_idclass". To select German or English classes, the variables "FDZ_dklasse" (German) and "FDZ_eklasse" (English) can be used in the teachers’ data set, which can also be linked with the variable "FDZ_idclass" in the students’ data set.
How is the IQB data linked to the video data at DIPF?
In addition to the competence and survey data sets available at FDZ at IQB, videos were used as part of the DESI study. These data sets (http://doi.org/10.7477/6:1:1) can be applied for at the Research Data Centre at DIPF. Video data sets can be linked to the survey and competence data. The following procedure is needed when linking both data sources:
- Data users apply for the video data at DIPF in addition to the survey and competence data available at the FDZ at IQB.
- Data users save all characteristic values/variables obtained in their evaluations of the video data as data sets (preferably with one class per line).
- This data set (csv, sav (SPSS) or r.data) is transmitted to the FDZ at IQB.
- In this data set, we will recode the class IDs corresponding to the class IDs in the survey and competence data so that both data sources can be linked.
- Notes on the recoded class IDs in the video data: In the video data, some classes appear twice (indicated by the addition "-2" at the end of the video ID), while in the class data set available at FDZ at IQB, each FDZ class ID appears only once. If class IDs are assigned twice, the additions "_1" and "_2" are added to the FDZ class ID in the combined data set. If the video record is to be linked to the students’ or class’ data sets, these additions must be removed and the class ID defined as a numeric variable.
Detailed information on the DESI video data can be found on the homepage of the Research Data Centre at DIPF.
Literature
Selected further publications are listed here (as of February 2023).
2022
Brunner, M., Stallasch, S. E. & Lüdtke, O. 2022, 31. March Empirical Benchmarks to Interpret Intervention Effects on Student Achievement in Elementary and Secondary School: Meta Analytic Results from Germany. Department of Educational Sciences, University of Potsdam, Germany; Leibniz Institute for Science and Mathematics Education, Germany; Centre for International Student Assessment, Germany. https://doi.org/10.35542/osf.io/39gbq
2021
Becker, M., Kocaj, A., Jansen, M., Dumont, H. & Lüdtke, O. (2021). Class-average achievement and individual achievement development: Testing achievement composition and peer spillover effects using five German longitudinal studies. Journal of Educational Psychology. https://doi.org/10.1037/edu0000519
Stallasch, S. E., Lüdtke, O., Artelt, C. & Brunner, M. (2021). Multilevel Design Parameters to Plan Cluster-Randomized Intervention Studies on Student Achievement in Elementary and Secondary School. Journal of Research on Educational Effectiveness, 22(10), 1–35. https://doi.org/10.1080/19345747.2020.1823539
2020
Stallasch, S. E., Lüdtke, O., Artelt, C. & Brunner, M. 2020, 3. March Multilevel Design Parameters to Plan Cluster-Randomized Intervention Studies on Student Achievement in Elementary and Secondary School. https://doi.org/10.35542/osf.io/f3p7q
2019
Ehmke, T., Kuhl, P. & Pietsch, M. (Hrsg.). (2019). Lehrer. Bildung. Gestalten. Beiträge zur empirischen Forschung in der Lehrerbildung (1. Aufl.). Weinheim: Beltz Juventa.
Jennek, J., Gronostaj, A. & Vock, M. (2019). Wie Lehrkräfte im Englischunterricht differenzieren. Eine Re-Analyse der DESI-Videos. Unterrichtswissenschaft, 47(1), 99–116. https://doi.org/10.1007/s42010-018-0027-7
Jennek, J., Gronostaj, A. & Vock, M. (2019). Wovon hängt ab, wie Lehrkräfte differenzieren? Eine Re-Analyse von Fragebogen- und Video-Daten der DESI-Studie. In T. Ehmke, P. Kuhl & M. Pietsch (Hrsg.), Lehrer. Bildung. Gestalten. Beiträge zur empirischen Forschung in der Lehrerbildung (1. Aufl., S. 303–313). Weinheim: Beltz Juventa.
Steinmann, I. (2019). Ganztagsschule in Deutschland: Effekte auf Leistungsniveau und soziale Bildungsungleichheit - Dissertation. Technische Universität Dortmund, Dortmund. https://doi.org/10.17877/DE290R-19905
Steinmann, I. & Strietholt, R. (2019). Effekte nachmittäglicher Bildungsangebote auf sprachliche Kompetenzentwicklungen. Zeitschrift für Pädagogik, 65(2), 285–306. https://doi.org/10.25656/01:23942
Käfer, J., Kuger, S., Klieme, E. & Kunter, M. (2018). The significance of dealing with mistakes for student achievement and motivation: results of doubly latent multilevel analyses. European Journal of Psychology of Education, 80(3), 1–23. https://doi.org/10.1007/s10212-018-0408-7
2018
Plüschke, A. (2018). Selbstüberschätzung im schulischen Kontext: Eine Reanalyse von Daten der DESI-Studie - Unveröffentlichte Masterarbeit. Universität Potsdam, Potsdam.
2012
Hartig, J. & Frey, A. (2012). Konstruktvalidierung und Skalenbeschreibung in der Kompetenzdiagnostik durch die Vorhersage von Aufgabenschwierigkeiten. Psychologische Rundschau, 63, 43–49.
Klieme, E. (2012). Deutsch-Englisch-Schülerleistungen-International (DESI) (Version 1) [Datensatz]. Berlin: IQB - Institut zur Qualitätsentwicklung im Bildungswesen. https://doi.org/10.5159/IQB_DESI_v1
2011
Göbel, K., Rauch, D. & Vieluf, S. (2011). Leistungsbedingungen und Leistungsergebnisse von Schülerinnen und Schülern türkischer, russischer und polnischer Herkunftssprachen. Zeitschrift für interkulturellen Fremdsprachenunterricht, 16(2), 50–65.
2010
Göbel, K., Vieluf, S. & Hesse, H.-G. (2010). Die Sprachentransferunterstützung im Deutsch- und Englischunterricht bei Schülerinnen und Schülern unterschiedlicher Sprachlernerfahrung. In C. Allemann-Ghionda, P. Stanat, K. Göbel & C. Röhner (Hrsg.), Migration, Identität, Sprache und Bildungserfolg (Zeitschrift für Pädagogik. Beiheft., Bd. 55, S. 101–122). Weinheim u.a.: Beltz. Verfügbar unter https://nbn-resolving.org/urn:nbn:de:0111-opus-69470
Klieme, E., Steinert, B. & Hochweber, J. (2010). Zur Bedeutung der Schulqualität für Unterricht und Lernergebnisse. In W. Bos, E. Klieme & O. Köller (Hrsg.), Schulische Lerngelegenheiten und Kompetenzentwicklung (S. 231–255). Münster: Waxmann.
2009
Hesse, H.-G. & Göbel, K. (2009). Mehrsprachigkeit als Kapital. Ergebnisse der DESI Studie. In U. Neumann & I. Gogolin (Hrsg.), Streitfall Zweisprachigkeit (S. 281–287). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-531-91596-8_16
Wagner, W., Helmke, A. & Rösner, E. (2009). Deutsch Englisch Schülerleistungen international. Dokumentation der Erhebungsinstrumente für Schülerinnen und Schüler, Eltern und Lehrkräfte (Materialien zur Bildungsforschung 25,1). Frankfurt, M.: GFPF; Deutsches Institut für Internationale Pädagogische Forschung (DIPF). Verfügbar unter http://nbn-resolving.de/urn:nbn:de:0111-opus-32520
2008
DESI-Konsortium (Hrsg.). (2008). Unterricht und Kompetenzerwerb in Deutsch und Englisch. DESI-Ergebnisse Band 2. Weinheim: Beltz Pädagogik.
Klieme, E. (Hrsg.). (2008). Unterricht und Kompetenzerwerb in Deutsch und Englisch. Ergebnisse der DESI-Studie - Abschlussbericht. Weinheim: Beltz. Verfügbar unter http://www.pedocs.de/volltexte/2010/3149/
Wagner, W. (2008). Methodenprobleme bei der Analyse der Unterrichtswahrnehmung aus Schülersicht - Dissertation. Universität Koblenz-Landau, Koblenz-Landau. Verfügbar unter https://nbn-resolving.org/urn:nbn:de:hbz:lan1-2345
2007
Beck, B. & Klieme, E. (Hrsg.). (2007). Sprachliche Kompetenzen. Konzepte und Messung : DESI-Studie (Deutsch Englisch Schülerleistungen International) (Beltz Pädagogik). Weinheim: Beltz Verlag. Verfügbar unter http://deposit.dnb.de/cgi-bin/dokserv?id=2638047&prov=M&dok_var=1&dok_ext=htm
Helmke, A., Helmke, T., Kleinbub, I., Nordheider, I., Schrader, F.-W. & Wagner, W. (2007). Die DESI-Videostudie. Unterrichtstranskripte für die Lehrerausbildung nutzen. Der fremdsprachliche Unterricht. Englisch, 41(90), 37–45.
Jude, N. & Klieme, E. (2007). Sprachliche Kompetenz aus Sicht der pädagogisch-psychologischen Diagnostik. In B. Beck & E. Klieme (Hrsg.), Sprachliche Kompetenzen. Konzepte und Messung : DESI-Studie (Deutsch Englisch Schülerleistungen International) (Beltz Pädagogik ). Weinheim: Beltz Verlag.
Willenberg, H. (Hrsg.). (2007). Kompetenzhandbuch für den Deutschunterricht. Auf der empirischen Basis des DESI-Projekts. Baltmannsweiler: Schneider Hohengehren.
Beck, B., Kühnbach, O., Radisch, F. & Stecher, L. (2006). Rückmeldungen an Schulen. Längsschnittstudie Deutsch-Englisch-Schülerleistungen-International, Studie zur Entwicklung von Ganztagsschulen. DIPF informiert, 9, 11–15.
2006
Gathen, J. v. d. (2006). Die innerschulische Rezeption von Leistungsrückmeldungen aus Large-Scale-Assessments - Grundlagen und Ziele von Fallstudien. In H. Kuper & J. Schneewind (Hrsg.), Rückmeldung und Rezeption von Forschungsergebnissen. Zur Verwendung wissenschaftlichen Wissens im Bildungssystem (S. 77–88). Münster: Waxmann.
Klieme, E., Eichler, W., Helmke, A., Lehmann, R. H., Nold, G., Rolff, H.-G., Schröder, K., Thomé, G. & Willenberg, H. (2006). Unterricht und Kompetenzerwerb in Deutsch und Englisch. Zentrale Befunde der Studie Deutsch Englisch Schülerleistungen International (DESI).
Köller, O., Trautwein, U., Cortina, K. S. & Baumert, J. (2006). Rezeptive Kompetenzen in Englisch am Ende der gymnasialen Oberstufe. Verankerung deutscher Abiturienten am Gemeinsamen Europäischen Referenzrahmen für die Sprachen. Unterrichtswissenschaft, 34(3), 239–255. Verfügbar unter https://nbn-resolving.org/urn:nbn:de:0111-opus-55173 ; http://www.digizeitschriften.de/dms/img/?PPN=PPN513613439_0034&DMDID=DMDLOG_0021
Neumann, A. (2006). Stabilität von Raterurteilen über die Zeit - Anpassung an vorhandene Schülerleistungen. Auswertung zweier Replikationsstudien zu den Urteilen in "DESI-Textproduktion". Empirische Pädagogik, 20(3), 286–296.
Nold, G., Klieme, E. & Schröder, K. (2006). Messung von Schülerkompetenzen - Der Beitrag der DESI-Studie zur Diskussion um Bildungsstandards und Referenzrahmen. In J.-P. Timm (Hrsg.), Fremdsprachenlernen und Fremdsprachenforschung. Kompetenzen, Standards, Lernformen, Evaluation. Festschrift für Helmut Johannes Vollmer (Giessener Beiträge zur Fremdsprachendidaktik, S. 85–104). Tübingen: Narr.
Nold, G. & Rossa, H. (2006). Anforderungsprofile von Aufgaben: Task-based assessment und task-based language learning. In I. Hosenfeld & F.-W. Schrader (Hrsg.), Schulische Leistung. Grundlagen, Bedingungen, Perspektiven (S. 65–86). Münster, Westfalen: Waxmann.
2005
Steinert, B. (2005). Forschungsansätze und Forschungsfragen zu Ganztagsangeboten im Rahmen von Arbeitsplatzuntersuchung (APU) und Deutsch-Englisch-Schülerleistungen-International (DESI). In F. Radisch & E. Klieme (Hrsg.), Ganztagsangebote in der Schule. Internationale Erfahrungen und empirische Forschungen (S. 138–163). Bonn: Bundesministerium für Bildung und Forschung.
2004
Helmke, A. & Hosenfeld, I. (2004). Vergleichsarbeiten - Standards - Kompetenzstufen. Begriffliche Klärung und Perspektiven. In M. Wosnitza, R. S. Jäger & A. Frey (Hrsg.), Lernprozess, Lernumgebung und Lerndiagnostik. Wissenschaftliche Beiträge zum Lernen im 21. Jahrhundert (S. 56–75). Landau: Verl. Empirische Pädagogik.
Helmke, A. (2004). Unterrichtsqualität erfassen, bewerten, verbessern (3. Aufl.). Seelze: Kallmeyer.
2003
Beck, B. & Klieme, E. (2003). DESI - Eine Längsschnittstudie zur Untersuchung des Sprachunterrichts in deutschen Schulen. Empirische Pädagogik, 17(3), 380–395.
Helmke, A., Göbel, K., Hosenfeld, I., Schrader, F.-W., Vo, T. & Wagner, W. (2003). Zur Rolle des Unterrichts im Projekt DESI. Empirische Pädagogik, 17(3), 396–411.