Test validity - a teacher’s responsibility? A closer look at which aspects of validity are in the hands of teachers when implementing The Diagnostic Test of English for Grade Three

Abstract

The aim of this study is to examine more closely the validity of the KPE3 (The English Diagnostic Test for Grade Three 2014), which is a test that assesses young learners’ (third grade) listening and reading skills. The test is not obligatory and the purpose of the test is to identify the pupils who fall below the limit of concern, and therefore need extra support. Using Messick’s six aspects of validity as a framework and drawing on the analysis model developed by Hasselgreen (2004), the study aims were to consider what the potential threats to the validity of the KPE3 (2014) were, and more specifically, to identify which of those aspects were in the hands of teachers/schools. Finally, the study looked for evidence to indicate that some of the aspects related to teachers’ practices may actually be undermining the test’s validity. Two data sources were used for this study: a questionnaire that was sent out to teachers who had administered the test, and a sample of pupils’ test booklets. The main finding of the study was that there was evidence indicating that teachers’ practices were a threat to the validity of the test for various reasons. Not all teachers surveyed used the practice material to familiarize their pupils with the test, and there was also a common misconception regarding the purpose of the test – over half of the teachers surveyed believed that the test could find the level of the entire class. In addition, only half of these teachers believed that the purpose of the test was to give feedback to pupils. An examination of the test booklets revealed that marking errors were made at all but two schools, which poses a serious threat to validity. Finally, 54.2% of these twenty-four teachers lacked training in both English and language assessment. All of these factors may have had implications for the validity of the KPE3 (2014). Although test developers and the authorities who commission the tests will always have the ultimate responsibility when it comes to test validity, this study highlights the responsibilities teachers and schools have with regards to ensuring test validity.

Målet med denne studien er å undersøke nærmere validiteten til kartleggingsprøven i engelsk for 3. trinn (2014). Dette er en prøve som måler elevenes lytte og leseferdigheter i engelsk. Prøven er ikke obligatorisk, og formålet med den er å identifisere elevene som faller under bekymringsgrensen og trenger ekstra oppfølging. Ved å bruke Messicks validitetsteori med seks aspekter som rammeverk og analysemodellen utviklet av Hasselgreen (2004), var formålet med studien å vurdere hvilke potensielle trusler mot validiteten av kartleggingsprøven i engelsk for 3. trinn (2014) som fantes, og mer spesifikt å identifisere hvilke av disse aspektene som var læreres/skolers ansvar. Studien undersøkte om der var bevis for å indikere at noen av aspektene knyttet til lærernes praksis faktisk kan undergrave testens validitet. To datakilder ble brukt til denne studien: et spørreskjema som ble sendt ut til lærere som hadde gjennomført prøven, og elevers ferdigutfylte oppgavehefter. Hovedfunnene i studien er at det var bevis på at lærernes praksis var en trussel mot prøvens validitet av ulike årsaker. Ikke alle lærere som er innhentet informasjon fra, brukte øvelsesmaterialet til å forberede elvene og gjøre dem kjent med oppgavetypene, og det var mange misforståelser om formålet med prøven. Over halvparten av de undersøkte lærerne trodde at prøve kunne identifisere språknivået til alle elevene i klassen. I tillegg trodde bare halvparten av disse lærerne at formålet med prøven var å gi tilbakemelding til elevene. En undersøkelse av prøveheftene viste at det ble gjort rettefeil, med unntak av lærerne fra to skoler. Dette utgjør en alvorlig trussel mot prøvens validitet. Til slutt manglet 54, 2 % av de 24 lærerne, som studien fokuserer på, opplæring i både engelsk og språkvurdering. Alle disse faktorene kan ha hatt implikasjoner for validiteten til kartleggingsprøven i engelsk for 3. trinn (2014). Selv om prøveutviklere og myndighetene som bestiller prøvene, alltid har det ultimate ansvaret når det gjelder testvaliditet, fremhever denne studien det ansvaret som lærere og skoler har med hensyn til å sikre testens validitet.