Test-taker feedback i utvecklingsprocessen av nationella prov i engelska

Forfattere

  • Eva Olsson Institutionen för pedagogik och specialpedagogik, Göteborgs universitet
  • Sofia Nilsson Institutionen för pedagogik och specialpedagogik, Göteborgs universitet
  • AnnaKarin Lindqvist Institutionen för pedagogik och specialpedagogik, Göteborgs universitet

DOI:

https://doi.org/10.5617/adno.6288

Emneord (Nøkkelord):

validitet, reliabilitet, test taker feedback, läsförståelse

Sammendrag

De nationella proven i engelska syftar till att stödja lärares betygssättning i svensk skola. Målsättningen i provutvecklingen är därför att konstruera prov med en så hög grad av validitet och reliabilitet som möjligt. Syftet med denna studie är, med utgångspunkt i Messick (1987, 1989), att undersöka och belysa på vilket sätt och i vilken utsträckning test-taker feedback kan bidra till provens validitet och reliabilitet. I en empirisk studie analyserades samvariation mellan elevers åsikter om läsförståelseuppgifter och det faktiska utfallet, det vill säga hur väl eleverna lyckades lösa uppgifterna. Data, som samlats in vid utprövning av nya uppgifter till det nationella provet i årskurs 9, bestod av feedback om nio läsförståelseuppgifter från cirka 400 elever per uppgift samt deras resultat på uppgiften. Analysen visar att elevers uppfattningar om hur bra uppgiften var, hur svår den var respektive hur väl de lyckades lösa den delvis samvarierar på ett statistiskt signifikant sätt med deras resultat när uppgiften poängsattes. Vidare visar resultaten att test-taker feedback kan tillföra värdefull information för att upptäcka om en uppgift tycks gynna någon grupp framför en annan. Informationen som test-taker feedback ger kan också bidra till stärkt validitet och reliabilitet om den exempelvis används för att sekvensera uppgifter utifrån upplevd svårighetsgrad eller för att sortera bort olämpliga uppgifter.

Nyckelord: Test-taker feedback, läsförståelse, nationella prov, engelska, validitet

The use of test-taker feedback in the development of national tests of english

Abstract
The purpose of the national tests of English is to provide support for teachers’ grading of students in Swedish schools. Hence, the aim is to develop as valid and reliable tests as possible. Based on Messick (1987, 1989), the purpose of this study is to explore and illustrate in what ways and to what extent test-taker feedback may contribute to the validity and reliability of the tests. An empirical study was carried out, where the covariation between students’ opinions about reading comprehension tasks and their actual results were analysed. Data con¬sisted of test-taker feedback collected when trying out nine reading compre-hension tasks for the national test in grade 9 among 400 students per task, and of students’ results on the tasks. The analysis shows that the students’ opinions about the overall quality and the difficulty of the tasks, as well as their outcome expectancy after completing the tasks, covaried in a statistically significant way with their performance, when the tasks were marked. Furthermore, the results indicate that test-taker feedback may provide useful information related to bias. The information from test-taker feedback may also contribute to the validity and reliability of a test, for instance when used for sequencing tasks according to experienced level of difficulty or for sorting out less suitable tasks.

Keywords: Test-taker feedback, reading comprehension, national tests, English, validity

Forfatterbiografier

Eva Olsson, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet

Lektor i pedagogik, provutveckling ingår som en del i tjänsten 

Filosofie doktor i ämnesdidaktik med inriktning mot språk

 

Sofia Nilsson, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet

Provansvarig för det nationella provet Engelska 6 för gymnasieskolan

AnnaKarin Lindqvist, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet

Projektledare för NAFS (Nationella prov i främmande språk).

Nedlastinger

Publisert

2018-12-12

Hvordan referere

Olsson, E., Nilsson, S., & Lindqvist, A. (2018). Test-taker feedback i utvecklingsprocessen av nationella prov i engelska. Acta Didactica Norge, 12(4), Art. 14, 27 sider. https://doi.org/10.5617/adno.6288

Utgave

Vol 12 Nr. 4 (2018)

Seksjon

Temaartikkel

Lisens

Innhold publisert 

i tidsskriftet Acta Didactica er - dersom ikke annet er uttrykt - lisensiert gjennom Creative Commons Lisens BY-NC-ND-4.0 (https://creativecommons.org/licenses/by-nc-nd/4.0/). Dette betyr at innhold kan kopieres, distribueres og spres i hvilket som helst medium eller format, så lenge disse vilkårene er fulgt:

  • Kreditering: Du må oppgi korrekt kreditering og oppgi en lenke til lisensen. 
  • Ikke-kommersiell bruk: Du kan ikke benytte materialet til kommersielle formål.
  • Ingen bearbeidelser: Du kan ikke distribuere bearbeidete versjoner av materialet.

NB: Creative Commons-lisensen gir deg ikke nødvendigvis alle de tillatelser som er nødvendig for din tiltenkte bruk. For eksempel kan andre rettigheter, som reklame-, personvern-, eller ideelle rettigheter, sette begrensninger på hvordan du kan bruke materialet.

Forfattere som publiserer i Acta Didactica aksepterer følgende vilkår:

  • Forfatter(ne) beholder opphavsretten til artikkelen og gir Acta Didactica rett til første publisering, samtidig som artikkelen blir lisensiert under Creative Commons Lisens BY-NC-ND-4.0. Denne lisensen tillater deling av artikkelen for ikke-kommersielle formål, så lenge forfatteren og første publiseringssted Acta Didactica krediteres. Lisensen tillater ikke publisering av bearbeidede versjoner av artikkelen.
  • Forfatteren står fritt til å publisere og distribuere arbeidet/artikkelen etter publikasjon i Acta Didactica, så lenge det henvises til tidsskriftet som første publiseringssted. Innsendte bidrag som er antatt for publikasjon eller som er til vurdering i Acta Didactica kan ikke samtidig være under vurdering for publikasjon i andre tidsskrifter, antologier, monografier eller lignende. Ved å sende inn bidrag aksepterer forfatteren at bidraget publiseres digitalt i Acta Didactica.