Redaksjonelt

Prøver, måling og og evaluering – pedagogiske utviklingsverktøy eller måleredskaper? Et kritisk perspektiv på vurderende og dokumenterende sakprosa i skole og barnehage

Tidsskriftet Sakprosa
Bind 10, Nummer 2
© 2018

10.5617/sakprosa.6540

Den svenske dagsavisen Svenska Dagbladet publiserte i høst en artikkel med overskriften “Det som räknas – och det som verkligen betyder något” (Aschenbrenner, 2018). Artikkelen handler om filosofen Jonna Bornemarks nye bok, som gir en systemkritikk av vår tids målende, måloppfyllende og kvalitetssikrende samfunn (Bornemark, 2018). Artikkelens overskrift kunne også ha stått som overskrift på dette temanummeret av tidskriftet Sakprosa. Her ser seks ulike forfattere eller forfattarpar på floraen av tekster i skole og barnehage som har målende eller evaluerende prosesser som sin hovedfunksjon. I dette temanummeret anvendes evalueringstekst som fellesbetegnelse for sakprosatekster som inngår i evalueringspraksiser.

Noen av tekstene som undersøkes strekker seg tilbake i tid – eksamensoppgavene Anne Løvland undersøker i sin artikkel (“Planken som forsvann”) spenner over en 50 år lang historie i det norske skolesystemet. Jeppe Bundsgaards artikkel (“Pædagogisk brug af test”) gjelder derimot en mer nylig innført obligatorisk prøveform i dansk skole, nasjonale prøver, som dessuten har digitalisering som kommunikasjonsvilkår. Temanummeret spenner altså over både eldre og nyere evalueringstekster, men felles for alle artiklene er et, i utvidet betydning, kritisk perspektiv på måling- og evalueringspraksiser i skole og barnehage.

Temanummeret bygger dels på kunnskap og erfaring med at måling og evaluering har vært stadig økende i offentlig sektor, dels på en observasjon av at det i de nordiske landene har vært mye offentlig interesse for og debatt om slike tekster, og endelig på en antagelse om samfunnets evalueringstekster og -praksiser ikke nødvendigvis bare har positive sider. Det uttrykkes godt i Aschenbrenners allerede nevnte artikel: “en fixering vid evidens som leder till en “förpappring” av verksamheten, ett evigt dokumenterande av hur väl man uppfyller lägsta godtagbara standard istället för att ge personalen en möjlighet att utvecklas i sin yrkesroll”. I verste fall innebærer denne “förpappring” at en markering på et papir (eller i et digitalt program) – en karakter, en smiley, eller en skravering i en sirkel (jf. Kvåles artikkel “Kartlegging, kos og kontroll. En kritisk analyse av TRAS-skjemaet som multimodal tekst”) – er et tilstrekkelig tegn på at virksomheten drives med kvalitet, eller at en elev har tilegnet seg nødvendige kunnskaper, uten at verken kvalitet eller kunnskap problematiseres nærmere. Ettersom alle evalueringstekstene som behandles i dette temanummeret tilhører skole og barnehage, er et underliggende spørsmål i samtlige artikler hvordan tekstene står i forhold til det pedagogiske oppdraget. Er de formene for evalueringstekster som diskuteres her formålstjenlige pedagogiske verktøy? Eller er de først og fremst måleredskaper?

Evaluering og måling som samfunnsfenomener

Selv om evalueringstekster i skole og barnehage er tema for artiklene i temanummeret, er evalueringer, bedømmelser og kvalitetsvurderinger selvsagt ikke begrenset til utdanningsfeltet. De fleste i Vesten vil ha erfart at måling og vurdering foregår på stadig flere samfunnsområder. Som privatpersoner kjenner vi mønsteret fra hotellbesøk, der vi ofte umiddelbart bes om å gi en vurdering av oppholdet vårt, eller fra samtaler med ulike servicetelefoner (bank, forsikringsselskap, helseinstitusjoner), der samtalen ofte spilles inn for utviklingssiktemål, eller der vi på flyplasser oppfordres til å trykke på knapper med ulike grader av smilende ansikter for å gi tilbakemelding på hvor fornøyde vi er med sikkerhetskontrollen. Fra arbeidslivet kjenner mange det trolig igjen fra de stadig mer dokumentintensive virksomhetssyklusene der planer ikke bare skal gjennomføres, men også vurderes, revideres og godkjennes av ulike instanser. I mange virksomheter har også selve aktivitetene “å måle og evaluere” blitt selvstendige praksiser med egne spesialister. Målings- og vurderingsspraksisene er altså merkbare prosesser i både dagligliv og samfunnsliv.

På overordna nivå kan utdanningsfeltets evalueringstekster ses i sammenheng med New Public Management (NPM), som i løpet av de siste tiårene har ført til endringer i styringen av offentlig sektor. NPM er ikke en enhetlig størrelse, men en paraplybetegnelse for ulike prinsipper og metoder for å organisere og styre offentlige virksomheter med markedet som utgangspunkt, og blir historisk ofte knyttet til Thatchers endringer av offentlig sektor i England på 1980-tallet. I den mye siterte artikkelen “A public management for all seasons?” beskriver Christopher Hood sju grunnleggende trekk eller doktriner ved NPM: Profesjonell styring, eksplisitte standarder og målinger av utførelse, mer vekt på å kontrollere resultater, disaggregering av enheter, sterkere konkurranse i offentlig sektor, mer vekt på ledelsespraksiser fra privat sektor samt sterkere vekt på disiplinert ressursbruk (Hood, 1991, s. 4-5). NPM innebærer også en dreining mot universelle løsninger; mot at alle utfordringer i alle deler av alle offentlige virksomheter kan løses på liknende måte. Rapportering av måloppnåelse og måling av ytelse på ulike nivåer er også sentrale trekk. Evalueringsarbeidet i skoler og barnehager inngår altså i en kulturell kontekst der måling og rapportering er samfunnsmessig verdsatte aktiviteter.

NPM og NPM-relaterte styringsprinsipper, så som “neoliberal management” og “mål- og resultatstyring”, har blitt kritisert både av forskere, profesjonsaktører og borgere, ikke minst i tilknytning til undervisningssektoren. Kritikken handler ofte om hvordan profesjonene blir gjort svakere, for eksempel ved at vektleggingen av dokumentasjon gjør at lærere må bruke mer tid på å fylle ut rapporter og andre evalueringstekster, på bekostning av konsentrasjon og tid brukt til direkte arbeid med elever og fag.

Utdanningsfeltets tekstpraksiser har også tidligere blitt kritisk diskutert og analysert i lys av NPM. Et tidlig og innflytelsesrikt bidrag er Norman Faircloughs artikkel “Critical discourse analysis and the marketization of public discourse: the universities” (Fairclough, 1993). Den kom ut på et tidspunkt der man i England hadde begynt å snakke om studenter som “kunder” og å behandle og omtale utdanningsinstitusjoner som om de var kommersielle bedrifter. Han viser i artikkelen blant annet hvordan denne tenkningen hadde ført til at promotering var blitt en sentral del av universiteters kommunikasjon – en funksjon som det i 2018 nesten framstår som utenkelig at ikke skulle være prioritert oppgave. Markedstenkningen har altså siden blitt en doxa, noe man tar for gitt og ikke stiller spørsmål ved. I nyere tid har Per Ledin og David Machin i flere artikler (bl.a. Ledin & Machin 2015; 2016) tatt opp stafettpinnen fra Fairclough og kritisk diskutert universitetskommunikasjon i lys av NPM. De har blant annet vist hvordan svenske universiteters visjoner og strategidokumenter er utformet slik at forskningsaktiviteter fremstilles ensartet, uavhengig av hva forskere gjør, og der fokus er vridd mot resultatmåling og vurderinger:

Vårt viktigaste resultat är just detta, att NPM-språket riskerar att bidra till en avprofessionalisering, så att forskares professionella omdöme, deras uppfattning om vad som är god, spännande eller fruktbar forskning, inte längre räknas (Ledin & Machin 2015, s. 34).

Flere forskere har altså rettet kritiske blikk mot utviklingen i forskning og høgre utdanning, men det har til nå vært lite forskning på nordiske skoler og barnehagers tekster i et slikt perspektiv, så langt vi har sett.

Et nordisk perspektiv

Temanummerets artikler presenterer aktuell forskning om evalueringstekster hentet fra ulike deler av utdanningssystemene i Norden, men gjennom én enkelt utgivelse kan vi selvsagt ikke belyse hele bredden. De fleste tekstene som blir undersøkt, handler om Norge, men de blir supplert av ett dansk bidrag. De fleste artiklene gjelder grunnskolen, der de undersøkte evalueringstekstene spenner fra nasjonalt gitte eksamener i norskfaget over 50 år (Løvland), ukeplaner (Tønnessen & Rambø) og ukeprøver fra norske barneskoler (Flaten & Vollan) samt digitale prøver i Danmark (Bundsgaard). Én av de undersøkte tekstene er tilknyttet barnehagen: et norsk språkobservasjonsskjema (Kvåle). I tillegg er det én artikkel som undersøker en mer overordnet evalueringstekst: OECDs anbefalinger og konklusjoner for den norske skolen (Birkeland).

Temanummerets dominans av norske perspektiver har sin forklaring i at initiativet til temanummeret kommer fra en gruppe forskere ved Universitetet i Agder. Det betyr imidlertid ikke at tekstene som behandles i artiklene bare er relevante for den norske utdanningssektoren. Mye av den NPM-inspirerte evalueringskulturen er utvilsomt felles for hele Norden. For eksempel er kvalitetssikring trolig et velkjent begrep for alle som arbeider i den nordiske universitetsverdenen i dag. Alle universiteter og høgskoler skal ha et system for kvalitetskontroll, og dette systemet skal vurderes og godkjennes. I Sverige er det myndigheten UKÄ (Universitetskanslersämbetet) som har ansvaret for denne virksomheten, men liknende organisasjoner finnes i alle de nordiske landene, som NOKUT i Norge och FINEEC i Finland. Dokumentet ESG (European Standard and Guidelines for Quality Assurance) er sentralt for arbeidet med å finne felles overnasjonale kvalitetsvurderingsprosesser og -kriterier. Til tross for at arbeidet og regelverket i dag er veletablert og innarbeidet, er det nok mange forskere og lærere som opplever kvalitetsgranskningen som et relativt nytt innslag i arbeidet. For bare kort tid siden var det ansett som en selvsagt forutsetning at de faglig og vitenskapelig høyt kvalifiserte ansatte sørget for at undervisningen holdt god kvalitet. De nye kvalitetssikringssystemene skaper andre tekstlige og samfunnsmessige rammer for arbeidet med å gi undervisningen kvalitet, og de bringer med seg nye typer sakprosa. Det samme gjør tilsvarende endringsprosesser i skole og barnehage.

Én type evalueringstekst som har fått mye oppmerksomhet i både Norge, Danmark og Sverige, er nasjonale prøver. I både Norge og Danmark ble obligatoriske nasjonale prøver innført på midten av 00-tallet. Det er rimelig å se dette i sammenheng med at resultatene fra den første PISA-undersøkelsen som kom på begynnelsen av tiåret skapte mye debatt om kvaliteten på de nasjonale utdanningssystemene i de to landene.

De danske og norske nasjonale prøvene undersøker elevenes grunnleggende ferdigheter, så som lesing og regning, men er i utgangspunktet ikke tilknyttet spesifikke fag, i motsetning til de svenske prøvene. I Sverige har de nasjonale prøvene en lengre historie, men deres betydning ble radikalt endret på 2000-talet. Da de ble innført i svensk skole omkring midten av 1990-tallet [1], ble prøvene gjennomført i tre ulike skolefag: svensk, matematikk og engelsk – de fagene som ofte kalles skolens kjernefag. Elever møtte da de nasjonale prøvene først i grunnskolens siste år, årskurs 9, og siden igjen på gymnaset. Idag, i 2018, gjennomføres de nasjonale prøvene i årskursene 3, 6 og 9 samt i gymnaset. I tillegg til kjernefagene gjennomføres prøven i årskurs 9 også i noen av de samfunnsorienterende fagene (historie, religionskunnskap eller samfunnskunnskap) og i noen av de naturfaglige emnene (fysikk, kjemi, biologi eller teknikk).[2] I tillegg kan lærerne også gjennomføre “frivillige nasjonale prøver”.

På Skolverkets hjemmeside står det om årskurs 9:

Om en elev läser spanska, franska eller tyska kan det vara så att läraren använder några av Skolverkets prov i dessa ämnen också. De proven räknas inte som nationella prov, men är framtagna på ungefär samma sätt och det är många elever som gör dem. (Skolverket, udatert).

På gymnasnivå finnes det på tilsvarende vis frivillige prøver i fremmedspråk, og det kan også avholdes frivillige prøver i biologi, fysikk, matematikk, kjemi og historie. er mange ulike prøver, og selv om prøvene er “tänkta att vara ett stöd för läraren så att hon eller han kan ge sina elever rättvisa bedömningar och i vissa årskurser betyg” (ibid.), ville det vært merkelig om ikke en så stor prøvemengde også skulle påvirke undervisningskulturen og virksomheten i klasserommet forøvrig.

I svensk forskning har man da også undersøkt den lavineliknende økningen av nasjonale prøver. Ikke uventet har deler av forskningen fokusert på at prøven – med forarbeid og etterarbeid – tar for mye av lærernes tid og dermed får negative konsekvenser for undervisningen (Olovsson, 2015; Pérez Prieto & Löfgren (red.), 2017). Andre deler av forskningen har kritisk undersøkt måleinstrumentene som prøvene utgjør, for eksempel har realibilitet og validiteten i leseprøven for årskurs 9 blitt undersøkt av Tengberg (2016) og Tengberg & Skar (2017). Også enigheten mellom lærere i deres karaktersettinger og vurderinger har blitt undersøkt, både for skriveprøver på gymnaset (Borgström & Ledin (2014) og for leseprøven i årskurs 9 (Tengberg & Skar, 2017). Videre har forskere diskutert og kritisert den konstruerte prøvesituasjonen der elever skal forestille seg at de inngår i en annen kommunikasjonssituasjon enn den de faktisk er i (Borgström, 2010).

Av de kritiske forskersynpunktene kommer det fram at det ikke lenger er mulig å bare beherske skolefagets innhold for å konstruere nasjonale prøver. Prøvekonstruksjonen har snarere blitt en egen høyst spesialisert praksis, noe som også framgår av den danske artikkelen i dette temanummeret. Måleverktøyet og det faglige innholdet må kjempe om oppmerksomheten, både i Sverige og i Danmark, når lærerne skal få støtte til sin pedagogiske virksomhet gjennom sentralt produserte prøver.

En kritisk ansats

Vi har tidligere nevnt at de seks artiklene i temanummeret har en – i vid betydning – kritisk ansats til felles. Det innebærer at artikkelforfatterne både vil forstå og vise fram tekstene som er gjenstand for diskusjon, og at de – i ulik grad og på ulike måter – vil utforske og utfordre tekstenes rolle i utdanningssystemet. Kanskje kan artiklenes ulike innfallsvinkler best beskrives med utgangspunkt i noen perspektiv man kan stille opp som poler på tre kontinuum: Fra det deskriptive til det kritisk-normative, fra det elevorienterte til det byråkratiorientere, og fra fokus på tekst til fokus på sosial praksis.

Artiklene nærmer seg evalueringstekstene med både en deskriptiv og en kritisk-normativ forskningsinteresse. Den deskriptive interessen handler om å beskrive tekstene og tekstkulturen de er del av, og på den måten frambringe økt kunnskap om hvordan slike tekster faktisk ser ut og hvordan de kommuniserer, for eksempel ukebrevene som skolene sender ut til hjemmet hver uke (Tønnessen & Rambø), eller ukeprøvene (Flaten & Vollan) som i løpet av de siste årene har blitt et fast innslag i norske barneskoler. Den kritisk-normative interessen har sin bakgrunn i at evalueringstekster har viktige implikasjoner for hvordan vi som samfunnsmedlemmer tenker og forstår evaluering og kvalitet i utdanningssystemet, og dermed for hvordan vi i Norden innretter noen av samfunnets viktigste institusjoner. Denne interessen er kanskje sterkest fremtredende i Kvåles diskusjon av språkkartleggingsskjema for barnehagebarn og i Bundsgaards diskusjon av danske leseprøver, men er på ulike måter også til stede i samtlige artikler i temanummeret. Forskernes kritiske interesse er samtidig koblet med et sterkt engasjement for skole og barnehage, og ikke minst for profesjonene i disse institusjonene.

Noen av artiklene har eleven i fokus, mens andre er mer innrettet mot skolen som system eller byråkrati. Løvlands gjennomgang av eksamensoppgave gjennom femti år tar utgangspunkt i et engasjement for de elevene som strever med å lykkes med oppgavene. På tilsvarende måte starter Flaten & Vollans undersøkelse av innholdet i ukeprøvene i hvordan noen barn opplever det å få sine fagkunnskaper og sosiale ferdigheter i skolen vurdert hver eneste uke. Et tydeligere systemperspektiv kommer derimot fram i Birkelands analyse av en OECD-tekst som styrer evalueringspraksiser. Her er vi på et overnasjonalt nivå, og den kritiske tekstanalysen viser trekk som også er relevante for Europa og resten av verden. Et slags systemperspektiv anlegger også Bundsgaard når han går i dybden på målingsmetodene og prøveformene og viser hvor stor betydning den digitale teknologien har for utforminga og utbredelsen til prøven.

Den tredje og siste tematiske aksen dreier seg om spennet mellom tekst og praksis. Praksis-dimensjonen, “socially regulated ways of doing things” (van Leeuwen, 2008, s. 6), har i de senere års tekst- og diskursanalytisk forskning blitt stadig mer sentral (se for eksempel Karlsson & Landqvist, 2018). Ettersom den overordnede interessen til tidsskriftet er sakprosa, har alle artiklene likevel et klart tyngdepunkt på tekst mer enn praksis. Kvåles artikkel om det mye brukte TRAS-skjemaet er et eksempel på en tekstnær lesning som fokuserer på hvordan de som anvender skjemaet konstrueres sosialt.

Den mest praksisorienterte artikkelen er kanskje Tønnessen & Rambøs sjangerundersøkelse av ukeplanen som evalueringspraksis, men også denne artikkelen har samtidig en klar tekstorientering. Tekstfokuset viser seg også metodisk ved at forskerne anvender tekstanalytiske tilnærminger, og ikke eksempelvis etnografisk inspirerte metoder. Tekstfokuset innebærer at forskerne interesserer seg for evalueringstekstenes form, funksjon, innhold, materialitet, estetikk og stil – for hva slags språklige og multimodale valg som kjennetegner dem. Tekstene behandles imidlertid som langt mer enn grafiske og grammatiske tegn på et papir eller en dataskjerm, men undersøkes fra teoretiske posisjoner der tekster anses som å være formet av og formende for de sosiale kontekstene og institusjonene som de er produsert innenfor. Den kulturelle konteksten og sosiale praksisen kommer derfor også med nødvendighet til uttrykk som tekst.

Evalueringstekster som sakprosa

Samfunnets stadig stigende interesse for kvalitet i utdanningsektoren, ledsaget av en stadig stigende interesse for å dokumentere og evaluere kvalitetsarbeid, viser seg blant annet som sakprosa, først og fremst “funksjonell sakprosa”, altså tekster utenfor den litterære institusjonen (Tønnesson 2012, s. 34). Det har vokst fram et stort mangfold av sjangrer og teksttyper som på ulike måter inngår i evalueringsarbeidet: fredagsprøver, tilbakemeldingsrapporter, månedsbrev, mestringsnivåbeskrivelser, dokumentasjonsprotokoller, ståstedsanalyser, kvalitetsindikatorskjemaer, kvalitetssikringssystemsevalueringsrapporter, for å nevne noen få. Tekstene produseres og brukes av ulike aktører, det være seg politikere, fagligadministrative støttetjenester, kommersielle aktører, rektorer, enkeltlærere, foreldre og elever. Ved å gjøre noen nedslag i denne heterogene gruppen av funksjonell sakprosa, forsøker temaenummeret å bidra til økt forståelse av hva sakprosa er og gjør i dagens utdanningssystem, og til økt kunnskap om sakprosa generelt.

Gjennom sakprosatekster fra utdanningssektorens evalueringspraksiser blir samfunnsmessige verdier og prioriteringer videreført, befestet og utfordret, og tekstene bidrar på den måten til å forme og eventuelt endre arbeidsmåter og tenkemåter i utdanningsinstitusjonene de er del av. De bidrar dessuten også til å forme hvordan man i samfunnet forøvrig forstår kvalitet i utdanningsinstitusjonene, og dermed hva som er de viktigste målsettingene for skoler og barnehager, og hva som skal og bør være det. Evalueringstekster er dermed langt mer enn praktiske redskaper for pedagogisk kvalitetsarbeid, men også steder der samfunnets ideologier og verdier blir materialisert og artikulert. Ved å se på noen av utdanningssektorens evalueringstekster gjennom sakprosaforskningens linse, forsøker dette temanummeret å bidra til økt kunnskap om denne typen sakprosa og til økt bevissthet og refleksjon omkring slike tekster og deres rolle i samfunnsutviklingen.

Litteratur

Aschenbrenner, J. (2018). Det som räknas – och det som verkligen betyder något. Svenska Dagbladet 26 augusti 2018. https://www.svd.se/krav-pa-matbarhet-gor-livet-torftigt/av/jenny-aschenbrenner

Borgström, E. (2010). Att skriva prov. Om normer och textstruktur i gymnasieskolans skriftliga nationella prov. Språk och stil, nr 20, 132-164.

Borgström, E. & Ledin, P. (2014). Bedömarvariation, Balansen mellan teknisk och hermeneutisk rationalitet vid bedömning av skrivprov. Språk och stil nr 24, 133-165.

Bornemark, Jonna (2018). Det omätbaras renässans : En uppgörelse med pedanternas världsherravälde. Stockholm: Volante.

Fairclough, N. (1993). Critical discourse analysis and the marketization of public discourse: The universities. Discourse & Society 4(2), 133–168. Tilgjengelig fra http://journals.sagepub.com/doi/abs/10.1177/0957926593004002002.

Hood, C. (1991). A public management for all seasons? I Public administration 69(1), 3–19. Tilgjengelig fra http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9299.1991.tb00779.x/abstract.

Karlsson, A.-M. & Landqvist, M. (2018). «Gränsöverskridande meningsskapande. Om relevansen hos begrepp som text och sakprosa för förståelsen av hälsokommunikation. I Sakprosa 10(1), s. 1–31. DOI: http://dx.doi.org/10.5617/sakprosa.5725

Ledin, P. & Machin, D. (2016). Management discourse in university administrative documents in Sweden. How it recontextualizes and fragments scholarly practices and work processes. In Pragmatics 26(4), 653–674. Tilgjengelig fra http://www.jbe-platform.com/content/journals/10.1075/prag.26.4.06led.

Ledin, P. & Machin D. (2015). Universitetet som en multimodal marknadsplats. Designen av en nyliberal managementdiskurs. I Språk & stil NF 25, 5–37. Tilgjengelig fra http://uu.diva-portal.org/smash/record.jsf?pid=diva2%3A895136&dswid=-3083.

OECD (udatert). Our mission. Hentet fra http://www.oecd.org/about/.

Olovsson, T G. (2015) Det kontrollera(n)de klassrummet. Bedömningsprocessen i svensk grundskolepraktik i relation till införandet av nationella skolreformer (diss.) Umeå: Umeå universitet.

Pérez Prieto, H. & Löfgren, H., red. (2017) Att ständigt bli BEDÖMD – elevers berättelser om betyg och nationella prov. Lund: Studentlitteratur.

Skolverket (udatert): “Nationelle prov.” https://www.skolverket.se/for-dig-som-ar.../elev-eller-foralder/betyg-och-nationella-prov/nationella-prov, lest 10.9.2018.

Tengberg, M. (2016). Rätt mätt? Kapet 12(1), 21-37.

Tengberg, M. & Skar, G B.(2017) Hur tillförlitligt är det nationella provet i läsning i åk 9? Utbildning och demokrati 26(2), 113-137.

Tønnesson, J. (2012). Hva er sakprosa. Oslo: Universitetsforlaget.

van Leeuwen, T. (2008). Discourse and practice. New tools for critical discourse analysis. Oxford: Oxford University Press.


[1] Nasjonale prøver var på sett og vis en “nygammel” nyhet i Sverige. De hadde en forgjenger i såkalte standardprøver i ulike fag, som var mer avgjørende for karaktersettingen.

[2] Den nasjonale prøven i svensk har i løpet av 2000-tallet blitt endret slik at den blir tatt i svensk eller i svensk som andrespråk, avhengig av hvilket svenskfag eleven følger.