MENY

Vurdering av leseprestasjoner. Grunnleggende forsutsetninger for måling av leseferdigheter

Oddny Solheims avhandlingen består av tre studier som utforsker implikasjonene av å integrere teoretiske perspektiver for utvikling av og validering av lesemål.

I løpet av de siste 50 årene har leseforskningsfeltet opplevd radikale forandringer i måten lesing konseptualiseres på. Nye teoretiske perspektiver må nødvendigvis også få konsekvenser for måten lesing vurderes og måles på. I løpet av perioden har ulike teoretiske perspektiver delvis erstattet hverandre og delvis løpt ved siden av hverandre. De ulike tilnærmingene har forfektet ulike syn på hvordan lesing bør kartlegges, og dette har resultert i en situasjon hvor forskjellige kartleggingspraksiser har eksistert parallelt. En tendens til forsinkelse fra nye perspektiver har blitt introdusert i teori om lesing, til denne teorien har fått konsekvenser for praktisk testutforming, har også bidratt til å gjøre sammenhengen mellom leseteori og kartleggingspraksiser vanskelig å få oversikt over. Mens perioden fram til midten av 90-tallet var preget av en konfrontasjonsvilje mellom ulike teoretiske perspektiver har en de siste 10 årene sett en vilje til å integrere ulike perspektiver på lesing. Dette har resultert i en situasjon hvor flere sentrale begreper (for eksempel literacy, depth of meaning, motivation and engagement in reading) er blitt stående uavklarte eller blitt tillagt ulik mening av ulike forskere. Når det kommer til kartlegging krever denne situasjonen etterettelighet av både forskere og testutviklere. Dersom skjulte, implisitte eller uavklarte antagelser ligger til grunn for testutviklingen trekkes det et slør over forholdet mellom teori og empiriske resultater. Dette kan resultere i forringet kvalitet på slutningene som trekkes på grunnlag av testresultater. Avhandlingen identifiserer og utforsker utfordringer for måling av lesing i denne situasjonen. Avhandlingen består av tre studier som utforsker implikasjonene av å integrere teoretiske perspektiver for utvikling av og validering av lesemål.

Artikkel I og II fokuserer på oppgaveformat, et tilbakevendende tema i forskning på og diskusjon omkring kartlegging av lesing. Flervalgsspørsmål er enkle og økonomiske når det kommer til testtid og kostnader forbundet med retting. I tilknytning til store gruppeundersøkelser av lesing har diskusjonen om hvorvidt åpne spørsmål kan forsvares til tross for de ekstra utgiftene som er involvert vært sentral.  Den avgjørende faktoren har vært value added: i hvilken grad det å inkludere åpne spørsmål forbedrer målingen av leseforståelse på en valid og reliabel måte. I artikkel I var målet å utforske hvordan operasjonalisering av dybdeforståelse i Progress in International Reading Study (PIRLS) korresponderte med beskrivelsen av reading literacy i rammeverket for studien. I PIRLS er det åpne oppgaveformatet tilskrevet spesiell betydning som bærer av sentrale innsikter i definisjonen av reading literacy. Dette må nødvendigvis få følger for hvordan de åpne oppgavene utformes og skåres dersom de skal være i tråd med teorien om lesing som ligger til grunn. Artikkelen fokuserer på skåringskriteriene for åpne oppgaver og sammenhengen mellom disse og henholdsvis tekst og oppgaver. I artikkel II var målet å utforske sammenhengen mellom oppgaveformat og motivasjon. Studien fokuserer spesielt på hvordan motivasjon bidrar ulikt til leseprestasjoner avhengig av oppgaveformat, og hvorvidt elever med ulik grad av tiltro til egne leseferdigheter profiterer på ulike oppgaveformat. I artikkel III var målet å utforske potensielle bruksområder for øyebevegelsesmetodologi i en prosessorientert tilnærming til lesing og problemløsing. Leseforskerens utfordringer i valg av empiriske indikatorer synliggjøres og forskningsspørsmål hvor øyebevegelsesmetodologi kan støtte validering av kartleggingsmetoder blir diskutert. Resultater fra en mindre øyebevegelsesstudie hvor elever leste og besvarte spørsmål om en multimodal tekst blir brukt som eksempelmateriale.

De tre artiklene bygger på ulike datakilder. Den første studien er en kritisk analyse av forholdet mellom legitimeringen av åpne oppgaver i rammeverket og operasjonalisering av oppgaver og skåringskriterier i PIRLS 2001. Studien bygger også på et representativt utvalg av norske 10-åringer (det norske utvalget i PIRLS 2001) Dette utvalget besto av 815 elever. Den andre artikkelen er en prediksjonsstudie basert på et datamateriale som ble samlet inn i 2008. Utvalget besto av 217 elever på 5. trinn. Elevene kom fra tolv forskjellige klasser fordelt på fem skoler. Den tredje artikkelen er en teoretisk og metodologisk diskusjon hvor øyebevegelsesdata fra en mindre øyebevegelsesstudie blir bukt som eksempelmateriale. Dette utvalget besto av 20 elever på 7. trinn.  

Resultatene i den første artikkelen synliggjør hvordan rammeverkets intensjon om meningsdybde i noen tilfeller erstattes med en additiv logikk, der et bestemt antall observasjoner blir akseptert som uttrykk for forståelsesdybde Denne operasjonaliseringen leder til en kvantifisering av et fenomen som opprinnelig er definert kvalitativt. Ønsket om å redusere målefeil ved å skape entydige skåringskriterier tenderer her til å underminere validitetsargumentet som knytter resultatene til den teoretiske beskrivelsen av konstruktet. I den andre artikkelen viste resultatene at tiltro til egne leseferdigheter forklarte unik varians i leseforståelse etter at man hadde kontrollert for ordlesing, lytteforståelse og non-verbale ferdigheter. Når utvalget ble delt i elever med lav versus høy grad av tiltro til egne leseferdigheter, viste det seg imidlertid at unik varians bare ble forklart i utvalget med lav tiltro til egne leseferdigheter, og da bare for flervalgsoppgaver. Resultatene diskuteres i lys av forskning på problemløsingsadferd i ulike oppgaveformat, og muligheten for at ensidig bruk av flervalgsoppgaver forsterker innflytelsen av tiltro til egne ferdigheter, løftes fram. Funnene har konsekvenser både for praktisk testutvikling, og for slutningene vi trekker på grunnlag av testskårer.

Resultatene i den tredje studien synliggjør hvordan ulike elevgrupper, som også oppnår ulikt resultat, arbeider i prøvesituasjonen. Fra et metodologisk synspunkt vektlegges betydningen av å sammenholde elevenes første gangs lesing med lesing under oppgavebesvarelse. Dette har viktige  konsekvenser for forskning på kartlegging av lesing Studien går ut over et fokus på leseforståelse som produkt og belyser leseforståelse som prosess, noe som kan gi et bedre grunnlag for å forstå hva skårer på leseforståelsesprøver er et uttrykk for.