NKUL - Kartlegging av fagkompetanse med digitale prøver

ILS, Universitetet i Oslo
Are Turmo, Bjørnar Alseth, Øystein Jetne

Disse tre jobber med digitale tester, nasjonale prøver og internasjonale tester.

Digital naturfagprøve:

Denne ble utført innenfor rammen av PISA (i 2005). (Kan leses om her også)
PC baserte prøver kan ha mange positive fordeler, men det som er interessant er om resultatet blir påvirket av at den er på pc istedenfor på papir. Hvordan endres den eventuelt? 315 elever deltok med en time på papir og en time på pc. Det hele startet med at OECd lyste ut ett anbud i des 2003 om kartlegging av naturfagkompetanse ved hjelp av PC. I 2005 ble den gjennomført i 13 land (blant annet i Norge). Kravet var at den PC-baserte prøven skulle være av samme verdi som den papirbaserte prøven. Prøven ble gjennomført i begrenset avstand fra Oslo. Det var 10 tilfeldig valgte elever fra hver skole. Programvaren ble utviklet til PISAundersøkelsen spesielle behov (oversetting og kontroll med elever som deltar)
For å redusere kompleksitet ble alle oppgavene på pc automatisk rettet (flervalg, komplekse flervalg, korte tallsvar og "drag and drop". De fleste av oppgavene inneholdt multimedia- elementer (filmer, lyd osv.). Papirtesten var av oppgaver som ble brukt i den vanlige generalprøven i PISA, både flervalgsoppgaver og åpne oppgaver. (de hadde også en undersøkelse etterpå).
Man hadde ett sett av bærbare PCer; fem elevmaskiner og en maskin for testadministrator. Testen ble gjennomført fra 15 mars til 15 juni i 2005. Samme instruksjonene ble lest høyt for elevene i alle de deltakende landene. I tillegg var det en treningssesjon før PC-prøven: Eksempler på oppgaver og hvordan man manøvrerer i PC-prøven, med forklaringer. Det var to typer data som ble reistrert fra PC-prøven: Svarene på de faglige oppgavene og data om elevenes atferd under prøven. (Atferden kan en bare undersøke når prøven gjøres på pc)

Resultater:
Er det en sterk sammenheng mellom prøven på pc og på papir? Det en ser er at korrelasjonen mellom disse verdiene er 0,70: omtrent den samme for jenter som for gutter (relativt høyt (skal være nært 1)). Sammenhengen er ikke helt perfekt.
Jenter skårer signifikant høyere på papirprøven enn på pc-prøven. Gutter skårer signifikant høyere enn jenter på pc - prøven. Forskjellem mellom kjønnene på papirprøven er ikke signifikante. Hva skyldes dette mønsteret? Da ser en på elevspørreskjemaet i forhold til faglig skår på prøvene (mest interessant med pc). Det er svake sammenhenger mellom egenvurdert IKT-kompetanse og prestasjoner. Samlevariabel for alle spørsmål om IKT-ferdigheter ble laget: Korrelasjonen mellom denne samleverdien og differanse i resultatene mellom PC-prøven og papirprøven er signifikant og positiv (0,13). Analysen viser ingen sammenehng mellom IKT ferdigheter og resultater på PC-prøven.
Elevene oppgir at de la ned samme innsats i de to prøvene. Det er like fullt en tendens til at elevene sier at de la ned noe mer innsats i PC-prøven enn papirprøven: spsielt guttene. De fleste elevene ville ha foretrukket en to-timers prøve på PC, spesielt guttene. PC-prøven ble godt mottatt av de norske elevene. Hva kjennetegner da de elevene som skårer spesielt godt på PC-prøven? - Skåre på PC-prøven henger positivt sammen med karakterer i kjernefagene norsk, matematikk og naturfag som forventet, men sammenhengen med karakter i naturfag er ikke spesielt sterk; indikerer av PC-prøven også måler kompetanse r som ikke er en del av naturfagkarakteren. Skåre på PC-prøven - skåre på papirprøven: Denne forskjellen i skåre henger ikke signifikant sammmen med karakterer i naturfag eller matematikk, men den henger negativt sammen med karakteren i norsk. Dette er som forventet; papirprøven stiller større krav til lese og skriveferidgheter. Hva kjennetegner elever som skårer spesielt godt på PC-prøven? Guttene har en klas fordel av at prøven gjennomføres på PC. Dette forklares ved at papirprøven favoriserer gode lesere og skrivere, og at PC-prøven favoriserer elever med gode IKT ferdigheter og motivasjon.

Atferdsdataene: fokus på bruk av "mediaplay", og også tidsbruken til elevene på PC prøven.
Jenter og gutter brukte omlag like lang tid på prøven (ca 49 minutter). 34% brukte mer enn 55 min. Sammenhengen mellom tidsbruk og prestasjoner er like sterk for jenter som for gutter (k=0,20). Guttene gjorde flere mediaplay enn jenter (79 og 70). Positiv sammenheng mellom antallet mediaplay og presentasjoner for jenter, mens det er en svak , ikke signifikan sammenheng for guttene. Jo flere mediaplay jentene gjorde, desto bedre likte de PC- prøven.
De to prøvene gir ganske så forskjellige resultater. Pc prøven favoriserer guttene bganske klart. Kravet til lesekompetanse er mindre og guttene er mer aktive og motiverte overfor PC-prøven. Hvilke av de to prøvene gir det "Sanneste " målet på elevenes naturfagkompetanse? Vi kan hevde at PC-prøven gir det beste målet fordi kravet til lesekompetanse er lavere.,- men er lesekompetanse ikke en del av naturfakompetanse(les grunnleggende ferdigheter). På den annen side: Undersøkelsen måler også IKT kompetanse.
En viktig konklusjoner at det ikke er uproblematisk å flytte en prøve fra papir og over til PC. PC-baserte prøver kan ha mange åpenbare fordeler, men man må være klar over at man kan påvirke hva som måles gjennom prøven.

MATEMATIKK
Jobber med digitalprøve i starten av VG1 (først fra høsten) her tenkes papir overført til PC (denne er obligatorisk for hele landet)

Hva tester en digital prøve? Det handler om mye, leseferdighet, skrive, tegne ferdighet, fag og digital kompetanse og genrekunnskap. (Ofte kan matematikkoppgaver forvirre elevene når det skal gjøres mest mulig praktisk rettet). Prøver på PC kontra matematikk har ulike vinklinger. En forholder seg anderledes til PC enn papir.
På PC blir det gjerne bare 1 oppgave per side, mens på papir blir det flere oppgaver tett i tett. Det kan jo hjelp en del elever. PC-prøven må være litt mer ryddig (teknisk sett), - dette kan gjøre at en hjelper elevene til å konsentrere seg mer om hver enkelt oppgave. Når oppgaven er på nett og det derfor er bare en oppgave på hver side er det gjerne mer naturlig med illustrajoner. Påvirker dette resultatet?
Ett diagram som du skal bruke til flere oppgaver må på PC presenteres flere ganger,- det kan for elevene føles som du må starte på nytt for hver gang.
Det å skrive matematisk tekst er vanskelig for elevene f. eks brøker og potenser.
Når det er tegninger i oppgaven kan en ikke tegne opp hjelpelinjer når oppgaven er på PC, - i motsetning til på papir.
Undersøkt om det er forskjell på papir og pc. Undersøkelsen viser ingen forskjeller innen tall, regning, algebra, måling, statistikk. Men papirutgaven gjør det bedre innen geometri og lineære funksjoner. Ved grafer og geometri er det på papir leggere å tegne/ skissere for hånd, elevene er vant til å løse slike oppgaver på papir. Det er problemer med illustrasjoner på PC.
Konklusjonen er at stort sett går det greit og overføre fra papir til PC.
Formatet med digitale tester har stor betydning for kartlegging.

Digital leseprøve
Prøven skulle kartlegge elevene leseferdigheter ved inngangen til VG1. Den skulle bidra til å heve lærernes kompetanse om lesing som grunnleggende ferdighet. Det skulle gi kunnskaper om hva som kjennetegner sterke og svake lesere i Oslo. Utfordringer er motvilje mot målinger blant elever og lærere. Underveisvurdering vs sluttvurdering og elevvurdering vs skolevurdering. (Det var ett ønske fra Oslo kommune at Fronter skulle brukes)
Den nasjonale leseprøven skal foreløpig være en papirprøve. PISAs ERA- prøve er en heldigital prøve. Oslo-prøven i lesing er en Halvdigital prøve. (Heldigital prøve vil ta en totre år å lage). Utfordringer knyttet til planlegging og gjennomføring
- oppgavene i lik rekkefølge for alle elever.
- stimuli har med tekstformat , tekstlengde og layout, (Lesing på papir kontra PC f. eks lengde på avsnitt).
- oppgaveformat er lik på papir som på PC.
- poengene er det litt forskjellige forhold mellom åpne oppgaver (Lærer må rette), flervalgsoppgaver og sant/usant - oppgaver.
- fokus og innsats det er kjedelige tekster og krevende oppgaver. De tror at guttene klikker seg fort videre hvis de ikke skjønner noe på internett.
- juks og hemmelighold. Det er lett med tjuvtitting, det er også med å ha nettprat.....
Foreleser har stor tro på digitale tester som selvtestinger.
Noen eksempler Danske eksempeloppgaver