NKUL - Kartlegging av fagkompetanse med digitale prøver

ILS, Universitetet i Oslo
Are Turmo, Bjørnar Alseth, Øystein Jetne

Disse tre jobber med digitale tester, nasjonale prøver og internasjonale tester.

Digital naturfagprøve:

Denne ble utført innenfor rammen av PISA (i 2005). (Kan leses om her også)
PC baserte prøver kan ha mange positive fordeler, men det som er interessant er om resultatet blir påvirket av at den er på pc istedenfor på papir. Hvordan endres den eventuelt? 315 elever deltok med en time på papir og en time på pc. Det hele startet med at OECd lyste ut ett anbud i des 2003 om kartlegging av naturfagkompetanse ved hjelp av PC. I 2005 ble den gjennomført i 13 land (blant annet i Norge). Kravet var at den PC-baserte prøven skulle være av samme verdi som den papirbaserte prøven. Prøven ble gjennomført i begrenset avstand fra Oslo. Det var 10 tilfeldig valgte elever fra hver skole. Programvaren ble utviklet til PISAundersøkelsen spesielle behov (oversetting og kontroll med elever som deltar)
For å redusere kompleksitet ble alle oppgavene på pc automatisk rettet (flervalg, komplekse flervalg, korte tallsvar og "drag and drop". De fleste av oppgavene inneholdt multimedia- elementer (filmer, lyd osv.). Papirtesten var av oppgaver som ble brukt i den vanlige generalprøven i PISA, både flervalgsoppgaver og åpne oppgaver. (de hadde også en undersøkelse etterpå).
Man hadde ett sett av bærbare PCer; fem elevmaskiner og en maskin for testadministrator. Testen ble gjennomført fra 15 mars til 15 juni i 2005. Samme instruksjonene ble lest høyt for elevene i alle de deltakende landene. I tillegg var det en treningssesjon før PC-prøven: Eksempler på oppgaver og hvordan man manøvrerer i PC-prøven, med forklaringer. Det var to typer data som ble reistrert fra PC-prøven: Svarene på de faglige oppgavene og data om elevenes atferd under prøven. (Atferden kan en bare undersøke når prøven gjøres på pc)

Resultater:
Er det en sterk sammenheng mellom prøven på pc og på papir? Det en ser er at korrelasjonen mellom disse verdiene er 0,70: omtrent den samme for jenter som for gutter (relativt høyt (skal være nært 1)). Sammenhengen er ikke helt perfekt.
Jenter skårer signifikant høyere på papirprøven enn på pc-prøven. Gutter skårer signifikant høyere enn jenter på pc - prøven. Forskjellem mellom kjønnene på papirprøven er ikke signifikante. Hva skyldes dette mønsteret? Da ser en på elevspørreskjemaet i forhold til faglig skår på prøvene (mest interessant med pc). Det er svake sammenhenger mellom egenvurdert IKT-kompetanse og prestasjoner. Samlevariabel for alle spørsmål om IKT-ferdigheter ble laget: Korrelasjonen mellom denne samleverdien og differanse i resultatene mellom PC-prøven og papirprøven er signifikant og positiv (0,13). Analysen viser ingen sammenehng mellom IKT ferdigheter og resultater på PC-prøven.
Elevene oppgir at de la ned samme innsats i de to prøvene. Det er like fullt en tendens til at elevene sier at de la ned noe mer innsats i PC-prøven enn papirprøven: spsielt guttene. De fleste elevene ville ha foretrukket en to-timers prøve på PC, spesielt guttene. PC-prøven ble godt mottatt av de norske elevene. Hva kjennetegner da de elevene som skårer spesielt godt på PC-prøven? - Skåre på PC-prøven henger positivt sammen med karakterer i kjernefagene norsk, matematikk og naturfag som forventet, men sammenhengen med karakter i naturfag er ikke spesielt sterk; indikerer av PC-prøven også måler kompetanse r som ikke er en del av naturfagkarakteren. Skåre på PC-prøven - skåre på papirprøven: Denne forskjellen i skåre henger ikke signifikant sammmen med karakterer i naturfag eller matematikk, men den henger negativt sammen med karakteren i norsk. Dette er som forventet; papirprøven stiller større krav til lese og skriveferidgheter. Hva kjennetegner elever som skårer spesielt godt på PC-prøven? Guttene har en klas fordel av at prøven gjennomføres på PC. Dette forklares ved at papirprøven favoriserer gode lesere og skrivere, og at PC-prøven favoriserer elever med gode IKT ferdigheter og motivasjon.

Atferdsdataene: fokus på bruk av "mediaplay", og også tidsbruken til elevene på PC prøven.
Jenter og gutter brukte omlag like lang tid på prøven (ca 49 minutter). 34% brukte mer enn 55 min. Sammenhengen mellom tidsbruk og prestasjoner er like sterk for jenter som for gutter (k=0,20). Guttene gjorde flere mediaplay enn jenter (79 og 70). Positiv sammenheng mellom antallet mediaplay og presentasjoner for jenter, mens det er en svak , ikke signifikan sammenheng for guttene. Jo flere mediaplay jentene gjorde, desto bedre likte de PC- prøven.
De to prøvene gir ganske så forskjellige resultater. Pc prøven favoriserer guttene bganske klart. Kravet til lesekompetanse er mindre og guttene er mer aktive og motiverte overfor PC-prøven. Hvilke av de to prøvene gir det "Sanneste " målet på elevenes naturfagkompetanse? Vi kan hevde at PC-prøven gir det beste målet fordi kravet til lesekompetanse er lavere.,- men er lesekompetanse ikke en del av naturfakompetanse(les grunnleggende ferdigheter). På den annen side: Undersøkelsen måler også IKT kompetanse.
En viktig konklusjoner at det ikke er uproblematisk å flytte en prøve fra papir og over til PC. PC-baserte prøver kan ha mange åpenbare fordeler, men man må være klar over at man kan påvirke hva som måles gjennom prøven.

MATEMATIKK
Jobber med digitalprøve i starten av VG1 (først fra høsten) her tenkes papir overført til PC (denne er obligatorisk for hele landet)

Hva tester en digital prøve? Det handler om mye, leseferdighet, skrive, tegne ferdighet, fag og digital kompetanse og genrekunnskap. (Ofte kan matematikkoppgaver forvirre elevene når det skal gjøres mest mulig praktisk rettet). Prøver på PC kontra matematikk har ulike vinklinger. En forholder seg anderledes til PC enn papir.
På PC blir det gjerne bare 1 oppgave per side, mens på papir blir det flere oppgaver tett i tett. Det kan jo hjelp en del elever. PC-prøven må være litt mer ryddig (teknisk sett), - dette kan gjøre at en hjelper elevene til å konsentrere seg mer om hver enkelt oppgave. Når oppgaven er på nett og det derfor er bare en oppgave på hver side er det gjerne mer naturlig med illustrajoner. Påvirker dette resultatet?
Ett diagram som du skal bruke til flere oppgaver må på PC presenteres flere ganger,- det kan for elevene føles som du må starte på nytt for hver gang.
Det å skrive matematisk tekst er vanskelig for elevene f. eks brøker og potenser.
Når det er tegninger i oppgaven kan en ikke tegne opp hjelpelinjer når oppgaven er på PC, - i motsetning til på papir.
Undersøkt om det er forskjell på papir og pc. Undersøkelsen viser ingen forskjeller innen tall, regning, algebra, måling, statistikk. Men papirutgaven gjør det bedre innen geometri og lineære funksjoner. Ved grafer og geometri er det på papir leggere å tegne/ skissere for hånd, elevene er vant til å løse slike oppgaver på papir. Det er problemer med illustrasjoner på PC.
Konklusjonen er at stort sett går det greit og overføre fra papir til PC.
Formatet med digitale tester har stor betydning for kartlegging.

Digital leseprøve
Prøven skulle kartlegge elevene leseferdigheter ved inngangen til VG1. Den skulle bidra til å heve lærernes kompetanse om lesing som grunnleggende ferdighet. Det skulle gi kunnskaper om hva som kjennetegner sterke og svake lesere i Oslo. Utfordringer er motvilje mot målinger blant elever og lærere. Underveisvurdering vs sluttvurdering og elevvurdering vs skolevurdering. (Det var ett ønske fra Oslo kommune at Fronter skulle brukes)
Den nasjonale leseprøven skal foreløpig være en papirprøve. PISAs ERA- prøve er en heldigital prøve. Oslo-prøven i lesing er en Halvdigital prøve. (Heldigital prøve vil ta en totre år å lage). Utfordringer knyttet til planlegging og gjennomføring
- oppgavene i lik rekkefølge for alle elever.
- stimuli har med tekstformat , tekstlengde og layout, (Lesing på papir kontra PC f. eks lengde på avsnitt).
- oppgaveformat er lik på papir som på PC.
- poengene er det litt forskjellige forhold mellom åpne oppgaver (Lærer må rette), flervalgsoppgaver og sant/usant - oppgaver.
- fokus og innsats det er kjedelige tekster og krevende oppgaver. De tror at guttene klikker seg fort videre hvis de ikke skjønner noe på internett.
- juks og hemmelighold. Det er lett med tjuvtitting, det er også med å ha nettprat.....
Foreleser har stor tro på digitale tester som selvtestinger.
Noen eksempler Danske eksempeloppgaver

Tanker om Test 2.0

Som jeg har beskrevet tidligere har jeg nå tatt i bruk Test 2.0 i it's learning. Dette er ett verktøy jeg er blitt glad i. Det gir muligheter for variasjon og hjelp i undervisningen.

Jeg ser at det er viktig å leke med verktøyet for å lære det. Det jeg lærte mest av når jeg laget testen i sannsynlighet, var at jeg prøvde å bruke alle typer spørsmål som fantes. Fordelen var at jeg ble mer og mer kreativ. Jeg tror også elevene følte at det ikke var en enspora test de tok. Variasjon i spørsmålstyper og illustrajoner tror jeg gjorde at testen ikke ble for kjedelig, som den lett kunne bli med bare flervalgs spørsmål.

Jeg har også lært at nøkkelordene i spørsmål med kort svar bør ha mange alternative svar. Dette får å sikre seg at alle muligheter for rett svar virkelig gir rett svar.

Tester er noe jeg kommer til å bruke mye framover. Jeg ser mange muligheter og fordeler med å bruke test 2.0, så her kommer det nok en lærer som vil bruke tester på data mer og mer både formativt og summativt

Erfaring med bruk av test i klasserommet

Ja nå har jeg gjennomført testen i to klasser, både i 1P og i 2P. Testen var i hovedsak laget for bruk i 2P klassen min (som beskrevet tidligere). Men på grunn av at jeg nettopp hadde blitt ferdig med sannsynlighetsregning i 1P, valgte jeg å prøve ut testen der og.

Da jeg brukte testen i 2P klassen min følte jeg at testen gav meg det svaret jeg ønsket. Jeg ville vite hvor mye elevene kunne om sannsynlighet, før jeg repeterte. Til dette fungerte testen godt. Det var en stor fordel med statistikken. Den gav meg tydlig tilbakemelding om hvor lite elevene kunne de ulike oppgavene. Utifra denne statistikken kunne jeg dermed legge opp undervisningen. Jeg er veldig spent når jeg da er ferdig med repetisjonen om elevene mine klarer testen bedre da.

I 1P klassen min brukte jeg testen som en innlevering. Samtidig kunne jeg bruke resultatet der til å vite hva elevene hadde lært minst i kapittelet om sannsynlighetsregning og dermed ta en ekstra gjennomgang av det.

Jeg føler at test kan være ett godt redskap i undervisningen. Den gir meg umiddelbare tilbakemeldinger om hvordan elevene kan / har lært ett stoff.

Digitale tester i 2P

Som jeg har skrevet om tidligere ønsket jeg å lage en test i sannsynlighet for 2P klassen min. Det er første gang at jeg lager en digital test i it's learning sitt Test 2.0.

Det var vanskelig å komme i gang. Hva ønsket jeg å teste elevene i, hvordan ville jeg gjøre det og hvilke spørsmålsalternativer skulle jeg bruke til de ulike oppgavene. Etterhvert som jeg har holdt på har det gått lettere og lettere. Det ble rett og slett litt gøy.

Hensikten med testen var i utgangspunktet å se hva elevene kunne i sannsynlighetsregning. Jeg laget derfor spørsmål som "bare" skal vise elevenes grunnleggende kunnskaper i sannsynlighetsregning. For at elevene ikke skulle gå lei prøvde jeg å bruke flest mulig av spørsmålsalternativene. I tillegg brukte jeg noen animasjoner og bilder for å illustrere det som det spørres om.

Noen problemer støtte jeg jo på etterhvert. Det første var å få inn ett bilde fra geogebra. Jeg lagret i flere fil formater, men ingenting fungerte. Til slutt ga jeg opp og valgte å finne et bilde jeg kunne bruke på nettet. Det neste problemet jeg kom over var når jeg skulle eksportere prøven fra it's learning på fylket til it's learning på høyskolen. Det som skjedde var at oppgaveteksten på noen av oppgavene forsvant. Dette kunne jo jeg bare skrive inn igjen, men verre var det at de oppgavene jeg hadde blanket ut var endret. Her hadde alle oppgavene (de blanke feltene) blitt til det samme svaret. Jeg oppdaget ikke dette problemet før jeg gikk gjennom alle oppgavene, - men fikk da ordnet de.

Alt i alt vil jeg si at dette var en god opplevelse. Jeg følte jeg fikk til en variert test både når det gjelder typer spørsmål og hvilke emner innenfor sannsynlighet som jeg tar opp. Hvordan det gikk i klassen kommer i neste blogginnlegg :-)

Bruk av tester i undervisning

Hvordan kan jeg bruke digitale tester i min undervisning og oppleve ett løft i undervisningen min?

Først vil jeg komme tilbake til det opplegget i matematikk 2P som jeg har snakket om tidligere i denne bloggen. Jeg har gjennomført undersøkelsen og fått noen viktige pekepinner om hvilke temaer jeg skal jobbe med i tiden framover. Ett av disse temaene er sannsynlighetsregning, og dette er det temaet jeg har bestemt meg for å starte med. Sannsynlighetsregning har jo elevene vært igjennom både på ungdomsskolen og i 1P. Når elevene da sier at de ikke føler de mestrer temaet kan det være kjekt å gjøre noen endringer i repetisjonsdelen. Jeg har valgt å lage en liten digital test som jeg tenker elevene skal ta først i undervisningen på tirsdag. Målet med denne testen er at både elevene og jeg skal kunne se hva de kan i sannnsynlighetsregning. Ut ifra dette vil jeg da legge opp resten av undervisningen denne dagen. For å kontrollere hvor mye elevene har lært vil jeg la elevene ta om igjen testen en uke etter at vi har jobbet med sannsynlighet. Dette gjør jeg for at både jeg og elevene skal få en tilbakemelding om hvordan de har lært faget. Jeg tenker også at testen kan være åpen noen dager før vi skal ha en skriftlig prøve i blant annet i dette temaet. Her vil jeg da bruke den digitale testen som en formativ test.

Etter at elevene har fått ferdige tester i sannsynlighet, kunne jeg hatt lyst til at elevene selv hadde laget tester i det neste temaet. Da tenker jeg at jeg først repetere temaet for klassen med vanlig gjennomgang og jobbing med oppgaver. Neste gang vi da samles ønsker jeg å la elevene jobbe sammen to og to i grupper. Hver av disse gruppene skal lage ti spørsmål hver. Deretter tar jeg og samler disse oppgavene i en større test som alle skal ta. Da vikl alle kjenne igjen sine egne spørsmål, og de vil samtidig forhåpentligvis bli utfordret av de andre sine oppgaver. Her må jeg selvsagt sjekke gjennom oppgavene for å finne eventuelle feil. Dette vil også være, som over, en formativ test.

Jeg er spent på om dette vil fungere, men den som følger med får se.

PS!! Bare kom med innspill hvis dere har noen gode ideer som kan bedre dette.

Bruk av LMS i dag

Jeg jobber i dag på en skole som bruker it's learning som læringsplattform.
Det jeg bruker dette verktøyet mest til er å legge ut filer som planer, prøver og løsningsforslag.
Det siste året har jeg lagt ut lenker til fagsteder, som kan hjelpe elevene. Jeg har også prøvd meg på multiplechoice, men slet med å finne gode alternativer. Tror matematikktester kan være lettere med Test 2.0 (som jeg snart har tenkt å prøve ut...).
Når det gjelder spørreundersøkelse har jeg brukt det en gang nå før jul. Da spurte jeg ut elevene i R2 hvor godt de kunne de ulike temaene. Dette var nyttig for meg når jeg skulle planlegge repetisjon foran Heldagsprøven.

En læringsplattform har mange muligheter. Til nå føler jeg at jeg mest har brukt de administrative mulighetene. Jeg håper at jeg etterhvert nå kommer til å bruke de pedagogiske mulighetene mer og mer.