Skapa prov och test med hjälp av ChatGPT

AI

Hej och välkomna till Didaktiska laboratoriet. Det här är en film i en serie om hur jag som undervisande lärare kan använda ChatGPT i min undervisning. Den här filmen handlar om hur jag kan använda mig av AIn ChatGPT för att skapa prov och test.


I den här filmen kommer jag att beskriva:

- En kort forskningsöversikt rörande provens effekt på lärande

- Hur man kan använda ChatGPT för att skapa prov

- Mina erfarenheter



Kort forskningsöversikt rörande provens effekt på lärande

I artikeln What Does the Research Say About Testing? (2019) sammanfattar Carly Berwick fördelarna med att använda prov och tester, bland annat för att:

  • Återkalla tidigare information, till exempel i början av lektioner.

  • Repetera centrala begrepp, gärna tre gånger för ökad effekt

  • Gör testen inom en vecka från när de lärde sig

  • Låga insatser om man inte lyckas

  • Möjligheten till att revidera och lära sig av sina svar

Hur kan man använda ChatGPT för att skapa prov?

Nedan följer min och ChatGPTs konversation om hur man kan använda AIn för provskapande.

Fekes fråga

Hej ChatGPT! Jag ska göra en Youtube-film om hur man som lärare kan använda sig av dig för att göra prov. Vad tycker du att jag ska prata om i den filmen?


ChatGPTs svar:


Hej där! Det låter som ett spännande ämne för din YouTube-film. När du diskuterar hur man som lärare kan använda mig för att skapa prov, kan du fokusera på följande punkter:


  • Introduktion till AI i utbildning: Förklara vad artificiell intelligens (AI) är och hur det används inom utbildning. Diskutera fördelarna med att använda AI i provskapande processen.
  • Automatiserad rättning: Berätta om möjligheten att använda mig för att automatisera rättningen av prov. Förklara att jag kan analysera och utvärdera elevernas svar baserat på förprogrammerade kriterier och ge snabba och objektiva resultat.
  • Tidsbesparing: Diskutera hur användningen av mig kan spara lärarens tid och energi. Genom att överlåta rättningen till mig kan läraren fokusera på att ge återkoppling och planera framåt istället för att spendera timmar på att rätta prov.
  • Skräddarsydda prov: Förklara hur du kan använda mig för att skapa skräddarsydda prov. Du kan nämna att jag kan generera frågor utifrån specifika ämnen, anpassa svårighetsgraden och skapa varierande prov för att passa olika nivåer och behov.
  • Dataanalys: Diskutera fördelarna med att använda mig för att analysera resultat och data från prov. Genom att använda mig kan lärare identifiera mönster, svaga områden och individuella framsteg hos eleverna för att kunna anpassa undervisningen mer effektivt.
  • Etiska överväganden: Ta upp frågor om etik och integritet kring användningen av AI i utbildning. Förklara att det är viktigt att använda teknologin på ett rättvist och ansvarsfullt sätt, och att lärare fortfarande spelar en central roll i att bedöma och stödja eleverna.
  • Exempel och erfarenheter: Dela med dig av dina egna erfarenheter av att använda mig i provskapandet. Berätta om fördelarna du har sett och eventuella utmaningar som kan uppstå, samt ge exempel på positiva resultat du har uppnått.
  • Slutligen kan du avsluta filmen genom att sammanfatta fördelarna med att använda mig som verktyg för provskapande och betona att jag kan vara ett värdefullt komplement till lärarens arbete för att skapa en mer effektiv och rättvis bedömning.

Fekes följdfråga:

Tack, vilka bra förslag! Vilka olika typer av prov kan du skapa?


ChatGPTs svar:

Som en AI-baserad assistent kan jag hjälpa till att skapa olika typer av prov. Här är några exempel på provtyper som du kan nämna i din YouTube-film:

  • Multiple Choice (flervalsfrågor): Jag kan generera flervalsfrågor med flera alternativ och rätta svaren automatiskt. Detta sparar tid för läraren och ger snabba resultat.
  • Fill in the Blanks (sätt in ord): Jag kan skapa prov där eleverna behöver fylla i saknade ord i en mening eller en text. Jag kan analysera svaren och bedöma om de är korrekta eller inte.
  • True/False (sant/falskt): Jag kan generera påståenden där eleverna ska avgöra om de är sanna eller falska. Jag kan bedöma elevernas svar baserat på de korrekta svaren.
  • Short Answer (korta svar): Jag kan skapa prov där eleverna behöver ge korta svar på specifika frågor. Jag kan utvärdera svaren baserat på nyckelord eller specifika kriterier.
  • Essay (uppsats): Även om bedömning av uppsatser är mer komplext, kan jag hjälpa till med att generera ämnesförslag och bedöma strukturen och grammatiken i elevernas svar. Bedömningen av innehållet och den kreativa aspekten av uppsatsen ligger dock vanligtvis utanför min förmåga.
  • Numerical/Equation-based (numeriska/equation-baserade frågor): Om provet innehåller matte- eller fysikrelaterade frågor kan jag hjälpa till att generera numeriska eller ekvationsbaserade frågor och bedöma elevernas svar.

Dessa är några exempel på provtyper jag kan hjälpa till att skapa och bedöma. Du kan anpassa listan utifrån dina specifika behov och ämnesområden som du vill fokusera på i din YouTube-film.


Fekes följdfråga:

Hej igen! Tidigare skrev du så här:


Som en AI-baserad assistent kan jag hjälpa till att skapa olika typer av prov. Här är några exempel på provtyper som du kan nämna i din YouTube-film:

  • Multiple Choice (flervalsfrågor): Jag kan generera flervalsfrågor med flera alternativ och rätta svaren automatiskt. Detta sparar tid för läraren och ger snabba resultat.
  • Fill in the Blanks (sätt in ord): Jag kan skapa prov där eleverna behöver fylla i saknade ord i en mening eller en text. Jag kan analysera svaren och bedöma om de är korrekta eller inte.
  • True/False (sant/falskt): Jag kan generera påståenden där eleverna ska avgöra om de är sanna eller falska. Jag kan bedöma elevernas svar baserat på de korrekta svaren.
  • Short Answer (korta svar): Jag kan skapa prov där eleverna behöver ge korta svar på specifika frågor. Jag kan utvärdera svaren baserat på nyckelord eller specifika kriterier.
  • Essay (uppsats): Även om bedömning av uppsatser är mer komplext, kan jag hjälpa till med att generera ämnesförslag och bedöma strukturen och grammatiken i elevernas svar. Bedömningen av innehållet och den kreativa aspekten av uppsatsen ligger dock vanligtvis utanför min förmåga.
  • Numerical/Equation-based (numeriska/equation-baserade frågor): Om provet innehåller matte- eller fysikrelaterade frågor kan jag hjälpa till att generera numeriska eller ekvationsbaserade frågor och bedöma elevernas svar.

Kan du skapa ett exempelprov som innehåller tre flervalsfrågor, tre sätta in ord-frågor och tre sant/falskt-frågor. 


ChatGPTs svar:


Absolut! Här är ett exempel på ett prov som innehåller tre flervalsfrågor, tre "sätt in ord"-frågor och tre sant/falskt-frågor:

**Prov: Matematik**


1. Flervalsfrågor:

   a. Vad är resultatet av 5 + 7?

      1. 10

      2. 12

      3. 14

      4. 16

   b. Vad är roten ur 64?

      1. 4

      2. 6

      3. 8

      4. 10

   c. Vad är 3/4 som decimaltal?

      1. 0,25

      2. 0,5

      3. 0,75

      4. 1


2. "Sätt in ord"-frågor:

   a. Den __________ triangeln har tre lika långa sidor.

   b. En rektangel har fyra __________.

   c. En cirkel har ingen __________.


3. Sant/falskt-frågor:

   a. En kvadrat har fyra räta vinklar. (Sant/Falskt)

   b. 12 är ett udda tal. (Sant/Falskt)

   c. Pi är ett irrationellt tal. (Sant/Falskt)


Notera att det här bara är ett exempelprov och svaren inte finns angivna. Du kan ange svaren baserat på de rätta alternativen eller svaren som du anser vara korrekta för varje fråga.


Detta är bara en liten del av de provtyper som jag kan hjälpa till med att skapa. Du kan anpassa provet ytterligare genom att lägga till fler frågor eller använda andra provtyper som jag nämnde tidigare.


Mina erfarenheter

Mina erfarenheter av att använda ChatGPT är mycket goda och har gjort det i flera olika provformer. Det viktiga är att alltid läsa igenom de svar du får, anpassa dem efter det eleverna lärt sig och försöka justera formuleringar så att det blir helt rätt. Samma gäller när eleverna har genomfört proven och du kan behöva se om eleverna gett andra svar än de som AIn gett som rätta svar. Ett mänskligt öga behövs alltid för att försegla de sista stegen i processen!


Tack för att ni visade intresse i denna fråga. Hör gärna av er med frågor och funderingar - jag ser alltid fram emot att få prata med mina läsare och tittare.


Eder tillgivne, 

Feke


Källor:

https://www.edutopia.org/article/what-does-research-say-about-testing/

Länk till mina frågor och ChatGPTs svar: https://docs.google.com/document/d/1Ot6eO51tSw7N0VTn-tPhH1D5g29SooJQ1r4JtOzVhw0/edit?usp=sharing

https://chat.openai.com/


Om mina lärandestrategier inför prov, eller, mitt i lärandesmeten

app
Hej och välkomna! Jag har den senaste tiden både haft prov och presentationer varpå våra lärare gett oss olika typer av återkoppling. I kölvattnet av dessa prov och återkopplingstillfällen har jag i metakognitionens anda funderat kring mina egna lärandestrategier; har jag utvecklat mitt sätt att lära mig och isåfall på vilket sätt? Finns det aspekter från mitt egna arbete som påverkat denna förändring och märker jag av någon förbättring?

I detta inlägg kommer jag att 1) jämföra mina tidigare och mer nyliga lärandestrategier, 2) ge exempel på nya verktyg deras effekt och 3) beskriva mina erfarenheter från själva proven.

Nyckelord: lärandestrategier; återkoppling; prov; app

Jämföra mina tidigare och mer nyliga lärandestrategier


Jag har alltid tyckt om att testa mig fram när jag står inför en utmaning och den inställningen har tydligt färgat mitt sätt att lära mig; jag uppfattar ofta misslyckanden som en anledning att lära mig något nytt och att våga göra misstag kan leda mig till att nå mitt mål. Jag tackar mitt livslånga tv-spelande för att det har lärt mig tålamod, att man alltid kan testa nya strategier för att hitta en väg fram eller att man behöver ett nytt verktyg att arbeta med. På grund av denna inställning har jag också spenderat en avsevärd mängd tid på att testa mig fram när jag lär mig något nytt. Jag måste avväga tiden jag lägger på hitta (och bemästra) dessa verktyg med att bara “nöta” på det sätt jag tidigare gjort.

I min nuvarande situation väger jag både tid och strategier på två fronter; jag ska själv lära mig japanska och behöver därmed studera på ett effektivt vis, samt att jag testar mig fram med olika strategier för att kunna använda dem när jag själv ska undervisa igen. För mig kommer IT och digitala lösningar in som en naturlig aspekt i detta resonemang eftersom det finns en uppsjö av digitala verktyg både som ska skynda på inlärning (mer om det i nästa del av detta inlägg) och som ska ha hög anpassningsbarhet efter ens individuella behov. Utifrån ett kvalitetsperspektiv vill jag samtidigt som jag lär mig testa mig fram och granska huruvida dessa verktyg faktiskt är bättre än de analoga som traditionellt använts. Hur har det sett ut när jag studerat och förberett mig inför prov under de senaste månaderna?

Idag när jag studerar börjar jag med att sätta det jag ska lära mig i den kontext kunskapen ska användas; exempelvis försöker jag att förstå japansk grammatik och hitta språkets bakomliggande struktur genom att titta på youtube-filmer eller att läsa fraser. I en mer traditionell sitta-ner-och-studera-situation rör jag mig mot att öva och memorera innehållet med övningarna för att utöka min vokabulär och förståelse, memorera grammatiska morfem eller skapa längre meningar. Simultant försöker jag hitta användningsområden i det vardagliga livet, till exempel genom att applicera det jag lärt mig när jag pratar med japaner. Det här är den mest utmanande delen eftersom den är kräver mycket av mina språkförmågor och att jag hittar någon som har tid för att lyssna på mitt tragglande (ett bra exempel är när jag pratar med min frisör om enkla och vardagliga ämnen).

Kontextualiseringen av mina kunskaper är en ny strategi som jag tidigare inte använt mig utav. Givetvis bidrar min tillfälliga hemort till detta val men jag misstänker att mitt egen undervisnings fokus på autenticitet har lett fram till denna förändring. Trots att jag är omringad av naturliga tillfällen för att prata japanska så tänker jag inte alltid på att öva på min senaste uppsatta mål. Därmed behöver jag även öva på egen hand och eftersom jag har läxor i stort sett varje dag behöver jag hitta effektiva sätt att lära mig. Eftersom jag intresserar mig för digitalisering har jag testat flera appar och program men även analoga övningar för att testa vilka jag upplever ger störst effekt.

Ge exempel på nya verktyg och deras effekt


Inför prov utgår jag från en pomodoroteknik där jag övar i cykler av 20 minuter följt av en kort vila för att sedan påbörja en ny 20-minuterscykel. Jag har även testat att lära mig genom att spela låtar på gitarr samtidigt som jag förbättrar mitt uttal. Innehållsmässigt är mitt största utvecklingsområde utan tvekan grammatik; jag upplever att det finns ett glapp mellan det jag har lärt mig, mina läxor och deras autentiska användningsområden. Det tar mig ett tag att få in dessa grammatiska strukturer i mitt dagliga språkbruk och jag har testat olika sätt att öva och förbättra min grammatik.

I min grammatikkurs använder jag boken みんなの日本語 (Minna no nihongo = ungefär Allas japanska), där övningarna består av meningar som ska skrivas om enligt den grammatiska regel som kapitlet behandlar. Övningarna har en övningsruta per fråga och för att öva flera gånger behöver jag skriva av hela meningarna på ett separat papper där jag kan upprepa övningarna. Jag har även kompletterat dessa övningar med att skapa memorykort som en minnesteknik och jag har satt upp post it-lappar med nya ord ord grammatiska regler runt mitt skrivbord. För att försöka minska behovet av att köpa papper har jag testa en rad olika språkappar: Duolingo, Memrise, Infinite Japanese, Japanese Kanji Study, för att nämna några. Nedanför ser ni en bild på mina memorykort och Memrise där båda tekniker skapar meningar på ett modulärt vis.





Apparna har många övningar som påminner om de som finns i mina kursböcker. Dock upplever jag att apparna ger mig mer tid till själva övningarna i jämförelse med tiden jag tidigare lagt på att exempelvis göra själva memorykorten eller skriva av övningar i från mina böcker till separata block. Å ena sidan är appar färdiggjorda med syftet att repetera och kräver inte att jag matar in information. Å andra sidan kan det finnas ett värde att skriva lapparna även om tidsåtgången är längre. Jag misstänker att genom att skriva ord eller fraser (eller annat typ av material) så sker det en nivå av inlärning vid själva skapandetillfället.

Det är värt att nämna att apparna är multimodala och jag upplever att jag har haft lättast att minnas och använda fraser eller grammatiska regler när jag fått se, höra och konstruera dem. Själva meningskonstruktionen finns såklart i böckerna också, men min uppfattning är att när apparna simulerar autentiska sekvenser så är övergången till vardagen lättare. Dessutom har flera appar funktioner för learning analytics vilket ger mig en överblick över vad jag behöver öva på och kan ge mig omedelbar återkoppling. Som en sista observation har jag även märkt att när jag är osäker på om jag gör rätt eller inte i min kursbok behöver jag smygkolla i facit medan apparna skapar en känsla att det är ok att testa och misslyckas. Dessutom cyklar apparna övningar för att variera det jag lär mig vilket stärker (och möjligtvis ökar) min motivation.

Erfarenheter från själva proven


Hur blev det vid provtillfället och hade övningarna förberett mig inför det som skulle testas? För ett par dagar sedan hade jag ett prov i kanji och nästa vecka har jag en muntlig presentation om Sveriges historia samt ett grammatikprov. För att undersöka huruvida mina förberedelser möter proven ska vi titta på tidigare prov. Nedanför ser ni ett par bilder från mina senaste prov.



Det första som är värt att nämna är att frågorna på provet påminner om den typen av övningar som finns i kursböckerna. Målet med frågorna var att identifiera och förändra morfem i exemplen (fetstil med en pil) och sedan skriva ut den nya meningen. I vissa fall behöver vi själva ha memorerat vissa verb. I det andra exemplet ser vi ett kanjiprov där de understrukna orden till vänster ska skrivas om: är de skrivna i kanji ska de skrivas om till hiragana och vice versa. 

Jag upplever att mina förberedelser inför proven till större del har fungerat. Jag upplever att det är svårare att minnas alla grammatiska regler och grammatikproven innehåller förutom dessa regler även stundvis vokabulär som gör utmaningen något större. Kanji, vilket jag pratat om tidigare, är något jag finner roligt och det påverkar säkerligen min prestation. Gällande mina övningar så överensstämmer övningarna i min kurslitteratur bättre med grammatikprovet medan exempelvis appar gör det lätt att välja och öva på enstaka ord eller symboler. Jag har ännu inte funnit en app som tillåter mig att välja vilka grammatiska regler jag kan öva på men att den grammatik som jag råkar kommer in kontakt med i apparna är lättare att återkalla. 

Min slutgiltiga reflektion blir således att eftersom jag inte kan kontrollera innehållet i de appar som jag använt mig av (till exempel så har Duolingo och Memerise färdiga kurser) så fungerar de som ett komplement till det material som jag redan har lärt mig. Dyker det innehåll som jag gått igenom under min kurs upp i min app så märker jag att det går lättare att begripa det och att övningen stadigt går framåt. En önskan vore att ha appar med större valmöjlighet som kan skräddarsy övningar efter mitt behov. Har ni läsare tips eller förslag på dessa? Kommentera gärna!

I det här inlägget har jag skrivit om mina strategier när jag lär mig japanska och jag har reflekterat kring deras styrkor respektive svagheter. Min upplevelse är att jag minns det jag övat på med appar något lättare jämfört med övningsböcker. Däremot så finns inte det exakta innehållet som jag skulle vilja öva på i alla appar utan de fungerar snarare som en komplettering till det jag redan övat på.



Kommentera gärna med era reflektioner kring:
  • Hur borde vi värdesätta kreativitet gentemot effektivitet (tex digitala flippkort kontra fysiskt memory)?
  • Vilka fördelar och nackdelar ser ni mellan att använda övningsböcker eller appar?
  • Hur kan appar göras till mer än bara kompletteringsverktyg?

Eder tillgivne,
Feke

Nytt läsår, nya idéer, eller, experimentet med duggan

didaktik
Hej och välkomna till första inlägget läsåret 2016-2017. Med sommarledigheten bakom oss har Didaktiska Laboratoriet återvänt med nya tankar som ska testas i undervisningen. Detta inlägg kommer att behandla 1) erfarenheter av problematiken kring prov och betygsättning, 2) bakgrunden till ett nytt synsätt kring prov- och bedömningstillfällen samt 3) duggor som incitament till inlärning inför betygssättning.

Erfarenheter av problematiken kring prov och betygsättning

Under föregående läsår testade jag flera olika nya idéer i min undervisning. Vissa av dessa idéer var framgångsrika, bland annat tydligare lektionsstruktur, omfattande digitalisering av instruktioner och material, ett nära samarbete med skolbiblioteket med bibliotekarierna som medpedagoger, tydliga bedömningskriterier (nyanserat, analyser, tolka, komplexa samband), samt skapandet av digitala prov. Å andra sidan var vissa lösningar mindre framgångsrika och det fanns en rad elever som hade svårigheter med exempelvis formativa bedömningar. Låt oss granska dessa resultat något mer noggrant. 

Det formativa arbetssättet är den stjärna som lyser allra starkast på den pedagogiska himlen just nu och 2015 gick jag utbildningen "Bedömning för lärande" som leddes av Jesper Ersgård för att lära mig mer. Enligt formativt arbetssätt gav jag mina elever fylliga kommentarer som de sedan bearbetade genom till exempel skriftliga kommentarer eller muntlig återgivning för att stärka deras metakognitiva inlärning. Från elevgrupperna kom både glädjerop (”Åh vad skönt att slippa betyg!...Äntligen slipper vi bokstäver”) och klagorop (”Men hur ska jag kunna veta vad kommer att få för betyg? Vad är vitsen att arbeta om det är bara i slutet vi får betyg?”). Just det senare påståendet florerade särskilt mycket där det fanns elever som upplevde det mållöst att lära sig under året eftersom de kunde kämpa stenhårt vid den slutgiltiga betygsättningen. Jag reflekterade i denna stund över när Ersgård problematiserade hur betygssättning på individuella uppgifter kan ha negativ inverkan på elevers lärande. Mina tankar kom inte fram till någon lösning utan bidrog till ytterligare konfundering.

Det uppenbarade sig problem: å ena sidan pekar pedagogisk forskning på hur ett formativt arbetssätt gynnar elevernas metakognitiva utveckling och å andra sidan finns det elever som ställer sig icke mottagliga för den typen av undervisning. Jag upplevde det problematiskt att forma stimulerande undervisning enligt forskningsrönen samt förmedla arbetssättet till elever som inte ser värdet med det. Dessutom fanns det elever som blev mer stressade av elaborerade kommentarer eftersom ännu mer ansvar lades på eleven utöver deras regelbundna ansträngning i klassrummet. Jag är medveten om att föra in formativa idéer på enbart en instans inom skolan underminerar sannolikheten att tankesättet ska slå rot – det behöver användas av alla för att det verkligen ska fungera -  vilket gör att eleverna kan bli stressade av ett helt nytt arbetssätt. Men det finns fler lärare på min skola som arbetar formativt och jag vill själv delta i att testa arbetssättet, men hur ska jag förhålla mig till det när det finns elever som inte lär sig?

Bakgrunden till ett nytt synsätt kring prov- och bedömningstillfällen


Vid min årliga självreflektion återkom jag till Ersgårds utbildning när jag analyserade läsåret. Utbildningen pekade bland annat på forskning om hur bedömning och betyg påverkar elevens utveckling; tre grupper av elever får tre varianter av bedömning där ena får ett betyg, den andra kommentarer och ett betyg och den tredje enbart kommentarer. Forskningsresultatet visade att eleverna som enbart fick betyg hade minst utveckling, gruppen som fick både kommentarer och betyg gynnade framförallt högpresterande gymnasieelever medan gruppen som fick enbart kommentarer hade störst inverkan på elevernas inlärning. Minnet av dessa resultat var ytterst fascinerande och jag fick flera tankeställare om hur jag bör uppdatera min undervisning. Nyckeln verkar ligga i att utvinna effekten hos kommentarer tillsammans med att öka studiemotivationen.

Vid ett annat tillfälle kom jag i kontakt med lektor Carola Wiklund-Hörnqvists forskning, institutionen för psykologi vid Umeå universitet, om test och deras effekt på ökad inlärning. Wiklund-Hörnqvist pekar på positiva aspekter med att öka antalet testtillfällen. Sammanfattningsvis visar forskningen på att fler test leder till ökad inlärning och stärker minnet (jämför Skolvärlden 2016a, 2016b, 2015, 2014). Texterna var sällsamt intressanta i kölvattnet av hur positivt inställda eleverna var till de digitala test de genomfört. Tanken på att lösningen ligger i bedömningstillfället började sakta ta form.  

Sommarledighetens distans till undervisningen gav mig ytterligare tid för reflektion. Hur kan jag behålla det formativa arbetssättet där eleverna får konkreta och konstruktiva kommentarer som driver deras inlärning framåt? Hur kan jag hjälpa eleverna att inte blint stirra på betyg och identifiera sig med en bokstav? Hur kan jag få eleverna att finna värde i att lära sig och sträva framåt mot ett mål och känna värde i den ansträngningen? Inspirationen kom från universitetsvärlden.

Duggor som incitament till inlärning inför betygssättning



Vissa universitet använder sig av mindre test kallade duggor som eleverna skriver inför större tentor. Eleven deltar med hopp om att klara duggan vilket i så fall leder till att eleven får med sig ett antal poäng till den kommande tentan. Duggans styrka är att den ger eleverna en chans att belönas när de visar på sina kunskaper innan det mer avgörande bedömningstillfället. Vidare så möjliggör duggan att en framgångsrik elev kan känna sig mer säker på sina kunskaper när de får ta med sina bonuspoäng till ett provtillfälle som annars hade kunnat skapa stor oro och stress. Elever med lägre motivation får även flera tillfällen att prövas och poängsystemet agerar som stöd för att uppnå en E-nivå. En annan aspekt är att duggan är ett betygslöst bedömningstillfälle som ger eleverna återkoppling på sina kunskaper utan att deras slutgiltiga betygssättning hamnar i fokus. En pedagogisk idé började forma sig i mitt sinne.

Ett av läsåret 2016-2017s mer övergripande didaktiska projekt blir att pilottesta ett dugge-system. Den pedagogiska planen ser ut som följande: elev inom engelska övar på sin förmåga att uttrycka sig i skrift, att uttrycka sig i tal samt att förstå tal och skrift. Dessa är fyra stora mål inom engelskkursen vilka ska bedömas separat under året för att slutligen ge en gemensam indikation på kunskaper vid betygssättning i maj. Med ett dugge-system skulle elevens ansträngningar och producerade material (skriftliga inlämningar, uppsatser, muntliga presentationer, et cetera) ger eleven ett ”fantombetyg” som enbart är en lägesrapport på elevens kunskapsnivå i relation till kunskapskraven. Varje fantombetyg är värt ett speciellt antal poäng. Under kursen sker två prov där elevens fantombetyg ger bonuspoäng inför provtillfället. Under kursen bedöms elevens ansträngningar och eleven ges gott om utrymme för individuell samt kollektiv återkoppling. Slutmålet är ny inlärning och en förståelse för hur elevens förmågor ska utvecklas inför kommande inlärning.

Ambitionen med detta experiment är att möta de framgångsfaktorer som de ovan nämnda forskningsresultaten visar på samtidigt som jag försöker tillgodose elevernas behov för ökad motivation. Detta experiment blir även ett sätt att möta de brister som jag uppmärksammade i mitt arbete med ett formativt arbetssätt. Det faller sig uppenbart att detta system faller inom ramen för den andra kategorin av forskningsresultat som Ersgård beskrev (de som fick både ett betyg och kommentarer) vilket riskerar att enbart fungera för högmotiverade elever. Jag tror dock att detta arbetssätt ger eleverna ett mer handfast förhållnigssätt till sin inlärning eftersom de ser hur sina ansträngningar kan gynna dem i deras inlärning under längre tid. Även om duggorna är riktade mot ett summativt tillfälle (men är inte all undervisning det?) så kommer de förhoppningsvis att finna styrka i att vilja lära sig och nå kunskapskraven under hela terminen eftersom hårt arbete kommer att belönas. 


Tack för att ni tog er tid att läsa detta inlägg och jag hoppas att vi ses åter.

Eder tillgivne,
Feke

Digital undervisning, digitala prov, eller, skapa prov i Google formulär

Google docs
Välkommen till ett sommarinlägg från Didaktiska laboratoriet där vi kommer att titta på hur prov (klassiska sådana, liknande salstentor) kan skapas i Google formulär. I mitt föregående inlägg redovisade jag årets kursutvärderingar och ett av de mer framgångsrika experiment som jag testade var att skapa prov i ett digitalt format. Eleverna verkade mycket positivt inställda till denna provform. Följande text kommer att 1) förklara värdet av digitala prov, 2) hur plattformen Google formulär kan användas för provskapande och 3) hur proven delvis kan bli självrättande.

Värdet av digitala prov

På vår skola är papper och penna inte längre de grundläggande verktygen i elevens vardag; datorn dominerar undervisningen med många strängar på sin digitala lyra så som kraftfull ordbehandling, smidiga kollaborativa lösningar och oändlig tillgång till information via enkla sökkommandon. Personligen ser jag det som en självklarhet att elevernas undervisning ska använda datorn i så stor utsträckning som möjligt. Datorn är en naturlig del av elevens vardagliga digitala kompetens men är även den plattform som eleven kommer mest troligt att använda i sitt kommande vuxenliv (telefonen kan också argumenteras tillhöra denna sfär, men det lämnar jag till ett annat inlägg). Således bör eleverna få formell träning i hur de använder olika digitala plattformar. Detta innebär i sin tur att om undervisningen är digital bör även delar av bedömningstillfällen som prov vara det.

Ponera att en elev ska öva på följande fyra mål och förmågor i Engelska:
  • Formulera sig och kommunicera på engelska i (tal och) skrift.
  • Använda språkliga strategier i olika sammanhang.
  • Anpassa språket efter olika syften, mottagare och situationer.
  • Diskutera och reflektera över livsvillkor, samhällsfrågor och kulturella företeelser i olika sammanhang och delar av världen där engelska används (Skolverket, 2011).
En argumentativ uppsats är ett möjligt test för att visa på att eleven uppnått målen; eleven genomför flera aktiviteter som utvecklar förmågorna att nå dessa mål där eleven testas på att väga olika perspektiv (diskuterar och reflekterar) med ett retoriskt (strategiskt och anpassat) språk (skrift). Läraren föreläser för eleverna om det argumentativa hantverket, visar i sin Powerpoint på hur för- och nackdelar kan formuleras samt exemplifierar med ett elevexempel. Eleven får öva och skriva sin egen text vilket antingen kan ske för hand med en penna eller på elevens dator. Undervisningen har en tydlig processorienterad struktur där flera digitala modaliteter vävts in. Läraren och eleven är nöjda men vid inlämningstillfället får läraren en magkänsla att en av uppsatserna inte är skriven av eleven själv eftersom nivån skiljer sig avsevärt från elevens tidigare kunskaper. Har en magnifik utveckling skett? Eller har eleven fuskat på något sätt? Urkund visar inte på plagiarism. I detta scenario skulle ett digitalt prov kunna bemöta denna problematik på flera punkter.

Inledningsvis möjliggör en digitalt skriven uppsats att eleverna får alla fördelar med digital ordbehandling. Skrivprocessen äger rum under en längre tid och läraren har svårt att säkerställa alla gånger hur input av information äger rum. Får eleven möjlighet att öva att skriva via sin dator men har ett separat, enskilt tillfälle att skriva det egentligen provet likt de Nationella proven finns det större sannolikhet att eleven visar på de inneboende kunskaper som eleven har utvecklat. Detta sker inte utan problematik: elever uppger att de känt stress inför provtillfällen, att det inte finns tillräckligt med tid och att de är osäkra på vad som händer om man har ”en dålig dag”? Till svar argumenterar jag som så att de flesta tillfällen vi genomför någon form av ordbehandling så sker de de facto utan större förberedelse För mig skapar detta en god nivå av autenticitet Lärare har även höjt ett varningens finger om att eleverna kan fuska om de använder sina datorer. Min erfarenhet visar att så länge jag som lärare är aktiv under provtillfället och närvarande samt har eleverna vända med sina skärmar mot mig (så jag ser deras ryggar) har inte detta varit ett problem. Utifrån detta kan eleverna förslagsvis öva genom en digitalt skriven uppsats vilket ger tid för förberedelse och återkoppling. När läraren vill betygsätta hur eleven uppnått målet skriver eleven ett digitalt prov.

Google formulär för provskapande

Under vårterminen 2016 hade jag ett längre samtal med min kollega Patrik som är en lysande pedagog och förespråkare av nya pedagogiska lösningar. Vi problematiserade provskrivande utifrån elevers ovana att använda pennor, förlängd bedömningstid vid eventuella otydliga handstilar (!), klagoröster om ”orättvisa” när elever med särskilda behov får tillgång till datorer och säkerhet gällande förvaring och distribution av handskrivna prov. 

Patrik förklarade att han hade testat att göra prov med flervalsfrågor i Google formulär med stor framgång. Jag blev omedelbart intresserad eftersom jag själv sökt efter en fungerande digital plattform varpå vi diskuterade hur konstruktionen äger rum på bästa sätt. Min tanke var att kunna skapa frågeställningar där svaren inte är sökbara och där kunskaper samt förmågor prövas. Efter en tids laborering och planering, Patriks instruktioner hur han gjort, min flickväns tålamod att lära mig hantera svarsdata i Excel (mer om detta under delen om självrättaning) och pilottester skapade jag mitt första utkast. Google formulär är till stora drag en plattform för enkätundersökningar. 

När jag besöker hemsidan https://www.google.se/intl/sv/forms/about/ kan jag med plusknappen skapa ett nytt formulär och dess intuitiva gränssnitt vägleder mig genom designprocessen med inbyggda inmatnings- och inklistringsalternativ.

Jag börjar med att skapa en rubrik (här ”Argumenative test ENG”) och skriver provinstruktionerna därunder vid ”Form description”. Jag namnger min första fråga som ”Namn och klass” genom att klicka på ”Untitled question” och trycker jag till höger om texten får jag välja flera olika alternativ. Jag väljer ”Short answer” för kortare text. Mer om olika frågealternativ kommer nedanför. Sedan, genom att dra den lila slide-knappen ”Required” till höger gör jag frågan obligatorisk att besvara vilket försäkrar mig om att eleverna enbart kan lämna in provet om de har att fylla i namn och klass. Efter att jag skapat min förstasida väljer jag det som påminner om ett likhetstecken som tillåter mig att skapa ett nytt avsnitt vilket syns längst ned till höger i bilden nedanför.

Ett nytt avsnitt är en separat del av Google formuläret och används till fördel för att separera ämnesområden från varandra. Jag kan skriva i en ny rubrik för avsnittet och lägga till olika typer av frågor: flervalsfrågor, matriser, tidslinjer, textrutor med mera. Plustecknet lägger till nya frågor och jag kan alltid välja att ändra mina val hur många gånger jag vill. Samtliga förändringar sparas i realtid men kan även ångras med kortkommandot ctr+z på ditt tangentbord. Till höger om frågealternativen kan jag även infoga bilder, dokument eller youtubeklipp som stöd för frågorna.



Välj den frågetyp som passar syftet med ditt prov; jag rekommenderar att exempelvis testa mer grundläggande kunskaper med flervalsfrågor där eleven får klicka i ett eller flera påståenden som överensstämmer med dina frågor. Svaren kan följas upp med mer fylliga redovisningar av kunskaper genom att lägga till en öppen frågeställning med alternativet ”Short answer” för kortare svar eller ”paragraf” för länge text. Jag testade att be eleverna motivera sina svar för att ge dem utrymme för sina individuella röster.
Frågealternativ

Till exempel använde jag Google formulär till två slutprov i kursen Religion 1 där eleverna enligt målen både skulle visa på kunskaper samt redogöra för förmågor. Bilden nedanför visar på hur jag formulerade flervalsfrågor.
Flervalsfrågor Religion 1
Eleverna har möjligheten att klicka i färdiga svar men blir informerade att flera svar kan vara rätt. I inledningen av provet informerades det att om flervalsfrågor förekommer och att klicka i samtliga rutor kan ge minuspoäng om eleven fyller i nästintill alla rutor om de är felaktiga svar. En annan fråga jag konstruerade var av den mer öppna karaktären vilket vi ser i bilden nedanför.
Öppen frågeställning Religion 1



Den öppna frågeställningen ber eleverna att jämföra två perspektiv på döden där det vänstra är linjärt medan det högra är cirkulärt. Svarsalternativet är ”paragraf” vilket tillåter eleverna att skriva med större frihet. Till skillnad från de slutna frågeställningarna ska de öppna frågorna visa på elevens förmågor (i detta fall att kunna analysera religioner och livsåskådningar utifrån olika tolkningar och perspektiv).

I anslutning till vårt fiktiva exempel med den argumentativa uppsatsen skulle ett Google formulär-prov kunna utformas med två till tre frågor som möter de fyra målen. Förslagsvis kan provet bestå av tre olika frågor där svarstexten ska innehålla en argumentativ karaktär, så som ett kort debattinlägg, en kommentar till en blogg och en del av ett skolarbete. Bilden nedanför visar ett exempel på hur en sådan frågeställning skulle kunna se ut.
Ett exempel på hur ett argumentativt prov kan formuleras.

Delvis självrättande prov


Tidigare i inlägget berördes hur Google formulärs svarsdata kan göras delvis självrättande. Jag eftersökte digitala lösningar som kunde programmeras för att stödja lärarens bedömningsarbete och hoppades på att Google formulär kunde vara ett alternativ för detta. Dessvärre finns inte riktigt den teknologin och hittills har arbetet resulterat i en form av kvasi-rättande version tack vare Excels formateringsverktyg ”Villkorlig formatering”.

När eleverna genomfört provet finns deras svarsdata att tillgång i två olika former: Google formulär-sidan visar pajdiagram, stapeldiagram och text samt en nedladdningsbar Excel-fil. Patrik föreslog att göra provet själv, kalla sig själv ”Facit” och i Exceldokumentet välja att med Villkorlig formatering formatera de egna svaren i valfri färg. Formateringen gör att om eleverna uppger samma svar som ”Facit” kommer dessa att lysa upp vilket underlättar bedömningen. Jag markerar en svarskolumn och under villkorlig formatering > Ny formateringsregel väljer jag ”Formatera endast celler som innehåller” varpå jag matar in mitt egna svar. Bilden nedanför visar hur jag valt dessa alternativ, skrivit in svaret ”Vishnu” och gett det en grön färg. Denna typ av rättning är effektiv och snabb, men det uppstår problem när det kommer tillbedömningen av svaren skrivna i text-form.
Bilden till höger visar hur kolumn E har formaterats för att grönmarkera svaret ”Vishnu” och vi får en enkel översikt av rätta (i grönt) respektive felaktiga svar (i vitt). Större textstycken kan inte skrivas i förväg på ett sådant sätt att de överensstämmer med vad eleverna matar in; alla personer som genomför provet kommer skriva olika svar på de mer öppna frågeställningarna vilket även bör uppmuntras för att ge utrymme för elevernas olika kunskapsnivåer. Det jag gjorde var att jag skrev ett svar på dessa frågor som gav flera möjliga träffpunkter. Det går att färgformatera elevernas svar så att om de har uppgett ett nyckelord som även finns i mitt svar blir deras svar grönt. Trots detta är inte det, enligt mig, ett tillfredsställande sätt att hantera svaren. Ett drömscenario är att kunna färgformatera flera nyckelord som lyser upp i textmassan, men det har hittills inte gått att genomföra (om någon har goda Excel-kunskaper får ni gärna lära mig hur detta går att lösa). Däremot har min flickvän hjälpt mig med Excel så att den skapar matematiska uträkningar av antalet begrepp som förekommer i en textmassa för att skapa en summativ uträkning. Denna typ av formatering möjliggör att se användande av viss terminologi, till exempel ”finns begreppet X med?” och Excel skapar en formel med antal använda begrepp.

Sammanfattningsvis vill jag reflektera kring mina erfarenheter av att använda Google formulär som provform. Eleverna har funnit proven som användbara och smidiga; eleverna var i regel nöjda med hur de kunde besvara och redigera provfrågorna med lätthet. Några elever var mindre nöjda med hur jag använde provet då större, summativa, slutprov blev stressskapande och inte gav en rättvis bedömning för en hel kurs. Denna kritik är viktig att begrunda då jag anser att prov ska möjliggöra för eleverna att visa på sina kunskaper. Jag vill undvika att elever känner onödig mängd stress. Då vissa elever känt sig stressade av de digitala proven och digitala lösningar ska underlätta undervisningen tyder det på att jag måste lära mig att använda elektroniska didaktiska lösningar på ett sätt som stödjer eleverna att nå sina mål. Problematiken finns kvar gällande elever som har svårigheter att genomföra prov i allmänhet och där måste jag som lärare försöka göra en avvägning hur jag ska bedöma eleverna. Jag upplevde digitala prov som positiva eftersom eleverna som helhet gjorde lika bra eller bättre som när de haft analoga prov. Eftersom formateringen av provet bidrog till smidigare rättning möjliggjorde plattformen att jag kunde fokusera på de mer öppna frågorna. Resultatet blev att min bedömning och återkoppling blev av högre kvalitet vilket eleverna även kommenterat kring.

Tack för att ni tagit er tid att läsa detta inlägg och jag önskar en fortsatt trevlig sommar.

Eder tillgivne,

Feke

Popular Posts

Carbonmade

https://fekenorman.carbonmade.com/