Category: Toetsing

Home / Category: Toetsing

Muntgebouw in Utrecht

Last week I visited the Challenge Day that SURFnet organizes on a yearly basis. I was quite a few years that I was present at such a day. On the challenge day we challenge software vendors to show what they can offer for us. The Challenge Day was held at the Muntgebouw in Utrecht (see the picture).

There were two parallel tracks at this Challenge Day. Track one as focused on how the modular digital learning environment can be designed and created. The other track had a more specific theme, which was peer feedback and peer assessment. I attended all three sessions for this last track. We were shown 6 different digital tools that can be used for facilitating peer feedback and peer review. Want to know my opinions and observations? Please see my full post at the weblog of Onderwijsvernieuwing at University of Twente.

De special interest groep Open Education van SURF is heel actief! Ze doen veel en publiceren veel en vaak. Maar ze pakken het slim aan. Ze doen zeker niet alles zelf! Ze hebben zogenaamde pressure cook sessies uitgedacht. De eerste is in juni geweest, met als thema Didactiek, in relatie tot Open en Online onderwijs. Dit heeft nu geresulteerd in een hele interessante publicatie, een zogenaamde thema-uitgave (ik heb nog niet alles kunnen lezen). Ik pak er 1 prikkelend citaat uit:

“De neiging bestaat om het traditionele onderwijs, met een docent die college geeft, als default te hanteren bij het ontwerpen van nieuwe onderwijsvormen, en daarop variaties te maken”, stelt hoogleraar Peter Sloep van de Open Universiteit. “Daarmee zet je jezelf didactisch meteen op een achterstand. Allerlei didactische varianten die door online elementen mogelijk worden, blijven buiten het bereik van de verbeelding.”

Het grote pluspunt van een flipperkast? Onmiddelijke feedback! En nog veel meer verstandige opmerkingen zul je horen in bijgaande video. Het is een opname van een keynote van Dr. John H.A.L de Jong (VU / Pearson). De Jong vergelijkt paper-based testen en computer-based testen, en benoemd een aantal potentiële voordelen van computer-based testen die vaak nog onderbenut worden.

Het betreft een opname van een keynote enkele dagen geleden op EUROCALL 2014, de Europese conferentie over computer-ondersteund taalonderwijs die recent in Groningen plaats vond. Vooral de eerste 15 minuten vond ik interessant!

Eind vorige maand hadden we een gezamenlijke bijeenkomst over Technology Enhanced Learning and Teaching (TELT), zoals ik al eerder schreef. Ik heb nu eindelijk de tijd gevonden om me te buigen over de bevindingen en heb deze proberen samen te vatten. Er waren 4 groepjes gevormd, voor de thema’s MOOC’s, Digitale Toetsing, Onderwijsruimte 2020 en Digitaal Leermateriaal. De bevindingen van onze bijeenkomst zijn samengevat in de 20140624-inspiration-summary (PDF).

En erg verheugend om te merken: er zijn al enkele zaken opgepakt. Mooi!

Afgelopen dinsdag 26 november 2013 was ik in Groningen, op bezoek bij de Rijksuniversiteit Groningen (RUG). Ik was daar samen met collega’s Helma Vlas, Jan de Goeijen (van ITCS), Nico Kloek en Marc Hulshof (FB). We hebben veel informatie en inzicht gekregen in de aanpak van de RUG voor digitale toetsing. Deze dag was ontstaan vanuit een spontane actie van Silvester Draaijer van de VU. En Louwarnoud van der Duim had een goed programma in elkaar gezet! Doordat eea ook via Twitter bekend was gemaakt, waren er uiteindelijk veel mensen in Groningen.

Uiteindelijk waren er wel 50 personen aanwezig. Naast onze delegatie, waren de volgende instellingen ook aanwezig: UvA en AMC, VU, TU Delft, Universiteit Leiden en LUMC, Universiteit Utrecht en UMC, Erasmus Universiteit en SURF. Er komt nog wel een langer verslag, maar hier de hoogtepunten van deze succesvolle dag:

  1. Actuele stand van zaken in Nederland als we het hebben over digitale toetsing is als volgt: de VU heeft een grote toetszaal (385 plekken), RUG heeft een zaal met 288 plekken (zie foto). De UvA is bezig met een zaal met 160 plaatsen, Universiteit Leiden is bezig met een zaal met 400 plekken, UMC is bezig met een zaal met 300+ plaatsen. En ik weet ook dat Saxion twee zalen heeft, eentje in Enschede, en 1 in Deventer.
  2. Een opvallend verschil in aanpak: De RUG neemt digitale tentamens af via een door henzelf ontwikkeld Building Block in Blackboard. Andere tools worden zeer sporadisch gevraagd op dit moment. QMP zit in de planning, vooral omdat daarin itembanken mogelijk zijn. De VU daarentegen neemt nu vooral digitale toetsen af via Question Mark Perception.
  3. De RUG bedient vooral die opleidingen en docenten die open essay vragen willen afnemen (argumentatie: handschriften van studenten zijn soms moeilijk leesbaar, en veel efficiëntie te behalen). De vraag is ook duidelijk vanuit de opleidingen gekomen voor een digitale toetszaal.
  4. Digitale toetsing vergt militaire precisie in de planning en de uitvoering. Dit werd zeer expliciet genoemd door de RUG; ze hebben. En ook de VU gaf dit heel nadrukkelijk aan.
  5. Online assessments en bijbehorende tools zijn nog redelijk onvolwassen. Vandaar natuurlijk dat de RUG zelf aan de slag is gegaan met een eigen Building Block.
  6. Door digitale toetsing kan de kwaliteit van je toetsproces en ook de toets zelf stijgen. Je moet beter nadenken over je vragen, en je modelantwoorden.
  7. Opmerkelijke uitspraak van een docent van de RUG: Door de anonimiteit van het nakijken van de digitale toets, ben je minder bevooroordeeld.
  8. Zorg altijd ook voor een backup scenario. Bijvoorbeeld een papieren afdruk van het tentamen. Bijkomend voordeel: de student ziet op papier hoe het hele tentamen er uit ziet, als hij het digitale tentamen doet.
  9. De RUG heeft een forse club voor functioneel beheer.
  10. Er was bij de RUG geen business case vooraf opgesteld. Men is gewoon begonnen! De totale verwachte kosten voor drie jaar digitaal toetsen zijn 700.000 euro (m.u.v. de kosten van de inrichting van de zaal).

Nog een paar foto’s via mijn Flickr account. Nog meer informatie:

  • over de toetszaal en aanpak bij de VU is online te vinden
  • een interessant artikel over de aanpak van de RUG

Op 11 oktober organiseerde SURF Academy een webinar over digitaal toetsen met een expert uit Noorwegen van Uninett. De webinar had de volgende beschrijving: “(..) This webinar presents results from a working group from Norwegian universities investigating the requirements for network and security infrastructure needed for digital exams in a BYOD environment. A pre-study indicates some early results, and further avenues for investigation.” BYOD betekent Bring Your Own Device, wat natuurlijk ook op onze universiteit steeds gewoner wordt.

Zowel Helma als ik vonden dit webinar interessant, maar helaas was het aantal deelnemers beperkt en konden we dus niet meer live deelnemen. Maar gelukkig is er een video-opname gemaakt! De video-opname van het webinar (57 minuten) is online te bekijken. Twee interessante items uit het verhaal:

  • Als je werkelijk voor honderden studenten een (tijdelijke) digitale toetszaal wilt inrichten, dan is voldoende stroom wellicht de grootste uitdaging. Een gewone sporthal is daar niet op berekend, bijvoorbeeld. Maar een kunstijsbaan wellicht wel (wordt toegelicht rond 17 minuten in de opname).
  • (minuut 32) Er is een Engelstalig rapport beschikbaar over een onderzoek naar de mogelijkheden van “Large scale digital exams”. De belangrijkste conclusie uit dit onderzoek  is dat grootschalig digitaal toetsen in principe mogelijk is, zelfs met apparatuur van de studenten zelf (het rapport zelf heb ik niet kunnen vinden op het internet).
  • (rond minuut 35) Een overzicht van manieren waarop “Cheating” plaats zou kunnen vinden bij een digitale toets en ook manieren om daarmee om te gaan.

Er was blijkbaar een tekstuele chat beschikbaar tijdens het webinar. Die chat is echter niet zichtbaar in de opname.

Toetsing in TOM

2 August 2013 | Nederlands, Toetsing | No Comments

We hebben op de website van de Onderwijskundige Dienst veel informatie beschikbaar voor onze doelgroep. Er is bijvoorbeeld een uitgebreide kennissite over toetsen en beoordelen. Ook concrete en actuele informatie over toetsing en beoordelen in het Twents Onderwijs Model is ruimschoots beschikbaar. Een aanrader van deze kennissite: een artikel van collega Lisa Gommer over hoe bij CTW wordt gewerkt aan projectonderwijs en de rol van toetsing daarin.