Afgelopen dinsdag 26 november 2013 was ik in Groningen, op bezoek bij de Rijksuniversiteit Groningen (RUG). Ik was daar samen met collega’s Helma Vlas, Jan de Goeijen (van ITCS), Nico Kloek en Marc Hulshof (FB). We hebben veel informatie en inzicht gekregen in de aanpak van de RUG voor digitale toetsing. Deze dag was ontstaan vanuit een spontane actie van Silvester Draaijer van de VU. En Louwarnoud van der Duim had een goed programma in elkaar gezet! Doordat eea ook via Twitter bekend was gemaakt, waren er uiteindelijk veel mensen in Groningen.
Uiteindelijk waren er wel 50 personen aanwezig. Naast onze delegatie, waren de volgende instellingen ook aanwezig: UvA en AMC, VU, TU Delft, Universiteit Leiden en LUMC, Universiteit Utrecht en UMC, Erasmus Universiteit en SURF. Er komt nog wel een langer verslag, maar hier de hoogtepunten van deze succesvolle dag:
- Actuele stand van zaken in Nederland als we het hebben over digitale toetsing is als volgt: de VU heeft een grote toetszaal (385 plekken), RUG heeft een zaal met 288 plekken (zie foto). De UvA is bezig met een zaal met 160 plaatsen, Universiteit Leiden is bezig met een zaal met 400 plekken, UMC is bezig met een zaal met 300+ plaatsen. En ik weet ook dat Saxion twee zalen heeft, eentje in Enschede, en 1 in Deventer.
- Een opvallend verschil in aanpak: De RUG neemt digitale tentamens af via een door henzelf ontwikkeld Building Block in Blackboard. Andere tools worden zeer sporadisch gevraagd op dit moment. QMP zit in de planning, vooral omdat daarin itembanken mogelijk zijn. De VU daarentegen neemt nu vooral digitale toetsen af via Question Mark Perception.
- De RUG bedient vooral die opleidingen en docenten die open essay vragen willen afnemen (argumentatie: handschriften van studenten zijn soms moeilijk leesbaar, en veel efficiëntie te behalen). De vraag is ook duidelijk vanuit de opleidingen gekomen voor een digitale toetszaal.
- Digitale toetsing vergt militaire precisie in de planning en de uitvoering. Dit werd zeer expliciet genoemd door de RUG; ze hebben. En ook de VU gaf dit heel nadrukkelijk aan.
- Online assessments en bijbehorende tools zijn nog redelijk onvolwassen. Vandaar natuurlijk dat de RUG zelf aan de slag is gegaan met een eigen Building Block.
- Door digitale toetsing kan de kwaliteit van je toetsproces en ook de toets zelf stijgen. Je moet beter nadenken over je vragen, en je modelantwoorden.
- Opmerkelijke uitspraak van een docent van de RUG: Door de anonimiteit van het nakijken van de digitale toets, ben je minder bevooroordeeld.
- Zorg altijd ook voor een backup scenario. Bijvoorbeeld een papieren afdruk van het tentamen. Bijkomend voordeel: de student ziet op papier hoe het hele tentamen er uit ziet, als hij het digitale tentamen doet.
- De RUG heeft een forse club voor functioneel beheer.
- Er was bij de RUG geen business case vooraf opgesteld. Men is gewoon begonnen! De totale verwachte kosten voor drie jaar digitaal toetsen zijn 700.000 euro (m.u.v. de kosten van de inrichting van de zaal).
Nog een paar foto’s via mijn Flickr account. Nog meer informatie:
Vind het punt van open vragen echt een inzicht. Ik zat vooral te denken aan meerkeuze. Vinden we dat er spellingscontrole in die toetssoftware moet/mag zitten? Argument voor: niemand schrijft nog zonder spellingscontrole. Argument tegen: je kunt op spellingscontrole zoeken naar concepten (klinkt als …)
Na een lange voorbereidingstijd (waarbij we uiteraard het Aletta Jacobs gebouw en de Tent van de VU bezochten) is begin september het toetslokaal voor digitaal toetsen van Zuyd in gebruik genomen op de locatie Nieuw Eykholt in Heerlen. De officiële opening vindt vandaag (2 december) plaats in het bijzijn van ons CvB.
In feite bestaat het lokaal uit een lokaal met 28 plekken en een met 52 plekken. Beide uitgerust met de M2Desks zoals die ook elders staan. Vooralsnog wordt er uitsluitend met QMP getoetst. Wanneer de Schedule-tool van Universiteit Wageningen en het Classroommanagement pakket NetControl definitief in productie genomen worden, worden ook andere vormen van digitaal toetsen mogelijk. Op dit moment zijn deze extra’s in het toetslokaal nog niet beheer(s)baar. Summatief toetsen in Blackboard wordt door onze Blackboard Key Users vooralsnog afgeraden. Het genoemde Building Block wordt door ons niet gebruikt.
Ruud Habets
Ik heb me niet zo bezig gehouden met digitaal toetsen maar meer met de infrastructuur. Zoals de zaal in Groningen uitgerust was denk ik dat multifunctionele inzet moeilijk wordt. Alles was bekabeld waardoor alleen de huidge indeling mogelijk is.
Ik weet niet in hoeverre het onderwijs op de UT al bezig is met digitaal toetesen, maar inderdaad de openbaring dat grootste tijdwinst te halen valt met essay vragen / open antwoorden vond ik opmerkelijk.
Het viel me ook op dat het digitaal toetsen nog behoorlijk in de kindrrschoennen stond en dat er aan veel zaken gedacht moest worden.
Als er wordt gekozen voor een permanente toetszaal op de UT, dan wil ik er wel voor pleiten dat er infrastructuur voorzien wordt zodat (mogelijk op termijn) digitaal toetsen mogelijk wordt.
Besproken punten uit de sessie “Verdieping RUG aanpak”
Tijdens de bijeenkomst over Digitale Toetsing bij de RUG konden de deelnemers in kleinere groepen verder praten over een drietal thema’s: Technische opzet; Bestuurlijke informatie; Verdieping RUG aanpak. Hieronder wat punten uit laatstgenoemde sessie.
Geavanceerde toepassingen
Er wordt nog weinig gebruik gemaakt van geavanceerdere mogelijkheden bij de toetsing, bijvoorbeeld van de mogelijkheid om filmpjes te tonen. Het kan wel. Bij de RUG kunnen ze filmpjes op de server plaatsen en beschikbaar maken. Er kan geen gebruik worden gemaakt van YouTube filmpjes, dat wordt qua beschikbaarheid te risicovol geacht. Bij een andere instelling worden filmpjes vooraf op de desktop gezet.
Ondersteuning
Qua beheer en ondersteuning zijn er vijf mensen (Team Toetsondersteuning) beschikbaar. Zij bieden ook ondersteuning bij toetsanalyses en bieden professionaliseringsactiviteiten. Bij iedere faculteit is er ook een “digitale toetscoördinator”, maar die zijn niet allemaal even actief.
Per toets wordt vanuit het ondersteuningsteam een procesbegeleider toegewezen.
Er komt een heel proces op gang vanaf het moment dat een docent (een jaar van te voor) aangeeft van de zaal gebruik te willen gaan maken. Als eerste vult de docent vooraf een “intakeformulier” in. Hierin wordt o.a. aangegeven wanneer de toetsing plaatsvindt, hoeveel studenten er verwacht worden en of er gebruik zal worden gemaakt van internet. De procesbegeleider bekijkt op basis van het ingevulde formulier wat nodig is en of alles naar wens geregeld kan worden.
De docent voert zelf de vragen in. Er zijn (softwarematige) do’s & dont’s die gelden bij het opstellen van een tentamen, bijvoorbeeld wat betreft de lay-out. Deze aandachtpunten worden in een handleiding aangegeven. De docenten kunnen hiervoor ook een workshop volgen. Eventueel kunnen ze hulp krijgen van de facultaire toets- of BB-coördinator of iemand van het ondersteuningsteam.
Twee weken van te voor moet het tentamen worden ingeleverd. De procesbegeleider voert alles in en checkt of alles goed werkt. Alle vragen van de docent worden letterlijk overgenomen, tenzij er echt opvallende fouten geconstateerd worden. In dat geval wordt feedback gegeven en contact gezocht met de docent. De docent kan achter zijn eigen computer niet 100% zien hoe de eindversie in de computerzaal er uit komt te zien. Dit kan een procesbegeleider wel en hij/zij kan alle instellingen op maat maken.
Richting docenten wordt het belang van het aanhouden van de deadline gecommuniceerd, al wordt daar nu nog wel flexibel mee omgegaan.
Inschrijving
De inschrijvingen van de studenten voor het tentamen worden van Progress (RUG registratiesysteem) overgenomen. Het komt voor dat een student wel tentamen wil doen en niet staat ingeschreven. Dan kan alsnog beslist worden – door de aanwezige docent – of de student mee mag doen en kan ter plekke een inlogaccount worden aangemaakt.
Stimulering van het gebruik.
Of faculteiten gebruik van de toetszaal maken heeft te maken met de toetsvormen (bijv. toetsen die bij de antwoorden veel geschreven tekst verlangen), maar vooral ook met een al dan niet actieve toetscoördinator of projectleider binnen de faculteit die het gebruik ondersteunt en/of promoot. Het zijn veelal de jongere docenten die gewend zijn om wat te experimenteren, die de voorhoede vormen.
Ook zonder veel promotie neemt het gebruik van de zaal snel toe.
Planning
De planning van de zaal gebeurt via een roosteraar per faculteit. De zaal kan ook voor andere doeleinden ingezet worden, bijv. een practicum of toetsing via papier, maar het gebruik voor digitale toetsing heeft voorrang. Gebruik door externe partijen gebeurt sporadisch.
Afscherming
Op dit moment zijn er geen andere applicaties dan Internet Explorer mogelijk (bijv. geen Excel of Matlab) en wordt gewerkt met een centrale server. In principe kan de student dus niets op de computer zetten. Het gebruik van Internet wordt afgeschermd, maar slimme studenten weten soms toch nog wel via andere wegen het Internet op te gaan. Daarbij lopen ze wel het risico betrapt te worden door de surveillant en beschuldigd te worden van fraude.
Ondersteuning door studentassistenten.
Bij de toetsafname is er altijd een studentassistent (aanvankelijk 1 per 100 studenten; nu 1 per 150) aanwezig die goed thuis is op het gebied van digitale toetsing en bekend is met de zaal en de apparatuur. Hij/zij kan aan het begin problemen oplossen (bijvoorbeeld het lukt een student niet om in te loggen) en kan, naast de aanwezige docent, ook surveilleren. Hiervoor is een pool aan studenten beschikbaar, die ook veelal werkzaam zijn voor de IT-helpdesk.
Alles wordt al van te voor door de studentassistent klaargezet (computers opgeklapt e.d.). Dit kost ca 45-60 minuten bij grote groepen. Er wordt door de RUG gewerkt met drie blokuren (9-12 uur; 2-5 uur; half 7 – half 10), waardoor tussentijds voldoende tijd overblijft voor uitloop en voorbereiding.
Noodplan
In nood – stroomuitval – staat er een reproshop stand-by die binnen een half uur tentamens op papier kan leveren. Hiervoor moet er altijd een PDF achter de hand worden gehouden. Bij tentamens in de avonduren (wanneer de repro dicht is), worden voldoende tentamens op papier achter de hand gehouden. Er is bij de RUG twee keer zo’n noodsituatie geweest.
Indien er problemen bij individuele studenten voorkomen, kan via een digitaal ‘logboek’ worden opgespoord wat er aan de hand is geweest.