Het schooljaar 2023-2024 is weer begonnen. Het is soms moeilijk voor te stellen dat we vorig jaar rond deze tijd nog niets wisten over ChatGPT, de chatbot die eind november 2022 werd gelanceerd. Ook bij Kennisnet vroegen we ons af wat deze vorm van generatieve AI zou gaan betekenen voor het onderwijs. Inmiddels zijn er nieuwe versies van ChatGPT en zijn er tientallen soortgelijke producten van andere aanbieders. Al dan niet geïntegreerd in bestaande software. Generatieve AI beperkt zich niet tot woord en tekst. Er zijn ook applicaties voor beelden, muziek, enzovoort. Al deze varianten doen snel hun intrede in scholen, waar leerlingen ze ontdekken en uitproberen.
Wat betekent generatieve AI voor toetsbeleid en examinering?
In dit artikel zoomen we in op één aspect van generatieve AI, namelijk de gevolgen van deze technologie voor toetsing en examinering. Ga je ChatGPT verbieden of onder voorwaarden toestaan bij examens – dat is de vraag. De vervolgvraag is wat dit dan betekent voor de uitvoering van het examenbeleid. Deze kwestie is actueel, want het PTA (Programma ter Toetsing en Afsluiting) wordt nu vastgesteld bij scholen, met als deadline 1 oktober.
Wij spraken met enkele examensecretarissen op VO-scholen over dit onderwerp. Het examenreglement en het toetsbeleid zijn op de meeste scholen zo goed als af. Toch, zo benadrukten de secretarissen, is het urgent om te bespreken welke plek generatieve AI krijgt in deze documenten. Niets afspreken zal vroeg of laat zorgen voor discussies met leerlingen. Waarbij de belangrijkste en tegelijkertijd vervelendste vraag zal zijn: pleegt deze leerling fraude door het gebruik van ChatGPT of een andere vorm van generatieve AI?
Het is dus verstandig om op korte termijn naar de afspraken te kijken én om een beleid op langere termijn te maken.
Veel werk te verzetten rond generatieve AI in scholen
Of een school nu besluit om veel of helemaal geen gebruik te maken van generatieve AI, het meeste werk op dit vlak ligt nog voor ons en is niet voor oktober afgerond. Dat geldt ook voor de toetsen en examens, zo horen we vanuit de examencommissies. Verbieden of toestaan: in beide gevallen is er behoefte aan goede, duidelijk beschreven afspraken. In beide scenario’s moeten scholen opnieuw kijken naar de formuleringen van opdrachten, bijvoorbeeld in profielwerkstukken, en de rol die generatieve AI hierbij mag spelen.
Het gaat echter verder. Docenten moeten zichzelf trainen in het gebruik van deze hulpmiddelen en zich realiseren wat de consequenties zijn als leerlingen ze gebruiken. Dit is een kwestie van professionaliseren en ontwikkelingen blijven volgen. Al met al is dit voor een school een aanzienlijke klus.
Gesprekken over AI, scholing, herschrijven van toetsen en opdrachten: dit alles zal voor scholen de komende jaren veel tijd in beslag nemen
Plagiaatdetectie voor ChatGPT is geen oplossing
Er is veel discussie over fraude en plagiaat met generatieve AI. Wat kan geautomatiseerde plagiaatdetectie hierin betekenen? Dit lijkt een heilloze weg. Recent onderzoek van bijvoorbeeld Vinu Sankar Sadasivan en anderen toont aan dat verschillende AI-tekstdetectoren niet betrouwbaar zijn in praktische scenario’s. De onderzoekers geven aan dat in volgende versies van AI-programma’s het alleen maar moeilijker zal worden om deze tools in te zetten voor plagiaatdetectie.
Ze zijn van mening dat op scholen daarom een goed gesprek moet plaatsvinden over ethisch en betrouwbaar gebruik van AI-gegenereerde teksten. Of er dan sprake is van fraude? Dat hangt vooral af van de visie die de school hierop heeft. Pak die visie erbij en kijk hoe ver je komt met de meetlat die je nu al hanteert. Misschien is deze ook bruikbaar voor het beoordelen van (fraude met) AI-gegenereerde teksten.
Maar welke stappen kun je nú zetten? In twee fasen, de korte en de langere termijn, beschrijven we wat je kunt doen om meer aandacht te geven aan dit onderwerp bij collega’s, leerlingen en hun ouders.
Op korte termijn: maak je PTA ‘ChatGPT-proof’
Vóór 1 oktober gaan de examenreglementen weer naar de inspectie, de schoolgids wordt gepubliceerd en de mentoren- en ouderavonden vinden binnen afzienbare tijd plaats. Welke stappen kunnen scholen zetten, zodat ze voorbereid zijn op het gebruik van generatieve AI tijdens toetsen en examens? Dit zijn onze vijf tips voor de korte termijn.
1. Mogen leerlingen generatieve AI inzetten of niet?
Stel met elkaar vast of leerlingen de technologie vrij kunnen gebruiken, beperkte toegang of helemaal geen toegang hebben. Iedere school zal daarbij diverse afwegingen maken. Denk aan:
- Vinden we het belangrijk dat leerlingen kennismaken met generatieve AI en wordt hiermee geoefend in de les? Dan hoort het onderwerp misschien ook thuis in toetsen en examens.
- Bij welke vakken of type opdrachten staan we generatieve AI toe?
- Mogen leerlingen generatieve AI alleen op school toepassen of ook bij thuisopdrachten en thuisvoorbereiding?
- Moet een leerling wel of niet aangeven welke opdracht of deel van de opdracht met AI is gemaakt?
- Hebben we al tijd en ruimte gehad om iets te doen met beleid rond generatieve AI? Zo niet, dan kan ‘voorlopig verbieden’ de meest praktisch optie zijn – maar dan zijn stappen 2 t/m 5 nog steeds nodig.
2. Leg de afspraken over generatieve AI vast
Leg afspraken over generatieve vast in het examenreglement of toetsbeleid, of benoem het bij de toegestane hulpmiddelen. Geef bijvoorbeeld aan dat voor alle vakken het gebruik van generatieve AI niet is toegestaan, tenzij de docent per vak en per opdracht nadere specifieke criteria aangeeft voor toegestaan gebruik.
3. Communiceer deze afspraken
Het klinkt vanzelfsprekend, maar vergeet niet om leerlingen duidelijk te informeren over de afspraken en de consequenties als ze niet worden nageleefd. Stel ook de ouders op de hoogte.
4. Bespreek het toezicht
Hoe regel je de handhaving? Dat kan bijvoorbeeld met een digitale surveillance in een beveiligde omgeving, of in een logboek waarin de leerling handelingen bijhoudt.
5. Bepaal de maatregelen
Wat zijn precies de maatregelen bij oneigenlijk gebruik van generatieve AI? Er zijn nu al maatregelen om spieken, plagiaat en fraude tegen te gaan, waarschijnlijk ook al beschreven in het examenreglement. Kijk of het nodig is om deze informatie aan te passen.
Definieer heldere richtlijnen voor het gebruik van generatieve AI bij toetsen en opdrachten – bijvoorbeeld bij het profielwerkstuk
Op lange termijn: kijken naar curriculum en professionalisering
Het is goed om ons te realiseren dat artificial intelligence er nu eenmaal is en dat de technologie niet meer verdwijnt. Dat heeft invloed op het gehele onderwijs en daarmee ook op toetsing. We moeten opnieuw kijken naar de opdrachten die we geven aan leerlingen, vanuit het realisme dat ze een nieuw hulpmiddel ter beschikking hebben. Sterker, bij dit hulpmiddel komen nieuwe vaardigheden kijken. Wil je generatieve AI goed inzetten, dan moet een leerling goede ‘prompts’ kunnen schrijven voor bruikbare resultaten én het is nodig om deze resultaten kritisch te beoordelen. Die vaardigheden worden onderdeel van het onderwijs.
Specifiek voor toetsing zijn dit de aandachtspunten die we meegeven aan scholen. Bespreek ze bijvoorbeeld in werkgroepen en tijdens studiedagen.
1. Met welke doelstelling zet je generatieve AI in?
Als leerlingen generatieve AI gebruiken tijdens toetsen, met welk doel gebeurt dat dan? Definieer deze doelstellingen. Is het om creativiteit te bevorderen, extra oefeningen te bieden, een informatiebron erbij te hebben of zijn er andere leerdoelen die ermee ondersteund kunnen worden? Voeg een paragraaf toe waarin je aangeeft welke voordelen je verwacht als je generatieve AI integreert in toetsen – en wat de uitdagingen zijn.
2. Voldoet de huidige manier van toetsen?
Bekijk kritisch je lesprogramma en de wijze van toetsing. Met de komst van generatieve AI is er een actor van betekenis bij gekomen. Het stellen van de goede vraag (aan de AI) wordt bijna net zo belangrijk als voorheen ‘het geven van het juiste antwoord’. Is er aanleiding om andere manieren van toetsen te introduceren?
3. Hoe houden we (beter) toezicht op generatieve AI?
Een lastige vraag, maar een belangrijke. Onderzoek hoe je met elkaar (beter) toezicht kan houden op het gebruik van ChatGPT tijdens een toets of bij het maken van een opdracht of werkstuk. Net als de plagiaatfraude in de ELO van Magister zal ook de ontwikkeling van surveillancetools rond generatieve AI een vlucht nemen. Denk na over je (digitale) surveillance en de omgeving waarin de toets wordt afgenomen. Surveillance heeft ook altijd een privacyaspect. Leerlingen moeten het weten als er sprake is van tracing. Sluit een aangepaste digitale surveillance aan op de privacyafspraken op school?
4. Wat betekent verantwoord gebruik van AI?
Bespreek de ethische en academische grenzen van generatieve AI in toetsing. Welk (deel van een) officieel toetsresultaat mag met behulp van AI gemaakt zijn en wat toets je daarmee? Het blijft belangrijk dat leerlingen zelf een inspanning doen om tot begrip te komen, zelfs wanneer ze AI inzetten. Leg vast dat leerlingen nog steeds verantwoordelijk zijn voor het produceren van origineel werk en dat ze generatieve AI-resultaten correct moeten vermelden als ze worden gebruikt.
5. Welk AI-hulpmiddelen zijn toegestaan?
Bepaal zoveel mogelijk welke specifieke generatieve AI-tools of bronnen zijn toegestaan, om discussie over de beoordeling te voorkomen. Dit kan afhankelijk zijn van het vakgebied en het niveau van de leerlingen.
6. Welke vaardigheden zijn nodig?
Bespreek welke basiskennis of training nodig is om generatieve AI effectief te gebruiken. Bekijk of vanuit het team deze training aan leerlingen gegeven kan worden.
Meer lezen over generatieve AI in het onderwijs?
De hele wereld stort zich op artificial intelligence en in het bijzonder generatieve AI. We beschreven deze trend al enkele jaren geleden; na een periode van experimenteren en onderzoeken is artificial intelligence definitief doorgebroken. Er verschijnen daarom ook steeds meer praktische tips over AI-gebruik, zoals onlangs het boek Chatten met Napoleon van Barend Last en Thijmen Sprakel. Er staan praktische en filosofische overwegingen in bij het gebruik van generatieve AI. Het is een boek voor het primair en voortgezet onderwijs en bevat veel tips, checklists voor de leraar én adviezen om beleidsmatig naar deze ontwikkelingen te kijken. Binnenkort gaan we dieper in op dit boek.