- Uitleg
- |
- Artificial intelligence
- |
- po
- vo
- mbo
Kansen en risico’s van de inzet van AI-agents in onderwijsprocessen
AI-agents kunnen zelfstandig taken van je overnemen. Ze kunnen bijvoorbeeld boodschappen bestellen of afspraken maken. Dat is handig en efficiënt en daarom worden ze steeds vaker ingezet – helaas ook bij hacks en andere illegale activiteiten. Wat doen AI-agents, wanneer is het een goed idee om ze in te zetten en wanneer niet? En wat betekent dit voor processen in het onderwijs?
Door Wietse van Bruggen
Wat is een AI-agent?
Een AI-agent is een AI-toepassing die naar een doel toewerkt door acties te plannen, uit te voeren en de resultaten te evalueren. Een agent blijft dit proces herhalen tot het doel is bereikt en probeert dit zelfstandig te doen. Om dat doel te kunnen bereiken gebruiken AI-agents ook andere systemen, databronnen en tools. Bijvoorbeeld om informatie op te halen of veranderingen aan te brengen in zo’n systeem.
Niet elke AI-toepassing is een agent. Daarvoor moet het aan de volgende kenmerken voldoen:
- Het krijgt een doel om naar toe te werken zonder dat er een vast stappenplan voor is.
- Het plant zelfstandig acties om naar een doel toe te werken.
- Het kan tools gebruiken of systemen benaderen als onderdeel van de acties.
- Het kan tussentijds acties evalueren en bijstellen.
- Het zet zelfstandig meerdere stappen en reageert niet slechts op een enkele prompt.
Voldoet een AI-toepassing niet aan bovenstaande kenmerken en geeft het bijvoorbeeld alleen maar antwoord op een vraag? Dan is het geen agent.
Taalmodellen
Hoewel AI-agents in tegenstelling tot klassieke generatieve AI-toepassingen zelfstandig handelen, maken ze net als die klassieke toepassingen gebruik van taalmodellen. Het onderscheid tussen een klassieke AI-chatbot en een agent is in de praktijk steeds lastiger te maken, omdat klassieke chat-toepassingen steeds vaker worden uitgebreid met de functionaliteiten van een agent.
Autonomie
Hoewel AI-agents zelfstandig kunnen handelen, doen ze dat wel binnen vooraf bepaalde kaders. Deze kaders hebben betrekking op de mate van autonomie van de AI-agent. Welke beslissingen mag de agent zelf nemen? Welke moeten voorgelegd worden aan de gebruiker? Tot welke gegevens en tools heeft de agent toegang? En wat zijn acties die wel mogen en niet mogen?
Kansen
AI-agents zijn een veelbelovende technologie. Bijvoorbeeld voor het zelfstandig uitvoeren van complexere taken zonder dat we daarvoor zelf diepgravende kennis nodig hebben over systemen en programmeertalen. En ook voor het uitvoeren van allerlei terugkerende taken. In het onderwijs moet je dan bijvoorbeeld denken aan taken binnen de bedrijfsvoering en ondersteunende en sturende functies.
Het inzetten van een AI-agent heeft voordelen bij terugkerende taken die aan onderstaande voorwaarden voldoen:
- Binnen het proces wordt ongestructureerde data verwerkt. Denk aan e-mail of een document. Die data moet eerst geïnterpreteerd worden voordat er iets mee kan worden gedaan.
- De taak bestaat uit meerdere stappen die afhankelijk zijn van elkaar. Denk aan informatie uit meerdere systemen die moeten worden gecombineerd tot één resultaat.
- Het eindproduct kan variabel zijn afhankelijk van de context en de agent kan keuzes maken over wat passend is. Denk bijvoorbeeld aan een antwoord op een vraag: een vraag over een advies levert een andere respons op dan een vraag waar een heel eenduidig en ondubbelzinnig antwoord op te geven is.
- Het eindproduct en tussentijdse resultaten van de agent zijn controleerbaar en navolgbaar. Denk bijvoorbeeld aan het voorleggen van een conceptantwoord.
We illustreren het hier met twee voorbeelden: lesvoorbereiding met AI-agents en het classificeren van verzuimmeldingen.
Multi-agent lesvoorbereiding
Wetenschappers in Duitsland doen momenteel onderzoek naar zogenaamde multi-agent systemen voor lesvoorbereiding. Bij een klassieke AI-chatbot maak je gebruik van één model, één instructie en één configuratie. Een les voorbereiden bestaat echter uit verschillende onderdelen. Het kan dan handiger zijn verschillende taalmodellen op maat te configureren. Je kunt bijvoorbeeld variëren met de instructies die je meegeeft en met de vrijheid die het taalmodel heeft om iets te verzinnen of om dicht bij de instructie te blijven. Daar staat tegenover dat nog niet bewezen is dat een multi-agent benadering leidt tot betere lessen en betere leerprestaties. Daarnaast is het de vraag wat dit betekent voor de autonomie van de leraar en hoe deze op een betekenisvolle manier in dit proces wordt meegenomen en invloed uit kan oefenen.
Voorbeeld
Stel je voor: je geeft economie en moet volgende week een les geven over de speltheorie. Een deel van de leerlingen zal dit snel onder de knie hebben, maar een ander deel heeft meer oefening nodig. Weer een ander deel heeft aanpassingen in het lesmateriaal nodig om de stof beter tot zich nemen. Je hebt alleen niet veel tijd om dit allemaal voor te bereiden. Hoe kan een multi-agent systeem dan helpen?
- Een diagnose-agent krijgt instructies om vast te stellen wat een leerling nodig heeft. Als input gebruikt de agent bijvoorbeeld de opdrachten die een leerling heeft gemaakt in een digitale leeromgeving en het profiel van de leerling over wat die makkelijk en moeilijk vindt. Uit de diagnose wordt bijvoorbeeld duidelijk hoeveel vragen goed zijn gemaakt, hoeveel fout, en welk type vragen lastig zijn. Misschien kan de diagnose worden aangevuld met informatie uit het leerlingvolgsysteem.
- De maak-agent zou deze informatie kunnen gebruiken om in combinatie met de instructie van de leraar lessen te maken. Deze moet op basis van de dianose van de diagnose-agent en het toepassen van onderwijskundige principes een werkblad kunnen maken voor een leerling. Deze maak-agent heeft bijvoorbeeld ook toegang tot het curriculum, leerdoelen en methodes die de school gebruikt om de lessen ook aan te laten sluiten op de onderwijspraktijk.
- Een controle-agent zou de voorstellen voor werkbladen kunnen doornemen vanuit een onafhankelijke kritische rol, zonder de voorgeschiedenis te kennen. Past dit inderdaad bij de leerling, zijn regels goed doorgevoerd, voldoet dit aan kwaliteitseisen? De controle-agent geeft de feedback door aan de maak-agent die op basis daarvan weer aanpassingen maakt.
In dit voorbeeld hebben de agents wisselende vormen van autonomie en zijn ze ingericht voor verschillende taken. De maak-agent moet lessen maken die passen bij de bestaande onderwijspraktijk van de school, maar kan daarbinnen wel weer vrijheid hebben om keuzes te maken over hoe het werkblad eruitziet. De controle-agent moet juist vrij strikt kijken of onderwijskundige principes goed zijn toegepast en of de les aansluit bij de eigenschappen van de leerling en het leerdoel.
Let bij dit soort toepassingen goed op met betrekking tot profileren. Het profileren van leerlingen kan volgens de AI-verordening een hoogrisicotoepassing zijn met aanvullende eisen. Toets zo’n toepassing daarom vooraf goed, ook in het licht van de AVG, en betrek je FG.
Classificeren van verzuimmeldingen
Voor het registeren van aan- of afwezigheid in een les en het verwerken daarvan in een systeem heb je geen AI-agent nodig. Dat kan met bestaande procesautomatisering. Er is namelijk geen interpretatie van data nodig: een leerling is wel of niet aanwezig. Een AI-agent zou bij dit aspect van verzuimcoördinatie geen zinvolle rol van betekenis spelen. Een AI-agent zou daarentegen wel kunnen helpen bij het classificeren van verzuimmeldingen. Er bestaan internationale voorbeelden van systemen die dit kunnen, maar die systemen zijn niet gemaakt voor de Nederlandse markt. Verzuimmeldingen kunnen informatie bevatten over de gezondheid van een leerling. Betrek een FG om te zorgen dat een dergelijke toepassing hier volgens de AVG mee omgaat. Daarnaast is het bewaken van de balans tussen automatisering en menselijk contact en de vertrouwensband tussen school, ouder en leerling een belangrijk aspect om rekening mee te houden.
Voorbeeld
Stel, een ouder stuurt een e-mail met de melding: “Mijn dochter komt vandaag niet, ze heeft een afspraak bij de tandarts en daarna is ze altijd misselijk.” Een AI-agent kan dan het volgende doen:
- De mail lezen, de reden voor afwezigheid interpreteren en bepalen of deze reden geoorloofd is op basis van vooraf bepaalde richtlijnen en afspraken.
- Daarna informatie vastleggen in een systeem of de informatie voorleggen aan een verzuimcoördinator voor verdere acties.
- Eventueel kan de agent een gedeelte van de opvolging doen en zelfstandig met de ouder communiceren voor aanvullende informatie.
In dit voorbeeld moet de AI-agent volgens een aantal vooraf bepaalde regels en kaders handelen. De agent heeft daarbinnen beperkte vrijheid om eigen keuzes en afwegingen te maken en zal op bepaalde momenten iets moeten voorleggen aan een persoon ter beoordeling. De verzuimcoördinator moet uiteindelijk definitief oordelen. In dit voorbeeld is van groot belang dat de toegang van de AI-agent tot andere systemen en het gebruik hiervan goed zijn ingeregeld.
Risico’s
AI-agents komen steeds breder beschikbaar, terwijl de technologie nog volop in ontwikkeling is. Er zijn zorgen over de impact en veiligheidsrisico’s van AI-agents. Die hebben vooral betrekking op het autonome handelen van agents. We beschrijven hier een aantal risico’s om rekening mee te houden in het onderwijs:
- Ook leerlingen kunnen AI-agents inzetten voor hun schoolwerk. Ze kunnen werk volledig laten uitvoeren door een agent. Leerlingen besteden nu al veel werk uit aan AI en met agents nemen die mogelijkheden alleen maar toe. In theorie kan een agent vragen en opdrachten van een digitale methode maken, inclusief open vragen. Als je niet zeker weet of de leerling zelf de opdracht heeft uitgevoerd, wat is dan nog de waarde van antwoorden uit een digitale leeromgeving? Dit heeft gevolgen voor hoe je je onderwijs ontwerpt en de manier waarop je de voortgang toetst. Leerlingen kunnen agents ook inzetten om hun leerproces te ondersteunen, bijvoorbeeld door lesmateriaal samen te laten vatten of actielijstjes te maken. Dat kan helpen, maar het is de vraag of leerlingen dit soort vaardigheden dan nog zelf ontwikkelen. Het verschil zit erin of de agent het leren ondersteunt of overneemt.
- Lekken van data of ongeoorloofde toegang via prompt-injectie. AI-agents maken gebruik van taalmodellen om opdrachten van gebruikers te interpreteren. Taalmodellen zien echter het onderscheid niet tussen een directe instructie van de gebruiker en een instructie die ze tegenkomen in een willekeurige tekst. Daar kan iemand misbruik van maken, door instructies met de verkeerde bedoelingen te verstoppen in een (tekst)bron. Als een AI-agent die bron gaat verwerken, kan hij ongemerkt instructies krijgen en gaan uitvoeren. Dat heet prompt-injectie. Op die manier kunnen agents bijvoorbeeld e-mails, bestanden en chatlogs doorsturen naar een bepaald adres door instructies te verstoppen in een e-mail die naar de gebruiker wordt gestuurd. Of inlog-informatie van een gebruiker verkrijgen via instructies aan de agent in een document op Google Docs. Hoewel de makers van taalmodellen maatregelen nemen om prompt-injectie te beperken, bestaan er geen 100% betrouwbare oplossingen voor.
- Onbetrouwbare beslissingen en acties. AI-chatbots kunnen hallucineren of acties ondernemen die wij onwenselijk vinden. Datzelfde geldt ook voor AI-agents. Omdat een agent zelfstandig kan handelen, kan de impact van een verkeerde redenatie groter zijn. Bij AI-agents die langere en complexe taken uitvoeren neemt de kans op fouten bovendien toe. Werken verschillende agents samen? Dan kan de impact van hallucinaties nóg groter zijn, met beperktere mogelijkheden om in te grijpen. Een verkeerde beslissing van één AI-agent kan doorwerken in de acties en interacties van de andere agents. Met instructies en zogeheten guardrails is het gedrag van AI-agents sterk te beïnvloeden, maar het blijkt complex om dit compleet te controleren. Daarom zal per situatie moeten worden nagegaan of de inzet betrouwbaar genoeg is.
- Grotere kwetsbaarheid door toegang tot systemen. Een AI-agent heeft toegang nodig tot systemen en andere bronnen om taken uit te kunnen voeren. Deze systemen en bronnen hebben hun eigen kwetsbaarheden, waar kwaadwillenden gebruik van kunnen maken. En de combinatie van die kwetsbaarheden zorgt weer voor nieuwe kwetsbaarheden. Iemand met de verkeerde bedoelingen kan deze inzetten om cyberaanvallen uit te voeren en bijvoorbeeld malware te installeren om toegang te krijgen tot data. Een voorbeeld hiervan zijn de modellen van OpenAI, die actief op zoek gingen naar kwetsbaarheden in een extern systeem om een doel te bereiken. Bij verstoringen kunnen er domino-effecten ontstaan die verschillende systemen raken.
AI-agents inzetten in het onderwijs
Moet je het gebruik van AI-agents wel of niet toestaan in je onderwijs? De grote leveranciers van AI-chatbots zoals Claude, ChatGPT en Gemini integreren steeds meer agent-functionaliteit in hun producten. Leerlingen kunnen daardoor ook toegang hebben. AI-agents worden op dit moment ook toegevoegd aan systemen die je al gebruikt. Denk aan de samenwerkomgevingen van Microsoft en Google of digitale leermiddelen.
Volledig zelfstandige opererende agents buiten je zicht om zijn onwenselijk. Agents kunnen complexe taken uitvoeren, ook als je zelf niet alle kennis bezit om deze taken te doen. Zeker bij kritieke toepassingen is het van belang om deze essentiële kennis wel altijd in huis te hebben. De technologie wordt steeds vaker, terwijl deze nog niet volwassen is. De inzet van AI-agents in het onderwijs vraagt dus om een bewuste en gecontroleerde afweging. Overweeg je om met AI-agents aan de slag te gaan? Hou dan rekening met het volgende:
- Zorg voor de juiste randvoorwaarden. Selecteer geschikte en veilige toepassingen, kijk wat de inzet betekent voor het ontwerp van het onderwijs. Zorg voor goede ondersteuning van leraren, zodat zij agents bewust kunnen inzetten en zelf de regie houden.
- Denk goed na over de mate van zelfstandigheid van een agent en de momenten waarop een mens mee kan kijken om beslissingen te nemen of bij te sturen. Wees bijvoorbeeld extra voorzichtig als er persoonsgegevens van leerlingen worden verwerkt, beslissingen worden voorbereid met mogelijke gevolgen voor leerlingen, en als de agent zelfstandig communiceert of acties uitvoert die niet zijn terug te draaien.
- Zet je agents in die communiceren met leerlingen of ouders, zorg er dan voor dat zij weten dat ze met een AI-agent te maken hebben. Bied waar mogelijk ook een alternatief voor wie dat niet wil. Daarnaast moet er voldoende menselijk toezicht zijn, zodat het kind achter de interactie met de agent in beeld blijft. Verlies de individuele behoeften en welzijn van het kind niet uit het oog.
- Maak een afweging of de inzet en inrichting van een AI-agent wenselijk is, op basis van publieke waarden. Agents kunnen mogelijk betekenisvol menselijk contact in de weg staan.
- Ga na wat de AI-verordening en de AVG betekenen voor toepassingen met agents. Beoordeel per beoogde toepassing in welke risicocategorie deze valt, afhankelijk van het doel. In het kader van de AVG is van het belang om te kijken welke soorten gegevens worden verwerkt. Leveranciers voegen bovendien steeds meer agent-functionaliteit toe aan bestaande systemen, dus controleer regelmatig je overzicht van toepassingen. Meer informatie en een stappenplan vind je in het artikel Voldoen aan de AI-verordening.
- Zorg ervoor dat agents alleen op een gecontroleerde manier toegang krijgen tot systemen en dat acties die ze ondernemen op die systemen traceerbaar zijn en kunnen worden teruggedraaid.
- Zorg ervoor dat AI-agents die medewerkers zelf maken geen toegang krijgen tot interne systemen. Maak duidelijk aan medewerkers dat ze dergelijke toepassingen niet zelfstandig mogen maken en gebruiken zonder de betrokkenheid van ICT-medewerkers.
- Weeg de impact van AI-agents mee in de schoolafspraken rondom AI. Herzie deze afspraken in het licht van het gebruik van AI-agents.