- Uitleg
- |
- Artificial intelligence
- |
- po
- vo
- mbo
Generatieve AI en privacy: hier moeten scholen op letten
Generatieve AI wordt volop gebruikt op school. Door leerlingen om hun huiswerk mee te maken, en door leraren bij de voorbereiding van hun lessen. De toepassingen zijn talrijk, de drempel laag: een (gratis) account aanmaken is vaak genoeg om aan de slag te kunnen. Maar achter die laagdrempeligheid schuilt een belangrijke vraag: hoe zorg je dat het gebruik van generatieve AI op school veilig en privacyvriendelijk gebeurt?

Door Loes van Zuijdam

Verwerking van persoonsgegevens door AI
In veel gevallen verwerken generatieve AI-diensten persoonsgegevens. Bijvoorbeeld als je deze gegevens gebruikt in een prompt of als je bestanden uploadt waarin persoonsgegevens voorkomen. Deze persoonsgegevens kunnen dan onbedoeld onderdeel worden van de trainingsdata van het AI-model, met mogelijk een datalek tot gevolg. Gegevens die eenmaal in een AI-model zitten, kunnen er (bijna) niet meer uit worden verwijderd.
Maar ook als geen persoonsgegevens worden ingevoerd, verwerken AI-tools vaak nog wel gegevens over de gebruiker en zijn interactie met de tool, zoals e-mailadres, duur van de sessie, promptlengte, tone of voice, apparaattype, tijdzone, IP-adres en dergelijke. Zijn deze gegevens herleidbaar naar een leerling of medewerker en dus een persoon? Dan kunnen dit ook persoonsgegevens zijn.
Aandachtspunten
- Worden er persoonsgegevens verwerkt door een generatieve AI-toepassing? Dan moet aan de vereisten van de AVG worden voldaan. Net zoals dat het geval is wanneer je geen AI gebruikt. Hou in dat geval rekening met de volgende aandachtspunten:
- Bepaal het doel waarvoor je AI wilt gaan inzetten. Het gebruik van AI is geen doel op zich, maar hangt vaak samen met het ondersteunen en efficiënter bereiken van andere doelen, zoals het verzorgen van lessen, opstellen van rapportages of het bijhouden van de administratie.
- Breng de privacyrisico’s van een AI-toepassing vooraf in kaart. Voer een DPIA uit als een AI-toepassing persoonsgegevens verwerkt. Zet alleen AI-tools in waarvan de risico’s voldoende kunnen worden beperkt.
- Maak afspraken met AI-leveranciers. Gebruik alleen AI-diensten waarbij je afspraken over de verwerking van persoonsgegevens hebt vastgelegd in een verwerkersovereenkomst.
- Beheer accounts centraal. En voorkom dat medewerkers of leerlingen buiten het zicht van de school zelf accounts aanmaken bij AI-leveranciers waarmee geen verwerkersovereenkomst is.
- Stel intern kaders op voor het gebruik van generatieve AI. Welke tools mogen worden gebruikt, onder welke voorwaarden en door wie?
- Vermijd de invoer van persoonsgegevens en vertrouwelijke data. Gebruik waar mogelijk anonieme of fictieve gegevens. Gebruik bij voorkeur anonieme accounts of gepseudonimiseerde accounts, om te voorkomen dat gebruikersdata herleidbaar is naar leerlingen of medewerkers.
- Stel AI-tools zo privacyvriendelijk mogelijk in. Zorg bijvoorbeeld dat ingevoerde prompts of bestanden die worden geüpload niet door de leverancier mogen worden gebruikt als trainingsdata.
- Wees alert op nieuwe AI-functionaliteiten van bestaande software. Steeds vaker worden AI-functionaliteiten geïntegreerd in software die de school al gebruikt. Controleer of deze dienst niet automatisch voor alle gebruikers is aangezet door de leverancier. Onderzoek de risico’s voordat je een AI-toepassing in gebruik neemt.
- Neem passende beveiligingsmaatregelen. Zorg er bij een AI-functionaliteit die toegang heeft tot interne data bijvoorbeeld voor dat toegangsrechten juist zijn ingesteld en data is gelabeld, zodat AI niet bij documenten kan waar de gebruiker zelf ook eigenlijk niet bij hoort te kunnen.
- Wees transparant. Informeer leerlingen, ouders en medewerkers in een privacyverklaring over hoe hun persoonsgegevens worden verwerkt bij het gebruik van AI.
- Werk aan AI-geletterdheid binnen je school. Zorg ervoor dat iedereen die AI gebruikt de voordelen maar ook de risico’s van AI begrijpt en op de hoogte is van de interne afspraken.
DPIA op Microsoft 365 Copilot
In 2024 voerde SURF een DPIA uit op Copilot. Microsoft 365 Copilot is een general purpose AI-systeem dat medewerkers ondersteunt bij onder andere het maken van samenvattingen, teksten en gesprekken binnen applicaties van Microsoft, zoals Word, Excel, PowerPoint, Outlook en Teams. Naar aanleiding van deze DPIA heeft Microsoft verbeteringen doorgevoerd waardoor een aantal privacyrisico’s is beperkt. Omdat echter nog niet alle risico’s zijn weggenomen adviseert SURF terughoudend om te gaan met de inzet van Microsoft 365 Copilot en om per soort gebruik weloverwogen de risico’s af te wegen. Meer over de DPIA is te lezen op de website van SURF.
Voorbeeldsituaties
De privacyrisico’s van AI verschillen per situatie en zijn sterk afhankelijk van de context waarin de technologie wordt ingezet. Om je een idee te geven van hoe het gebruik van AI gevolgen kan hebben voor de privacy van leerlingen en medewerkers, lichten we hieronder drie voorbeeldsituaties toe. Let op: dit zijn fictieve situaties. Gebruik je AI in een soortgelijke situatie? Dan moet je altijd nagaan welke maatregelen je voor jouw specifieke geval moet nemen.
Voorbeeldsituatie 1: Mail naar een ouder
- Notities over een leerling zijn persoonsgegevens. Worden die ingevoerd in een AI-tool? Dan verwerkt de tool persoonsgegevens. Deze gegevens kunnen onderdeel worden van de trainingsdata en kunnen bovendien terechtkomen in toekomstige output, waardoor deze beschikbaar worden voor derden. Dit kan leiden tot een datalek.
- Zijn persoonsgegevens in de trainingsdata opgenomen? Dan is de school de regie erover kwijt en kan aan bepaalde AVG-verplichtingen niet meer worden voldaan. Zo kunnen gegevens die eenmaal in de trainingsdata zijn opgenomen vrijwel niet meer worden verwijderd. Hierdoor is het niet mogelijk om te voldoen aan geldende bewaartermijnen of tegemoet te komen aan een verwijderingsverzoek van een ouder.
Maatregelen
- Voer geen persoonsgegevens in AI-tools in. Gebruik zo mogelijk alleen anonieme gegevens (bijvoorbeeld fictieve namen).
- Zorg dat bij iedereen die met AI werkt duidelijk is wat de richtlijnen zijn over hoe AI mag worden gebruikt en met welke gegevens.
- Stel de AI-tool zo in dat deze de gegevens die worden ingevoerd niet gebruikt als trainingsdata.
Voorbeeld 2: Toetsen nakijken
Een leraar wil AI gebruiken om sneller en efficiënter toetsen te nakijken. Hij laat een AI-tool de opdrachten van leerlingen vergelijken met modelantwoorden en vraagt de tool een cijfer van 1 tot 10 toe te kennen. Op het opdrachtvel staan de naam en klas van de leerling.
Risico’s
- Toetsen van leerlingen zijn persoonsgegevens. Worden toetsen geüpload naar een AI-tool? Dan verwerkt die tool persoonsgegevens. Deze gegevens kunnen terechtkomen in de trainingsdata en daardoor in output die de AI-tool aan andere gebruikers toont. Dit kan leiden tot een datalek.
- Beoordeelt de AI-tool zelfstandig de opdrachten van leerlingen? En kent de tool cijfers toe? Dan kan sprake zijn van geautomatiseerde besluitvorming. Volgens de AVG is dit niet toegestaan en moet er menselijke tussenkomst zijn.
- Het evalueren van leerresultaten met AI is volgens de AI-verordening een hoogrisico AI-toepassing, waarvoor strenge verplichtingen gelden.
Maatregelen
- Voer een DPIA uit om de privacyrisico’s voor leerlingen in kaart te brengen en te beperken.
- Wees terughoudend met het inzetten van AI-tools bij hoog risico-toepassingen als het nakijken van toetsen. Zeker als deze tools hier niet speciaal voor zijn bedoeld. Zorg ervoor dat je aan de verplichtingen van de AI-verordening voldoet.
- Zorg ervoor dat een leraar altijd toeziet op het nakijken van toetsen, neem de uitkomst van de AI-tool niet klakkeloos over maar controleer deze. Dit betekent ook dat de docent begrijpt hoe de AI-toepassing tot een beslissing komt en dat hij in staat is om hiervan af te wijken.
- Wees transparant naar leerlingen en hun ouders wanneer AI-tools beslissingen over hen nemen.
Voorbeeld 3: Werken met AI in de klas
In het kader van AI-geletterdheid wil een leraar leerlingen kennis laten maken met de mogelijkheden en beperkingen van AI. De leerlingen krijgen de opdracht een AI-tool te gebruiken als informatiebron en vervolgens zelf te beoordelen of de output klopt. De school beschikt niet over licenties voor de AI-tool. Daarom laat de leraar de leerlingen zelf een persoonlijk (gratis) account aanmaken.
Risico’s
- Maken leerlingen in opdracht van de school een persoonlijk account aan om schoolopdrachten mee te maken? Dan worden er persoonsgegevens over hen verwerkt door de aanbieder van de AI-tool. Omdat er geen verwerkersovereenkomst is afgesloten tussen de aanbieder van de tool en de school zijn er geen privacyafspraken vastgelegd. De school heeft hierdoor geen grip op wat er met de persoonsgegevens van leerlingen gebeurt.
Maatregelen
- Wil je leerlingen op school wilt laten experimenteren met generatieve AI? Zorg er dan voor dat de school accounts heeft ingericht waar leerlingen veilig (en anoniem) gebruik van kunnen maken en die de school zo kan instellen dat de privacy gewaarborgd is.
- Voorkom dat leerlingen persoonsgegevens invoeren in hun prompts. Maak hier intern duidelijke afspraken over en besteed hier ook in de les aandacht aan.
- Hou rekening met eventuele leeftijdsbeperkingen in de gebruiksvoorwaarden van de AI-tool als je deze wilt laten gebruiken door leerlingen.
Tot slot
Bovenstaande voorbeeldsituaties laten zien dat er geen kant-en-klare oplossing is voor het veilig en verantwoord gebruik van generatieve AI op school. Je moet altijd per situatie beoordelen wat de risico’s zijn en welke maatregelen je moet nemen. Duidelijke interne afspraken en beleid én de juiste afspraken met leveranciers zijn nodig om de voordelen van AI te benutten, zonder de regie over persoonsgegevens te verliezen.
Lees verder
Gouden privacyregels voor scholen
Schoolafspraken over AI
Normenkader IBP en Groeipad
Onderdeel van de ‘Handreiking AI voor scholen’
