• Uitleg
• |
• Artificial intelligence
• |
• po
• vo
• mbo

De AI Act: wat kunnen scholen verwachten van deze nieuwe wet?

Artificial intelligence ontwikkelt zich in razend tempo en heeft de potentie om grote veranderingen teweeg te brengen in onze maatschappij. Het gebruik van kunstmatige intelligentie biedt heel veel mogelijkheden maar roept ook vragen op, bijvoorbeeld met betrekking tot veiligheid, ethiek en privacy. Om de technologische ontwikkelingen in goede banen te leiden, wordt in Brussel hard gewerkt aan de AI Act. Deze Europese verordening moet het op de markt brengen en het gebruik van AI gaan reguleren.

Door Loes van Zuijdam

29 juni 2023

6 minuten lezen

Wat houdt de AI Act in en wat zijn de mogelijke gevolgen voor de onderwijssector? Omdat de definitieve tekst van de AI Act nog niet vaststaat, kijken we naar de situatie zoals die nu bekend is.  

Risicogebaseerde benadering van AI-systemen

In april 2021 publiceerde de Europese Commissie het voorstel voor de AI Act. Deze nieuwe verordening heeft onder meer tot doel dat AI-systemen die in de EU in de handel worden gebracht en gebruikt, veilig zijn en in overeenstemming zijn met de grondrechten en waarden, zoals deze in de EU gelden.

Wat in de AI Act precies onder een AI-systeem wordt verstaan, is nog niet in beton gegoten. Er is ten opzichte van het oorspronkelijke wetsvoorstel behoorlijk gesleuteld aan de definitie. Het is belangrijk dat deze niet te ruim, maar ook niet te beperkt is en bovendien technologieneutraal, zodat ook toekomstige vormen van AI eronder vallen. Volgens de meest recente tekstvoorstellen is sprake van een AI-systeem als het gaat om een machinaal systeem dat is ontworpen om met verschillende niveaus van autonomie te werken, en dat voor expliciete of impliciete doelstellingen output kan genereren, zoals voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de fysieke of virtuele omgeving. Allerlei toepassingen kunnen hieronder vallen, van chatbots tot zelfrijdende auto’s, van aanbevelingen in zoekmachines tot automatische gezichtsherkenningscamera’s. 

De AI Act kent een risicogebaseerde benadering: hoe hoger het risico van een AI-systeem, hoe meer verplichtingen er moeten worden nageleefd. Het risico wordt bepaald op basis van het beoogde doel van het gebruik van de technologie en de sector waarin deze wordt ingezet. Er worden vier risiconiveaus onderscheiden: 

1. onaanvaardbaar risico 
2. hoog risico 
3. beperkt risico
4. minimaal risico

AI-systemen die in categorie 1, onaanvaardbaar risico, vallen worden in het voorstel verboden omdat deze schadelijk zijn en strijdig met de waarden van de EU. Het gaat hierbij om toepassingen die de meeste mensen te ver vinden gaan. Denk aan het gebruik van een social scoring systeem zoals in China wordt ingezet of realtime biometrische systemen voor identificatie op afstand in de openbare ruimte. Het voorstel is om ook emotiedetectie in bepaalde situaties, zoals op de werkvloer en in het onderwijs, onder deze verboden categorie op te nemen. 

Het grootste deel van de bepalingen van de AI-Act richt zich op de tweede categorie: hoogrisico-systemen. Dit zijn AI-systemen die worden gebruikt in sectoren of contexten waar ze een risico kunnen vormen voor de gezondheid, veiligheid of grondrechten van personen. Voorbeelden zijn AI-systemen die worden gebruikt voor kritieke infrastructuur, werkgelegenheid, essentiële diensten (overheid en privaat), justitie, rechtshandhaving, migratie en onderwijs. Deze systemen moeten voldoen aan strenge eisen, waarop we verderop in dit artikel nader ingaan. 

Voor AI-systemen die vallen onder de beperkte risicocategorie gelden vooral transparantievereisten, zodat de mensen weten dat ze met een AI-systeem te maken hebben. Denk hierbij aan het gebruik van chatbots door webshops of deep fakes. 

Voor de laatste risicocategorie, minimaal risico, gelden er vanuit de AI Act geen verplichtingen; hiervoor wordt alleen aanbevolen om gedragscodes op te stellen. Voorbeelden van AI-toepassingen onder deze categorie zijn spamfilters en AI in videogames. 

Hoogrisico-AI-systemen in het onderwijs

In de AI act worden in het onderwijs gebruikte AI-toepassingen in bepaalde gevallen aangemerkt als hoogrisico-systemen. In de oorspronkelijke voorgestelde tekst van de AI Act ging het hierbij om AI-systemen voor het toelaten en beoordelen van leerlingen en studenten, maar als de voorgestelde wijzigingen doorgaan, zullen hier ook adaptieve leermiddelen en fraudedetectiesystemen onder komen te vallen.

Wel wordt er een extra drempel ingebouwd: het AI-systeem moet een significant risico voor de gezondheid, veiligheid of grondrechten (zoals het recht op onderwijs of het recht niet gediscrimineerd te worden) vormen om als hoog risico te worden beschouwd. Er zullen door de Europese Commissie richtlijnen worden opgesteld om te specificeren in welke gevallen sprake is van een significant risico. 

Hoewel de exacte tekst van de AI Act nog niet vaststaat en de interpretatie van significant risico nog niet geheel duidelijk is, is het goed mogelijk dat bepaalde toepassingen die in het funderend onderwijs worden gebruikt, kunnen worden gekwalificeerd als hoogrisico-AI-systemen. AI wordt op dit moment al gebruikt in bepaalde adaptieve leermiddelen waarbij het systeem aan de hand van algoritmen bepaalt wat het niveau van de leerling is. Het systeem stemt de aangeboden lesstof daarop af. 

Als zo’n systeem verkeerd is ontworpen of onjuist wordt gebruikt, zou een leerling ten onrechte leerstof aangeboden kunnen krijgen op een niveau dat niet passend is. Het is denkbaar dat er situaties zijn waarin het gebruik van dergelijke toepassingen als een significant risico voor de grondrechten van een leerling kan worden beschouwd, zeker wanneer er verder geen menselijk controle zou plaatsvinden. 

Verplichtingen bij hoogrisico-AI-systemen

Welke verplichtingen er gelden, hangt af van de rol die een partij in de AI-keten inneemt. De AI Act legt de meeste verplichtingen neer bij de ontwikkelaars van AI-systemen, die in de wet ‘aanbieders’ worden genoemd. Als zij een AI-systeem dat onder een hoogrisico-categorie valt op de markt willen brengen, moeten zij voldoen aan diverse eisen, zoals het zorgen voor een kwaliteitsbeheersysteem voor aantoonbare compliance met de AI Act, het verstrekken van technische documentatie en transparante informatie, registratie van het systeem in een publieke database, het melden van ernstige storingen en incidenten, en het opstellen van een conformiteitsverklaring dat het AI-systeem aan de AI Act voldoet. 

Scholen zullen over het algemeen zelf niet de aanbieder, maar de gebruiker van een AI-systeem zijn. Organisaties die AI-systemen gebruiken worden in Nederlandse vertaling van de AI Act ‘exploitanten’ genoemd (de Engelstalige term is deployers). Ook voor exploitanten gelden er verplichtingen bij hoogrisico-toepassingen. Zo moeten zij: 

• AI-systemen gebruiken in overeenstemming met de gebruiksaanwijzing 
• zorgen dat de inputdata relevant en voldoende representatief is voor het beoogde doel 
• menselijk toezicht uitoefenen op het AI-systeem
• logbestanden bewaren
• personen informeren over wie besluiten worden gemaakt met behulp van AI 
• een Fundamental Rights Impact Assessment (FRIA) uitvoeren (deze verplichting komt naast de verplichting van een DPIA wanneer persoonsgegevens worden verwerkt).

Als scholen exploitant zijn van een AI-systeem dat als hoogrisico-toepassing kan worden gekwalificeerd, dan gelden deze verplichtingen dus ook voor hen.