Inleiding

De verwachtingen rondom artificial intelligence (AI) of kunstmatige intelligentie zijn hooggespannen. De technologie kan steeds beter en sneller taken uitvoeren waarvoor mensen doorgaans hun intelligentie inzetten. Dit heeft weer invloed op de manier waarop taken worden uitgevoerd: AI ondersteunt steeds vaker mensen zoals accountants, rechters en artsen bij het maken van beslissingen. Hierbij worden algoritmen ingezet die grote hoeveelheden data verwerken om advies te geven op basis van historische gegevens. Ook in het onderwijs zien we dat de belangstelling voor de mogelijkheden van AI groeit, bijvoorbeeld om het te gebruiken in adaptieve leermiddelen en toetsen.

AI komt soms tot ongewenste conclusies

Nu we dit soort algoritmen steeds meer gebruiken in onze samenleving, steekt een aantal problemen de kop op.

Zo blijkt soms dat algoritmen tot ongewenste conclusies komen door de data die is gebruikt om de algoritmen te trainen. Een veel gehoord voorbeeld uit de rechtspraak in de Verenigde Staten is dat personen met een bepaald etnisch profiel doorgaans hogere straffen krijgen van een AI-rechter. Dat zou komen doordat in het verleden bevooroordeelde menselijke rechters hogere straffen gaven aan deze groep mensen.

Een ander voorbeeld is een sollicitatie-algoritme van Amazon waarbij witte mannen boven een bepaalde leeftijd duidelijk een hogere waardering kregen. Discriminatie op basis van etnische achtergrond, leeftijd of geslacht. Niet wat we willen, maar wel hoe het eigenlijk al jaren gaat. En dus de werkelijkheid waarmee het algoritme is getraind.

Mogelijke oplossing: uitlegbare AI

Kunnen we AI dan maar beter opzij schuiven, omdat sommige algoritmen ongewenste resultaten geven? Nee, niet zonder meer. Dit soort voorbeelden biedt juist een aantal kansen ter verbetering. Bovendien zijn er ook meer dan genoeg voorbeelden van AI die de beslissingen van mensen juist verbeteren. Dan wordt er meestal gesproken over augmented intelligenceto augment betekent verbeteren. Denk aan fraudedetectie in de financiële sector of betere en snellere diagnose van tumoren in de gezondheidszorg.

Eén van de oplossingen waar naar gekeken wordt om van ongewenste resultaten te kunnen leren, is om AI-systemen te ontwikkelen die zichzelf kunnen uitleggen. Als een algoritme aan kan geven met behulp van welke gegevens en welke redenering het tot een bepaalde conclusie is gekomen, blijven we als mensen ‘in control’ over de uiteindelijke beslissingen. En kunnen we uitzoeken wat er is gebeurd als we aanvoelen dat er oneerlijke of onjuiste conclusies worden getrokken.

Wat leest u in dit artikel?

In dit artikel gaan we specifiek in op uitlegbare AI. Om deze potentiële oplossing voor onuitlegbare algoritmes goed te kunnen begrijpen, doen we eerst een stapje terug en leggen we uit waar het mis kan gaan en welke potentiële oplossingen hiervoor zijn. Vervolgens gaan we in detail in op één van die oplossingen: uitlegbare AI. We sluiten af met praktische overwegingen en tips die nu al kunnen worden toegepast bij het ontwikkelen van AI-systemen voor het onderwijs en door het onderwijs zelf.

Uitlegbare AI is één van de oplossingen waar naar gekeken wordt om van ongewenste resultaten te kunnen leren © iStock

Verantwoord inzetten van AI: kwaliteit van data, begrijpelijke algoritmen, juiste interpretatie

Problemen die ontstaan door ongewenste conclusies, spelen doorgaans als AI-toepassingen ondersteuning bieden bij besluiten die invloed hebben op een mensenleven. Denk aan de eerder genoemde rechter die een vonnis uitspreekt, of een leraar die een doorstroomadvies geeft. Of hier nu een complex algoritme wordt gebruikt of een simpele beslisboom, het proces is doorgaans vergelijkbaar. Er is een situatie die in ‘het systeem’ wordt ingevoerd, het systeem redeneert op basis van beslisregels en vergelijkbare situaties, en komt met een advies. Maar hoe ontstaan die problemen nu eigenlijk?

In feite kan het op 3 onderdelen misgaan: 

Op elk van deze 3 onderdelen kunnen we maatregelen treffen om ervoor te zorgen dat het niet meer, of in ieder geval minder radicaal, mis gaat, zoals we in de volgende paragrafen laten zien.

Juiste, representatieve en onbevooroordeelde data

Beslissingsondersteunende systemen baseren hun beslissingen of adviezen op historische gegevens. Deze gegevens kunnen we beschouwen als een bepaalde blik op de werkelijkheid. Er wordt allereerst bepaald welke gegevens er relevant worden geacht om vast te leggen. Moeten we bijvoorbeeld de naam vastleggen, thuissituatie of etnische achtergrond? Die gegevens worden daarna gevuld vanuit een bepaalde context: een school, een bedrijf of een rechtszaal. Iedere context heeft zijn eigen waarden, cultuur, personen en achtergrond.

Omdat gegevens de basis vormen van beslissingsondersteunende systemen is het cruciaal dat deze data juist zijn, zoveel mogelijk onbevooroordeeld en representatief voor de context waarin het systeem gebruikt wordt. Het is dus heel belangrijk dat we ons hiervan bewust zijn bij het ontwikkelen en gebruiken van systemen.

Neem het eerder genoemde sollicitatievoorbeeld van Amazon waarin het ontwikkelde selectiesysteem een voorkeur liet zien voor blanke mannen boven een bepaalde leeftijd. Dit gaf het bedrijf een belangrijk inzicht in de bestaande realiteit en cultuur binnen het bedrijf. Het hield het bedrijf als het ware een spiegel voor. Op basis van deze inzichten kan een bedrijf of organisatie onderzoeken wat er moet veranderen om te verbeteren, zoals ook Amazon deed. Dat zit enerzijds in het weghalen van bias uit de data, maar ook in maatregelen in het sollicitatieproces. 

Een belangrijke conclusie is dus dat beslissingsondersteunende systemen vooroordelen niet zelf verzinnen, maar de bestaande werkelijkheid reproduceren die door een dataset is gevangen. Bij dit soort systemen geldt het principe van garbage in, garbage out.

Beslissingsondersteunende systemen verzinnen vooroordelen niet zelf, maar reproduceren de bestaande werkelijkheid. Hierbij geldt: garbage in, garbage out

Adviezen, voorstellen of conclusies van AI-systemen

Bij het gebruik van computersystemen treedt een interessant effect op: we zijn eerder geneigd om ‘zomaar’ te vertrouwen op uitkomsten die door een ‘objectief’ systeem worden gegenereerd. Eenzelfde uitkomst of beslissing van een mens zouden we zonder uitleg niet zo snel accepteren. Stelt u zich eens voor: een doorstroomadvies van een leraar, die daar geen enkele onderbouwing bij hoeft te geven. Het wordt gewoon havo. Punt uit. 

Maar aan de andere kant is een doorstroomadvies van een AI-systeem waar de leraar niet aan te pas komt en waarvan niet inzichtelijk kan worden gemaakt waar het advies op is gebaseerd, net zo onwenselijk. Zeker als er geen enkele mogelijkheid is om het advies te veranderen.

Het is daarom belangrijk dat we verantwoord blijven omgaan met de adviezen uit AI-systemen. We moeten goed blijven nadenken over welke beslissingen ertoe doen, hoe die worden genomen en welke informatie we nodig hebben om te controleren of die beslissingen gebaseerd zijn op normen, regels en kaders waar we het mee eens zijn. Ook moet de mogelijkheid bestaan om onderbouwd te kunnen afwijken van de adviezen die zo’n systeem geeft.

Complexe algoritmes: regelgebaseerde of zelflerende systemen

Als gebruikers van een systeem waarin AI wordt toegepast, kunnen we allerlei vragen hebben over de werking van een systeem. Waarom komt de AI tot deze beslissing of conclusie? Welke andere mogelijkheden waren er en waarom zijn die afgevallen? Wanneer trekt het systeem een goede conclusie en wanneer niet? Hoe kunnen we vertrouwen hebben in de AI? En als we een fout tegenkomen, hoe kunnen we die corrigeren?

Natuurlijk kunnen we systemen zo ontwerpen, dat ze de antwoorden op deze vragen kunnen geven. Er zijn grofweg 2 soorten AI-systemen. 

Expertsystemen zijn vooraf uitgedacht en geprogrammeerd door mensen, en maken tussenstappen waar we tussenconclusies van kunnen opvragen. 

Andere algoritmen zijn ‘zelflerend’. Dat wil zeggen dat de makers van tevoren niet weten welke tussenstappen ze zullen maken om een conclusie te bereiken. Ze kunnen bepaald gedrag vertonen doordat het algoritme is getraind met behulp van een dataset, zonder dat mensen het algoritme hebben verteld wat alle verbanden zijn tussen gegevens. En daarmee wordt het een stuk ingewikkelder om het algoritme zichzelf te laten uitleggen op een manier die voor mensen nog te begrijpen is.

Regelgebaseerd of zelflerend schaakprogramma

Om het verschil tussen expert- en zelflerende systemen nog duidelijker te maken: neem het ontwikkelen van een schaakprogramma. Het is mogelijk deze te programmeren met alle mogelijke strategieën, beslissingen en regels vooraf helemaal uitgedacht. Het eindproduct blijft dan qua mogelijkheden beperkt tot wat programmeurs weten over effectieve strategieën en tot hoe goed zij dit weten te vertalen (lees: programmeren) in het programma. Maakt het systeem een foute beslissing, dan is dat terug te leiden tot een beslissing of een fout die een programmeur heeft gemaakt.

Bij een schaakprogramma dat gebruik maakt van zelflerende AI bedenken programmeurs niet alle stappen van tevoren, maar zetten ze een model in dat in staat is om te leren van data om die stappen te formuleren. Ze voeden het bijvoorbeeld met een dataset die bestaat uit miljoenen schaakpartijen die mensen hebben gespeeld. Door het analyseren van al deze gegevens leert het systeem zelf wat effectieve strategieën, regels en beslissingen zijn. Voor mensen is het onmogelijk om zoveel gegevens te analyseren, maar een zelflerend AI-programma kan dat wel.

Nauwkeurig versus uitlegbaar

Een systeem dat gebruik maakt van zelflerende AI wordt potentieel als nauwkeuriger geacht dan een expertsysteem dat over het algemeen weer beter uitlegbaar is. Of een ontwikkelaar kiest voor een meer of minder uitlegbaar model hangt af van het toepassingsgebied en de functie. Ter illustratie: bij een AI die een dokter ondersteunt bij de beslissing wie er op de intensive care moet blijven, of met weinig risico naar huis kan, is uitlegbaarheid veel belangrijker. We zijn in dit geval niet bereid de consequenties te aanvaarden van foutieve onnavolgbare besluiten door een systeem, omdat het hier gaat om mensenlevens. Het toepassen van een regelgebaseerd systeem ligt dan dus voor de hand, ondanks dat een zelflerend systeem misschien (op termijn) betere resultaten oplevert.

Uitlegbare AI als maatregel tegen onnavolgbare algoritmen

Maar wat als ook een toepassing met zelflerende AI kan uitleggen hoe het tot een bepaalde beslissing komt? Explainable AI, of uitlegbare AI, is momenteel één van de belangrijkste maatregelen om de onnavolgbaarheid van zelflerende algoritmen te beperken. In dit hoofdstuk gaan we in meer detail in op deze ontwikkeling en of het noodzakelijk is om álles te begrijpen over de werking van een AI-systeem.

Wat is uitlegbare AI?

Uitlegbare AI is een verzameling van technieken waarmee we meer inzicht kunnen krijgen in de werking van een AI. Bijvoorbeeld welke factoren het meest belangrijk waren voor een AI om een bepaalde advies te doen. Het moet ons helpen een advies beter te begrijpen, zodat we deze ook beter kunnen meewegen in een beslissing, en ons meer vertrouwen geven in de werking van een AI-toepassing.

Jeff Dean, hoofd AI-ontwikkeling bij Google, stelde onlangs dat tot een paar jaar geleden er bij de ontwikkeling van AI nog maar weinig aandacht was voor uitlegbaarheid. En daardoor ontbreken er dus vaak ook mogelijkheden daartoe, simpelweg door een gebrek aan aandacht hiervoor bij het ontwerp. Ontwikkelaars keken vooral naar de uitkomsten van een AI om te zien of deze correcte adviezen gaf om te beoordelen of deze goed zijn werk deed. Mede door de kritiek over het gebrek aan transparantie is een duidelijk keerpunt merkbaar. De invloed van AI in ons leven wordt immers steeds groter. Bepaalde industrieën en werkgebieden kunnen en mogen überhaupt niet met AI werken als ze niet meer inzicht krijgen in de werking ervan. Universiteiten en bedrijven doen dan ook volop onderzoek naar manieren om de uitlegbaarheid te vergroten. En om dit aspect ook nadrukkelijker te betrekken in het ontwikkelingsproces van een AI-toepassing.

Hoe ziet uitlegbare AI er dan uit?

Hieronder staat een voorbeeld van een uitlegbare AI. In deze afbeelding van de Mona Lisa zie je waar een AI-systeem – in dit geval een neuraal netwerk – op heeft gelet om tot een bepaalde voorspelling te komen. Over de afbeelding is een zogenaamde heatmap geplaatst. De rood en geel gekleurde regio’s worden als belangrijk gezien om een voorspelling te doen, zoals de mond en de hand. De niet gekleurde regio’s hebben helemaal geen rol gespeeld in de voorspelling, en de blauwe regio’s amper.

Over het schilderij van Mona Lisa is een heatmap geplaatst die laat zien welke regio’s als belangrijk worden gezien door de AI © Github

Door meer zicht te krijgen op de redenering en factoren die een AI meeweegt kunnen ontwerpers van de AI aanpassingen doen om de voorspellingen te verbeteren.

Stel dat het algoritme dat de Mona Lisa heeft geanalyseerd, bedoeld is om personen te herkennen. De vraag is of deze AI dan goed werkt: de ogen worden bijvoorbeeld niet herkend, terwijl dat toch een kenmerk is om een persoon te herkennen. Er kunnen vraagtekens worden gesteld over de accuraatheid van deze AI. In dit geval zou de AI beter moeten worden in het herkennen van ogen.

Uitlegbare AI op de Hype Cycle

Uitlegbare AI staat op de Hype Cycle in de fase van inflated expectations. De vraag om uitlegbare AI groeit, maar de toepassingen zijn vaak ook nog experimenteel van aard, en nog maar mondjesmaat toegepast in systemen waar mensen daadwerkelijk mee werken. Er valt nog veel aan de technieken te ontwikkelen, en er zijn nog veel vragen onbeantwoord over hoe dit in de praktijk effectief functioneert. De mogelijkheden om de werking van zelflerende AI beter uit te kunnen leggen worden waarschijnlijk groter in de toekomst, maar we zijn nog ver weg van dagelijkse toepassing van uitlegbare AI.

Uitlegbare AI staat op de Hype Cycle in de fase van inflated expectations. De vraag om uitlegbare AI groeit, maar de toepassingen zijn vaak ook nog experimenteel van aard © Kennisnet

Niet noodzakelijk om alles te weten en te begrijpen

Er zijn nog veel vragen te beantwoorden over hoe we uitlegbare AI goed kunnen gebruiken. Bijvoorbeeld: hoeveel informatie is er precies nodig voor de uitlegbaarheid van een systeem? Is het echt noodzakelijk om tot op het grootst mogelijke detailniveau informatie te hebben?

Om te kunnen handelen is het niet per se noodzakelijk om alles te weten en te begrijpen over de werking van een AI-systeem. Soms is het ook mogelijk om de werking te beoordelen op basis van de uitkomsten. Ter illustratie: een wiskundeleraar die zijn leerlingen een module over differentiaalvergelijkingen heeft gegeven, zegt na afloop niet: “Zo ik heb het uitgelegd, jullie zullen het wel snappen.” Aan de andere kant laat hij ook geen scans of operaties uitvoeren om te checken of alle verbindingen nodig om differentiaalvergelijkingen te maken in het brein zijn gelegd. Nee: hij neemt waarschijnlijk een toets af. Zo kunnen ook sommige AI-systemen worden getoetst.

Om een AI te begrijpen, heeft het vaak geen zin om te vragen naar de algoritmen. Zonder vergaande wiskundige kennis of programmeerkennis snap je hier niks van. © Kennisnet

Conclusie: wanneer wel en wanneer geen uitlegbaarheid vereist?

Wordt AI gebruikt bij het maken van belangrijke beslissingen die veel invloed hebben op een persoon? Dan neemt de noodzaak tot uitlegbaarheid toe. Zeker omdat we geneigd zijn om uitkomsten van systemen als objectief en eerlijk te beschouwen.

Bij de inzet van AI in het onderwijs zal ook de afweging of en op welke manier uitlegbaarheid gewenst is moeten plaatsvinden. Het hangt af van de specifieke toepassing van AI en de context waarin we deze gebruiken in welke mate uitlegbaarheid noodzakelijk is en op welk niveau het relevant is om inzicht te hebben in de werking. We moeten per geval het gesprek aangaan over wat welke informatie, welke uitleg we belangrijk vinden voordat we een specifieke AI-toepassing in het onderwijs in kunnen zetten.

Verantwoord inzetten van AI: praktische tips, vraagstukken en dilemma’s

Uitlegbare AI is één van de manieren om AI verantwoord in te zetten. Maar het is niet de enige of de volledige oplossing. In dit hoofdstuk schetsen we een vijftal praktische tips, overwegingen en vraagstukken.

De eerste 3 zijn meer praktische tips en gaan over uitlegbaarheid. Op welke aspecten kan een school letten om de werking en effectiviteit van een AI-toepassing goed te kunnen evalueren? De 4e en 5e zijn meer dilemma’s die te maken hebben met het evaluatieproces. Hoe gaat een school om met privacy en ethische kwesties en wat als AI en leraar tot verschillende conclusies komen?

1. Heb je wel echt met zelflerende AI te maken? 

Zoals eerder aangeven, vooral zelflerende AI-systemen kunnen zichzelf moeilijk uitleggen. Zeker in vergelijking met expertsystemen. Tegelijk zien we nog heel weinig onderwijsproducten die gebruikmaken van zelflerende technieken. 

Gericht vragen stellen

Bij gesprekken met leveranciers en het bekijken van AI-toepassingen is daarom de eerste vraag of je te maken hebt met een zelflerende AI of met een expertsysteem. Een vervolgvraag zou zijn in welke mate daardoor uitlegbaarheid meer of minder goed mogelijk. Is een hoge mate van uitlegbaarheid noodzakelijk als we een bepaalde toepassing in het onderwijs willen gebruiken? En op welke aspecten dan? Of is uitlegbaarheid van minder groot belang?

Zowel bij expert- als zelflerende systemen zijn er overigens ook andere nuttige vragen om te stellen over de werking van een leermiddel. Je kunt vragen naar achterliggende onderwijskundige modellen en aannames waarop het is gebaseerd. En naar onderzoek over de werking en effectiviteit van het middel.

2. Is de trainingsdata van goede kwaliteit en representatief?

Zoals al eerder gezegd: data is wellicht de meest belangrijke factor bij het gebruik van systemen die ons adviezen geven. Als de trainingsdata kwalitatief slecht is, niet representatief of vol met (onbedoelde) vooroordelen zit die niet goed zijn gefilterd, dan is de effectiviteit van het algoritme ook minder. In het onderwijs is het van belang dat ontwikkelaars en gebruikers zich hiervan bewust zijn en hierover blijven nadenken.

Voorbeeldsituatie

In een aantal nieuwe leermiddelen die gericht zijn op taalontwikkeling en spreekvaardigheid zien we dat AI wordt toegepast of dat ermee wordt geëxperimenteerd. Een AI-toepassing wordt daarbij gebruikt voor spraakherkenning en het omzetten van spraak naar tekst. Om dat te kunnen doen is deze getraind met grote hoeveelheden data. Het leermiddel kan de spraak van leerling analyseren, inschatten op welk niveau een leerling zit en gerichte feedback en opdrachten geven.

Gericht vragen stellen

Precies weten hoe deze spraakherkenning werkt is niet zo relevant, maar we kunnen wel naar de resultaten kijken die het oplevert. In dit geval bijvoorbeeld of het leerlingen goed verstaat en begrijpt.

Stel dat we het leermiddel willen gebruiken in een klas waarin veel leerlingen zitten van wie Nederlands niet hun eerste taal is. Dan zou een vraag over de representativiteit en kwaliteit van de data terecht zijn. Als de dataset getraind is op basis van de spraak van Nederlandse kinderen, zal het leermiddel de uitspraak van niet-natives wellicht moeilijk kunnen plaatsen. Als de dataset getraind is op basis van de spraak van volwassenen, is het de vraag of de spraakherkenning ook echt goed kan functioneren bij jonge kinderen.

Over dit soort zaken kan een onderwijsinstelling vragen stellen aan de producent. Voor welke doelgroep is het product gemaakt? Is de dataset waarmee de AI is getraind ook geschikt voor jouw leerlingen? En in dit geval: is er rekening gehouden met specifieke aspecten rondom spraakontwikkeling en uitspraak van het type leerlingen?

Uitproberen en evalueren

Daarnaast is het belangrijk om het leermiddel uit te proberen en te evalueren. Bijvoorbeeld door het uit te proberen met een aantal leerlingen en vervolgens naar de conclusies en adviezen te kijken die het leermiddel verzamelt in een dashboard en deze conclusies te evalueren samen met een vaksectie die bezig is met de selectie van nieuwe leermiddelen.

3. Welke inzichten zijn noodzakelijk om goed met AI te kunnen werken in de praktijk?

Bij het evalueren en kiezen van AI-systemen is het ook van belang om na te denken over de vraag: wat willen we nu eigenlijk precies weten? Scholen en ontwikkelaars moeten nadenken over deze vraag, om zo tot producten te komen die bruikbare inzichten geven.

Voorbeeldsituatie

Neem weer het voorbeeld van het leermiddel dat spraakherkenning gebruikt. Dit leermiddel zou kunnen detecteren wanneer een leerling een fout maakt bij het uitspreken van een tekst. Door het type fout dat het detecteert kan deze ook een conclusie trekken over welke interventie het beste past bij een woord. Bijvoorbeeld als blijkt dat de leerling een bepaald woord helemaal niet lijkt te kennen. Het leermiddel kan er dan voor kiezen om de betekenis van het woord uit te leggen, een plaatje erbij te tonen en de leerling te laten oefenen met de uitspraak. In dit geval kiest het leermiddel direct om een interventie te plegen, zonder tussenkomst van een leraar.

In het dashboard van het leermiddel krijgt de leraar inzicht in de voortgang van de leerling en de analyse die het leermiddel maakt over waar een leerling zich sterk in ontwikkelt of waar hij moeite mee heeft. Een leermiddel zou dan ook een prioritering aan kunnen geven waar de leerling het meest op zou moeten focussen op basis van data afkomstig uit de oefeningen die leerlingen hebben gedaan.

Gericht vragen stellen

Bij een dergelijk systeem zijn vragen van belang over welke informatie een leraar nu eigenlijk zou willen weten om vertrouwen te krijgen in de werking ervan. Maakt het AI-systeem wel de juiste beslissingen? Strookt dit met de eigen analyse van een leraar? Omdat de leraar niet zelf de oefening afneemt moet deze kunnen vertrouwen op de goede werking van het systeem.

Het zou bijvoorbeeld nuttig kunnen zijn om opnames terug te kunnen luisteren van fouten die een AI heeft gedetecteerd tijdens het uitspreken van teksten. Daarbij zou een leraar willen zien welke conclusie het AI-systeem daarbij heeft getrokken: welke type fout is het, welke mate van zekerheid zit bij die conclusie, en wat waren alternatieve opties met een lagere kansberekening. Op die manier kan er steekproefsgewijs nagegaan worden of dit strookt met de analyse die een leraar zou stellen.

Feedback delen met leveranciers en ontwikkelaars

Bij eventuele fouten die een leraar tegenkomt, is het handig als de AI daar ook weer van zou kunnen leren. Het zou wenselijk zijn om daar melding van te kunnen maken, zodat de ontwikkelaar kan kijken hoe het systeem verbeterd kan worden.

Om dit soort inzichten en feedback-loops mogelijk te maken is het van belang dat er gesprekken zijn tussen de ontwikkelaar en de vakinhoudelijke experts: de leraren. Zo weten ontwikkelaars wat belangrijk is voor leraren om de werking van een AI-toepassing te kunnen begrijpen, en ontstaat meer vertrouwen in het functioneren van de toepassing. Voor scholen is het van belang om na te denken over de vraag wat ze willen weten.

4. Hoe moet een school omgaan met privacy en ethische kwesties?

In de gebruikte fictieve voorbeelden over hoe je de conclusies van een AI kunt evalueren worden ook geluidsopnames gemaakt en opgeslagen. Noodzakelijk om op dat niveau de werking te kunnen evalueren. Het roept wel allerlei vragen op het gebied van privacy en ethiek op.

Daarom zou eerst een afweging moeten worden gemaakt of bepaald gedrag – in dit geval het opslaan van geluidsopnames – wenselijk is. In het voorbeeld heeft het als functie om de werking van de AI-toepassing te evalueren en om leraren inzicht te geven in de uitspraak van leerlingen. Wordt de keuze gemaakt om geluidsopnames op te slaan? Dan moet dit in ieder geval goed uitgelegd worden aan leerlingen en ouders. Waarom doet een school dat? Wat doen ze ermee? Voor hoe lang bewaren ze de opnames en wat nemen ze precies op? De AVG speelt hierin uiteraard ook een rol.

Daarnaast is het maar de vraag of opnames altijd nodig zijn. In het kader van pilots/ experimenten waarmee je de effectiviteit van een AI-toepassing evalueert misschien wel, maar zijn opnames ook noodzakelijk als dat proces achter de rug is en er veel vertrouwen is opgebouwd over de effectiviteit en accuraatheid van een AI? Wellicht dat een school dan alleen op basis van periodieke steekproeven opnames opslaat.

Het opnemen van geluidsopnames voor evaluatie doeleinden kan bij leerlingen ook het gevoel geven dat ze constant worden gecontroleerd. En dat kan gevolgen hebben voor hun gevoel van privacy. Als ze zich minder veilig of vrij voelen, kan dit hun gedrag sterk beïnvloeden.

5. Wat als een AI-leermiddel en leraar verschillen van inzicht?

Een ander vraagstuk is hoe om te gaan met de verschillen in inzichten en conclusie die een leraar trekt en een AI-leermiddel. Een leraar kan op basis van ervaring, vakkennis, en inzicht ontstaan door studie en het werken in de praktijk een conclusie trekken over wat de beste stap zou zijn om een leerling te helpen bij een probleem. Een AI-leermiddel dat getraind is op basis van data kan wellicht andere relaties en verbanden hebben gezien die wellicht niet evident zijn. En daardoor tot andere conclusies komen.

Ook kan een AI-leermiddel inzicht geven in mogelijke bias in het bestaande proces. Immers: AI is gebaseerd op bestaande data uit de bestaande praktijk. Als er in de bestaande praktijk bias zit, dan zal die ook worden gereflecteerd in de data en daarmee in de werking van een AI-leermiddel. Over hoe daarmee om te gaan in de praktijk is geen pasklaar antwoord te geven. In ieder geval zou uitlegbaarheid kunnen helpen om deze inzichten uit een AI-leermiddel te leren begrijpen. En om die inzichten verder te onderzoeken: concludeert een AI-leermiddel dit ten onrechte of hebben we hier te maken met een inzicht dat ons helpt om het onderwijs te verbeteren?

Zo vond een AI-systeem bij een experiment waarbij artsen worden ondersteund bij het bepalen wie wel of niet op de intensive care moet blijven, soms factoren en verbanden die artsen tot dan toe niet meenamen in hun besluitvorming. Moeten we er dan voor zorgen dat die factoren en verbanden niet door het AI-systeem worden gebruikt (de mens maakt de AI beter)? Of wordt onze besluitvorming juist beter als we ze wél meenemen in de afweging (de AI maakt de mens beter)?

Terug naar de onderwijspraktijk: we kunnen dus nieuwe inzichten naast ons neerleggen, maar we kunnen ze ook zien als een uitnodiging om verder onderzoek te doen en ons inzicht in het leren te vergroten. Zodat we de huidige onderwijspraktijk beetje bij beetje kunnen verbeteren.

Meer lezen

Wilt u meer lezen over artificial intelligence in het onderwijs?

Lees dan ook:

Deel Artificial intelligence verantwoord inzetten: laat de algoritmen zichzelf uitleggen

Delen
  • LinkedIn
  • Twitter
  • Facebook
  • E-mail