- Uitleg
- |
- Artificial intelligence
- |
- po
- vo
- mbo
Verantwoord inzetten van artificial intelligence
De verwachtingen rondom artificial intelligence (AI) of kunstmatige intelligentie zijn hooggespannen. De technologie kan intelligente taken waar voorheen menselijke intelligentie voor nodig was steeds beter en sneller uitvoeren. Hierbij worden algoritmes ingezet die grote hoeveelheden data verwerken om op basis daarvan een beslissing te nemen. Alleen is niet altijd duidelijk hoe zo’n algoritme die beslissing neemt. En dat kan voor ongewenste effecten zorgen. Hoe zetten we artificial intelligence verantwoord in?
Door Wietse van Bruggen
Algoritmes kunnen eigenlijk niets. Althans, niet voordat ze zijn getraind. Een algoritme wordt getraind door het te voorzien van data. Heel veel data. Maar juist bij het selecteren van die data kan het mis gaan. Zo blijken zogeheten robotrechters in de VS zwarte mensen en mensen van kleur zwaardere straffen te geven dan witte mensen. Dat komt doordat juist deze groep mensen door menselijke rechters zwaarder wordt gestraft. De robotrechters zijn getraind met data die afkomstig is van menselijke rechtspraak. Ze hebben dus een training gekregen die vooroordelen bevat.
Discriminatie zit in onze data. De bevooroordeelde training van algoritmes heeft onvermijdelijk invloed op beslissingen die algoritmes nemen. Maar dit is geen reden om te stoppen met artificial intelligence. Het is wel een reden om te kijken naar hoe we verkeerde beslissingen door artificial intelligence kunnen voorkomen.
Het voorkomen van verkeerde beslissingen
De impact van verkeerde beslissingen door artificial intelligence is het grootst bij besluiten die invloed hebben op een mensenleven. Denk aan een leraar die een leerling een bepaald doorstroomadvies geeft. Of hier nu een complex algoritme wordt gebruikt of een simpele beslisboom: het proces is doorgaans vergelijkbaar. Er is een situatie die in ‘het systeem’ wordt ingevoerd. Het systeem redeneert op basis van beslisregels en vergelijkbare situaties en komt met een conclusie. Er zijn grofweg drie redenen waarom deze conclusie toch ongewenst kan zijn:
- slechte trainingsdata
- blindelings overnemen van het resultaat
- het algoritme zelf
Slechte trainingsdata
Wordt het algoritme getraind met bevooroordeelde datasets? Dan leert het algoritme feitelijk vooroordelen aan. Ook niet-representatieve datasets of data van slechte kwaliteit kan verkeerde beslissingen tot gevolg hebben. Het is belangrijk dat zowel ontwikkelaars als gebruikers zich hier bewust van zijn. Neem de eerdergenoemde robotrechters die zwarte mensen zwaarder straft dan witte mensen. Het oplossen van dat probleem gaat veel verder dan de trainingsdata. Menselijke rechters moeten zich er ook bewust van worden dat ze sommige bevolkingsgroepen – al dan niet onbewust – zwaarder straffen dan andere. Beslissingsondersteunende systemen verzinnen vooroordelen niet zelf, maar halen die uit de aangeleverde data. Bij dit soort systemen geldt het principe van garbage in, garbage out.
Blindelings overnemen van het resultaat
Bij het gebruik van computersystemen treedt een interessant effect op: we zijn eerder geneigd om ‘zomaar’ te vertrouwen op uitkomsten die door een ‘objectief’ systeem worden gegenereerd. Terwijl we eenzelfde uitkomst of beslissing van een mens zonder uitleg niet zo snel zouden accepteren. Stel je je eens voor: een doorstroomadvies van een leraar zonder een onderbouwing. Het wordt gewoon havo. Punt uit. Geen ouder die daar zomaar mee akkoord gaat. Net als een leraar een advies moet onderbouwen, moet een advies van een AI-systeem eigenlijk ook onderbouwd kunnen worden.
Wettelijke plicht
Neem het advies van een AI-systeem nooit blindelings over. Onderzoek waar het advies op is gebaseerd en zorg dat de mogelijkheid bestaat om er onderbouwd vanaf te wijken. Het is in de wet zelfs vastgelegd dat computers en algoritmes nooit zonder menselijk toezicht beslissingen mogen nemen die grote impact hebben op iemands leven.
Het algoritme zelf
Soms zijn algoritmes zo complex geworden dat we geen idee hebben hoe ze tot een bepaalde conclusie zijn gekomen en dat is dan ook soms niet meer eenvoudig te achterhalen. Algoritmes die uit kunnen leggen hoe ze tot een besluit zijn gekomen vormen een mogelijke oplossing voor dit probleem. Het zorgt ervoor dat we kunnen zien wanneer een systeem een goede conclusie trekt en wanneer niet en vergroot zo het vertrouwen in artificial intelligence.
Algoritmes die zichzelf uitleggen
Er zijn grofweg twee soorten algoritmes: regelgebaseerd en zelflerend. Regelgebaseerde systemen analyseren een dataset en passen hun gedrag aan op basis van die gegevens. Hoe ze hun gedrag aanpassen is van tevoren door mensen bedacht en voorgeprogrammeerd. Zelflerende systemen doen eigenlijk hetzelfde. Alleen bedenken ze de regels waarop ze hun gedrag aanpassen zelf, deze worden niet voorgeprogrammeerd. Omdat zelflerende algoritmes zich baseren op data en niet op beslissingen van een programmeur wordt het als potentieel nauwkeuriger gezien. Maar om echt te kunnen bepalen of dat zo is, is inzicht nodig in hoe een systeem tot bepaald gedrag komt. Dit wordt explainable artificial intelligence genoemd of uitlegbare artificial intelligence.
Uitlegbare artificial intelligence is een verzameling van technieken waarmee we meer inzicht kunnen krijgen in de werking van een algoritme. Welke factoren waren bijvoorbeeld het belangrijkst om een bepaalde advies te geven? Het helpt ons een advies beter te begrijpen, zodat we deze factoren ook beter kunnen meewegen in een beslissing. Dat geeft ons meer vertrouwen in de werking van artificial intelligence. De aandacht voor uitlegbare artificial intelligence is relatief nieuw. Daardoor is er nu vaak nog geen rekening gehouden met uitlegbaarheid bij de ontwikkeling van het algoritme en dat maakt het vaak nog lastig om een algoritme uitlegbaar te maken.
Beslissingsondersteunende systemen verzinnen vooroordelen niet zelf, maar reproduceren de bestaande werkelijkheid
Uitlegbare algoritmes: een voorbeeld
Hoe werken uitlegbare algoritmes? Dat kunnen we het best laten zien aan de hand van een voorbeeld. Het algoritme van een artificial intelligence systeem is getraind om te herkennen of iets een persoon is of niet. Dit systeem heeft een afbeelding van de Mona Lisa gescand. Aan de hand van de heatmap is te zien welke onderdelen van de afbeelding het systeem heeft gebruikt om tot een conclusie te komen. De rood en geel gekleurde regio’s – zoals de mond en de hand – worden door het systeem als belangrijk gezien. De blauwe regio’s spelen amper een rol en de donkere, niet gekleurde regio’s spelen helemaal geen rol. De vraag is of dit systeem in de toekomst de juiste voorspellingen gaat doen. Want er is nu maar een deel van het gezicht herkend. En gezichten zijn toch een belangrijk kenmerk om personen van niet-personen te kunnen onderscheiden.
Over het schilderij van Mona Lisa is een heatmap geplaatst die laat zien welke regio’s als belangrijk worden gezien door de AI.
© Github
Door op deze manier zicht te krijgen op de redenering en factoren die het algoritme meeweegt bij het maken van een analyse of beslissing, kunnen ontwerpers van het systeem aanpassingen doen om voorspellingen te verbeteren. In het geval van de Mona Lisa zou het algoritme bijvoorbeeld beter moeten worden getraind in het herkennen van gezichten.
Door meer zicht te krijgen op de redenering en factoren die een AI meeweegt kunnen ontwerpers van de AI aanpassingen doen om de voorspellingen te verbeteren.
Stel dat het algoritme dat de Mona Lisa heeft geanalyseerd, bedoeld is om personen te herkennen. De vraag is of deze AI dan goed werkt: de ogen worden bijvoorbeeld niet herkend, terwijl dat toch een kenmerk is om een persoon te herkennen. Er kunnen vraagtekens worden gesteld over de accuraatheid van deze AI. In dit geval zou de AI beter moeten worden in het herkennen van ogen.
Volwassenheid van de technologie
De vraag om uitlegbare AI groeit, maar de toepassingen zijn vaak ook nog experimenteel van aard. Het wordt nog maar mondjesmaat toegepast in systemen waar mensen daadwerkelijk mee werken. Er valt nog veel aan de technieken te ontwikkelen en er zijn nog veel vragen onbeantwoord over hoe dit in de praktijk effectief functioneert. De mogelijkheden om de werking van zelflerende AI beter uit te kunnen leggen worden waarschijnlijk groter in de toekomst. Maar een dagelijkse toepassing van uitlegbare AI is nog ver weg.
Manieren om artificial intelligence verantwoord in te zetten
Uitlegbare algoritmes zijn een van de manieren om artificial intelligence verantwoord in te zetten. Maar het is niet de enige of de volledige oplossing. Hieronder geven we aan op welke aspecten een school kan letten om de werking en effectiviteit van een artificial intelligence-toepassing goed te kunnen evalueren en waar een school rekening mee moet houden bij het verantwoord inzetten van artificial intelligence.
Bepaal de noodzaak tot uitlegbaarheid
Hoe bepaal je of uitlegbaarheid nodig is? De stelregel is dat hoe meer invloed belangrijke beslissingen hebben op een persoon, hoe groter de noodzaak tot uitlegbaarheid. Omdat we geneigd zijn om uitkomsten van systemen als objectief en eerlijk te beschouwen, is het nóg belangrijker dat je weet hoe een beslissing tot stand komt.
Bepaal of het echt om zelflerende algoritmes gaat
Weinig onderwijsproducten maken op dit moment gebruik van zelflerende algoritmes. Bij gesprekken met leveranciers en het bekijken van toepassingen die gebruikmaken van artificial intelligence is het daarom belangrijk eerst te onderzoeken of het een zelflerende of regelgebaseerd systeem is. Is het zelflerend? Ga dan na in hoeverre uitlegbaarheid mogelijk en nodig is. In beide gevallen is het nuttig om vragen te stellen over de werking van een leermiddel. Bijvoorbeeld over achterliggende onderwijskundige modellen en aannames waarop het algoritme is gebaseerd.
Goede en representatieve trainingsdata
Is de trainingsdata kwalitatief slecht doordat het niet representatief is of er te veel (onbedoelde) vooroordelen in zitten? Dan is de effectiviteit van het algoritme ook minder. Vraag daarom altijd door over de trainingsdata. Stel dat je een leermiddel wil inzetten voor het oefenen van spreekvaardigheid die gebruikmaakt van artificial intelligence voor de spraakherkenning. Vraag bijvoorbeeld voor welke doelgroep het product is gemaakt. Is de dataset waarmee de artificial intelligence is getraind, geschikt voor je leerlingen? En is er rekening gehouden met specifieke aspecten rondom spraakontwikkeling en uitspraak van het type leerlingen?
Onderzoek of het systeem de juiste beslissingen neemt
Als een leraar een systeem inzet dat gebruikmaakt van artificial intelligence om beslissingen te nemen, moet hij erop kunnen vertrouwen dat het de juiste beslissingen zijn. Een leraar moet dus de redenering achter een genomen beslissing kunnen achterhalen. Bijvoorbeeld door opnames terug te luisteren bij een leermiddel voor het verbeteren van spreekvaardigheid om zo te kunnen zien welke fouten door het systeem zijn vastgesteld. Wat voor soort fout is het? Hoe zeker is het dat het fout is? Op die manier kan er steekproefsgewijs worden nagegaan of dit strookt met de analyse die een leraar zelf zou doen. Doet het systeem het fout? Dan zou het daarvan moeten kunnen leren. Bijvoorbeeld doordat de leraar er een melding van kan doen.
Aandachtspunten en tips
Houd bij het verantwoord inzetten van artificial intelligence ook rekening met onderstaande aandachtspunten.
Niet noodzakelijk om alles te weten en te begrijpen
Het is duidelijk dat inzicht nodig is in hoe een zelflerend algoritme analyseert en tot beslissingen komt. Maar dat betekent niet dat je alles over artificial intelligence hoeft te weten en begrijpen. Soms is het ook mogelijk om de werking te beoordelen op basis van de uitkomsten. Als een leraar wil controleren of leerlingen voldoende en de juiste kennis hebben verworven, doet hij dat niet door het aan ze te vragen. Maar hij doet het óók niet door hersenscans te maken en zo te checken of de juiste neurologische verbindingen zijn aangelegd. Hij neemt gewoon een toets af. Artificial intelligence kan ook worden getoetst.
Privacy en ethiek
De inzet van artificial intelligence valt onvermijdelijk samen met de opslag van data. Dit heeft niet alleen consequenties voor de privacy van leerlingen, het heeft mogelijk ook invloed op hun prestaties en gedrag. Het opslaan van geluidsopnames om de werking van het systeem te beoordelen, kan bij leerlingen het gevoel geven dat ze constant worden gecontroleerd. Als ze zich daardoor minder veilig of vrij voelen, kan dit hun gedrag sterk beïnvloeden. Sla je data op? Leg dat dan altijd goed uit aan leerlingen en hun ouders.
Verschil van inzicht tussen leermiddel en leraar
Wat als een leraar tot een andere conclusie komt dan het algoritme? Wat als de leraar en leermiddel het dus oneens zijn? Een leraar kan op basis van ervaring, vakkennis en inzicht een conclusie trekken over hoe een leerling het beste geholpen is. Een algoritme dat getraind is op basis van data kan andere relaties en verbanden hebben gezien die in eerste instantie niet vanzelfsprekend lijken, maar die wel tot andere conclusies leiden. Wie heeft dan gelijk? Een pasklaar antwoord bestaat niet in zo’n situatie. In ieder geval zou uitlegbaarheid kunnen helpen om de conclusies van het leermiddel beter te begrijpen. De andere inzichten die het leermiddel levert zijn in ieder geval een goede aanleiding om na te gaan of er geen vooroordelen in het bestaande proces zitten.