De ethische implicaties van AI-systemen en algoritmes blijven een blinde vlek voor grote organisaties en overheden, zegt directeur van Expertisecentrum Data-ethiek Ajuna Soerjadi (23). Een fundamenteel probleem van AI, stelt ze, is dat het ongelijkheid reproduceert. ‘Want de data ervan kunnen alleen maar een reflectie zijn van de samenleving zoals die is.’
door Agnes Tieben – Skepter 37.3 (2024)
Er mag best wat meer idealisme rondgaan in de AI-wereld. Filosoof Ajuna Soerjadi, 23 jaar oud, ziet dat de algoritmes vooral populair zijn als stoplap, bijvoorbeeld om nóg sneller fraudeurs of criminelen op te sporen. Daarmee vergroot AI ongelijkheid, zonder dat het wordt toegepast om onderliggende maatschappelijke problemen aan te pakken. Soerjadi studeerde filosofie in Tilburg en Bologna en is nu directeur van het Expertisecentrum Data-ethiek, waarmee ze grote organisaties en de overheid helpt om AI verantwoord in te zetten. In 2017 werd ze Jonge Denker des Vaderlands. En: ze leest al een tijdje met veel plezier en interesse de Skepter.
Hoe is je interesse voor data-ethiek ontstaan?
‘Al vrij snel tijdens mijn studie heb ik me gespecialiseerd in de ethiek en politieke filosofie en dan met name de ethiek van artificiële intelligentie. Mijn master ging over het snijvlak van ethiek en technologie, vandaaruit ben ik eigenlijk de data-ethiek in gerold en vier jaar geleden heb ik samen met iemand anders het Expertisecentrum Data-ethiek opgericht.’
Wat zijn de problemen die jullie tegenkomen en waar jullie aan werken?
‘Dat begint al bij wat data-ethiek precies is. Heel vaak zien we dat er een eenzijdige, consequentialistische benadering is van AI-systemen. Sommige algoritmen voorspellen bijvoorbeeld criminaliteit en kijken welke kinderen er in de toekomst crimineel zullen worden. Het systeem werkt, dus we moeten het gebruiken, hoor je dan van beleidmakers, de politie of andere mensen die met zulke AI werken. ‘De meer fundamentele argumenten zie je naar de achtergrond verdwijnen. Zoals: voldoet het systeem wel aan mensenrechten? En wat verandert een algoritme aan de relatie tussen burger en overheid?
Op de voorgrond staan vooral efficiëntie en effectiviteit van het algoritme. ‘En het is maar de vraag of zelfs daarover goed is nagedacht. Het ligt er bijvoorbeeld heel erg aan wat je verstaat onder effectiviteit. Is het effectief in het terugdringen van criminaliteit of is het effectief in het verbeteren van de samenleving? Zorg je ervoor dat mensen minder gauw de criminaliteit ingaan? Zorg je dat ze meer vertrouwen hebben in de overheid of uit hun lage sociaal-economische positie komen? In ieder geval is dat een beetje de manier waarop wij het aanvliegen. ‘Al die kwesties vang je niet af met de vraag of een algoritme aan de wetgeving voldoet. Dat is precies niet wat ethiek is.
Bij ethiek gaat het nou juist over dat grijze gebied in de wetgeving. Over oprecht een gesprek met elkaar voeren over wat wenselijk is. En dat gesprek moet gevoerd worden met zoveel mogelijk mensen, mensen met verschillende etnische achtergronden ook, want die worden niet altijd betrokken bij dit soort gesprekken. ‘Ik zie data-ethiek dus als een academische discipline die systematisch kijkt naar het soort argumenten voor de wenselijkheid van een bepaald systeem. Het kijkt ook naar wat de beperkingen van bepaalde argumenten zijn.’
‘We steken nu heel
veel geld en moeite in
fraudesystemen, maar
we hadden ook geld en
moeite kunnen steken in
het identificeren van
mensen die hulp nodig hebben’
Algoritmen zijn dus niet neutraal.
‘Klopt. Wij houden ons vooral bezig met algoritmische discriminatie. En dat is een nogal lastig probleem, want je ziet dat echt heel veel algoritmen het effect hebben dat ze nogal onvoordelig uitwerken voor bepaalde etnische minderheden. ‘Denk aan risicoprofielen, het algoritme dat ik net noemde en dat criminaliteit voorspelde, bestaat echt en het heet ProKid Plus. Het is een experiment van de Amsterdamse politie dat nogal wat ophef veroorzaakte omdat het algoritme ervoor zorgde dat kinderen met een Marokkaanse achtergrond veel vaker op zo’n risicoprofiellijst kwamen te staan.
‘Het is een breed gedragen idee, zowel onder beleidmakers als in de publieke opinie, dat algoritmen objectief en neutraal zijn, omdat ze werken op basis van statistiek. Mensen denken: dat is een simpele rekensom en als daaruit komt dat Marokkaanse kinderen crimineel zijn, dan zal dat wel zo zijn. Wat organisaties ook wel eens zeggen is: wij registreren helemaal geen ras of etniciteit, dus onze algoritmen kunnen niet discrimineren.
‘Maar dan zie je dat ze toch discrimineren. Bijvoorbeeld doordat de algoritmen algoritmen kijken naar iemands postcodegebied, of selecteren op inkomensniveau of opleidingsniveau of laaggeletterdheid. Die dingen houden allemaal verband met etniciteit, juist omdat we in een samenleving leven waar toch wel ongelijkheden bestaan. Dus dat opleidingsniveau is gekoppeld aan etnische achtergrond, en dat is natuurlijk een gevolg van het feit dat mensen met een etnische achtergrond minder kansen hebben in het onderwijs.’
Is dat vaak het spanningsveld, tussen effectiviteit en wenselijkheid?
‘Je ziet bijvoorbeeld bij gezichtsherkenningssystemen dat die altijd minder goed werken voor mensen met een donkere huidskleur. Zo werkt die technologie nu eenmaal, is een veelgehoorde reactie; het is geen discriminatie, het is gewoon moeilijker om donkere gezichten te herkennen. ‘En dat is ook wel zo, dat is prima technisch te verklaren, maar het betekent wel dat we de vraag moeten stellen: is het dan wel wenselijk dat we die systemen gebruiken? Of hoe moeten we ervoor zorgen dat mensen met een donkere huidskleur geen last krijgen van het algoritme? Want zij kunnen daar niks aan doen. Om een voorbeeld te noemen: met name mannen met een donkere huidskleur worden nogal eens onterecht als verdachte aangewezen en in sommige gevallen zelfs onterecht veroordeeld.
‘Dus ja, over het algemeen merk ik dat er veel misverstanden bestaan rondom AI. Dat maakt het moeilijk om problemen op te lossen, ook omdat algoritmen heel complex zijn en niet transparant werken. ‘Vaak weten mensen niet goed op basis waarvan ze worden beoordeeld of geanalyseerd. Ik vind het wel leuk om dit soort casussen vanuit mijn ethische politiek-filosofische achtergrond te benaderen. Want meestal wordt gedacht dat je technische kennis nodig hebt van algoritmen en AI als je iets met data-ethiek wil doen. Maar de afgelopen jaren heb ik toch vooral gemerkt dat het gaat om kennis van die sociale achtergrond en die sociale ongelijkheid, zodat je snapt welke criteria allemaal verband houden met etnische achtergrond en je ook constructief kan nadenken wanneer een onderscheid wel gerechtvaardigd is en wanneer het echt onwenselijke discriminatie is.’
AI produceert dus ook wel eens gerechtvaardigd onderscheid?
‘Jazeker, algoritmen maken de hele tijd onderscheid tussen mensen en meestal is dat helemaal niet problematisch. Neem bijvoorbeeld het behandelen van aanvragen voor zorgtoeslag, daar kan je een algoritme op zetten dat kijkt of de aanvrager wel echt in Nederland woont. ‘Of: stel, je hebt een leefstijlinterventieprogramma om mensen met obesitas te behandelen, dan kan een algoritme helpen mensen met een te hoog BMI te vinden. Deze toepassingen zorgen niet voor problemen omdat ze een objectief onderscheid maken. Problematisch is het grote grijze gebied waar het gaat om etniciteit en sociale positie, daar moet je ethische vragen bij stellen.
‘Mensen denken vaak
dat discriminatie door algoritmen
foutjes zijn in het systeem, maar
ongelijkheid is juist en reflectie
van de data die in AI wordt gestopt’
Zijn er nog meer misverstanden?
‘Je ziet best wel veel maatschappelijke discussie de laatste jaren die gebaseerd is op aannames die niet helemaal kloppen. Er is bijvoorbeeld de angst dat kwaadaardige robots de wereld gaan overnemen, of dat ze onze banen afpakken. Het zijn toekomstspeculaties die misschien ooit zouden kunnen gebeuren, alhoewel er fundamentele limieten zijn aan wat AI kan, maar dat terzijde. ‘Waaraan voorbijgegaan wordt, is dat er nu al hele grote problemen zijn met AI. Denk bijvoorbeeld ook aan de enorme klimaatimpact [een AI-vraag stellen kost al gauw tien tot zestig keer meer energie dan een simpele internetzoekopdracht, red.].
Laten we daar over nadenken in plaats van ons te richten op verre toekomstspeculaties. ‘Aan de andere kant heb je mensen die overenthousiast zijn. Ze denken dat AI al onze problemen zal gaan oplossen. Sommige AI-enthousiastelingen zeggen zelfs: we hebben geen wetenschap meer nodig want de data zullen voor zichzelf spreken. Ook het idee dat als we processen op basis van data gaan inrichten, we dan automatisch menselijke vooroordelen tegengaan, sluit hierbij aan. ‘Maar het is onjuist, want data reflecteren de samenleving zoals die is en mensen maken toch bepaalde keuzes en selecties, die ze wel en niet in het systeem stoppen. In de praktijk zie je dan dat dat meestal de data zijn die het best werken voor een bepaalde groep. Denk bijvoorbeeld aan gezichtsherkenningssystemen, die werken het beste voor witte mannen. ‘En om n.g een misverstand te noemen: mensen denken vaak dat dit soort discriminatie door algoritmen foutjes zijn in het systeem die je er met betere techniek uithaalt. Maar dat zie ik toch anders. Het is een inherent kenmerk, een fundamenteel probleem van AI, dat het ongelijkheid reproduceert.’
Hoe ziet jouw ideale AI-toekomst eruit?
‘Ik hoop heel erg dat we toe gaan naar een samenleving waarin iedereen de vruchten plukt van AI en dat AI er voor zorgt dat iedereen zich thuisvoelt in de samenleving. We steken nu heel veel geld en moeite in het ontwikkelen van systemen die fraudeurs opsporen, maar we hadden er ook voor kunnen kiezen om geld en moeite te stoppen in het identificeren van mensen die hulp nodig hebben, maar die daar niet om durven te vragen of op een of andere manier niet de juiste hulp kunnen vinden. ‘In de rest van de wereld is de situatie ook niet ideaal. Je ziet nu dat algoritmen de rijke landen eigenlijk verder helpen terwijl armere landen de klimaatlasten dragen. Want in die arme landen onderhouden mensen het systeem door content te labelen en data te modereren. Mijn ideaal is dat AI er voor iedereen is, ook op globale schaal.’