De toeslagenaffaire en recente casus rond fraudecontroles van DUO laten zien dat algoritmes discriminerende effecten kunnen hebben. De zaken staan niet op zichzelf, zegt universitair docent bij Mathematics and Computer Science Hilde Weerts: “Je ziet het blijven gebeuren.”

Dat ziet ook het College voor de Rechten van de Mens (CRM). En ook dat wanneer discriminatie voortkomt uit algoritmes, het lastig vast te stellen is waar het precies misgaat.

Overeenkomsten

De afgelopen jaren worden steeds vaker fairness-methodes gebruikt, dat zijn wiskundige methodes die discriminatie in algoritmes kunnen detecteren of zelfs voorkomen. Het was echter onduidelijk of deze methodes wel voldoende overlappen met de manier waarop discriminatie juridisch wordt vastgesteld, vertelt onderzoeker en beleidsadviseur van het CRM Tim Peute.

In het rapport dat Weerts daarover voor het CRM schreef, stelt zij dat er wel overeenkomsten zijn, maar dat de methodes niet voldoende in staat zijn om discriminatie aan te tonen of te voorkomen. 

Als bijvoorbeeld een algoritme in een sollicitatieproces meer mannen dan vrouwen selecteert, dan kun je met fairness-methodes wel meten dat dat verschil er is en hoe groot dat is, maar niet of er bijvoorbeeld een gegronde reden is voor dat onderscheid, wat de referentiepopulatie is en wat de gevolgen zijn voor de benadeelde vrouwen.

Om te bepalen of het onderscheid dat een algoritme maakt gerechtvaardigd is, heb je aan getallen niet genoeg, stelt Weerts. 

Voorkomen

Fairness-methodes om discriminatie te voorkomen schieten volgens Weerts ook vaak tekort, omdat die zich te veel richten op naïeve optimalisatie. Daarbij moet het algoritme zo goed mogelijk presteren, maar krijgt het een extra beperking dat het bijvoorbeeld evenveel mannen als vrouwen moet selecteren. 

“Er zijn alleen 1 miljard manieren waarop je dat kan doen. En het is helemaal niet evident dat die overeenkomen met waaróm je eigenlijk wilde dat er evenveel mannen als vrouwen geselecteerd zouden worden.”

Het is bijna onmogelijk om discriminatie in algoritmes helemaal te voorkomen, stelt Weerts. “Dat heeft te maken met het technische gedeelte: hoe je het algoritme bouwt, de data die je ter beschikking hebt – dat soort dingen. Maar ook met het feit dat je discriminatie eigenlijk pas kan vaststellen als het al is gebeurd.” 

Discriminatie voorkom je alleen door te kijken naar de diepere oorzaken, stelt ze. “En door die aan te pakken, in plaats van achteraf te denken: we gooien er wel een optimalisatie overheen.”

Helemaal stoppen

Als discriminatie niet uit te sluiten is, moet je dan wel algoritmes willen gebruiken voor bijvoorbeeld fraudedetectie? “Daar zijn wel discussies over ja. Ik vind dat een moeilijke vraag”, zegt Weerts. “Amnesty International is van mening dat de overheid zo duidelijk heeft laten blijken dit niet op een goede manier te kunnen, dat het misschien beter is er helemaal mee te stoppen. Tot op zekere hoogte ben ik het daarmee eens, maar ik blijf natuurlijk wel een techneut en denk dan: ja, maar als je het echt goed doet, zou het in sommige gevallen moeten kunnen.” 

Maar het echt goed doen brengt weer een nieuwe uitdaging met zich mee: “Als je kijkt naar hoe duur het is om zo’n algoritme in de lucht te houden, dat helemaal te laten ontwikkelen en allemaal experts langs te laten komen, dan kun je je afvragen of dat de meest efficiënte bedrijfsvoering is. Misschien kun je beter investeren in het voorkomen dat mensen überhaupt fraude plegen.”

Voor organisaties die wel AI willen inzetten, kan het rapport van Weerts handvatten bieden. Het CRM heeft daarvoor een document opgesteld dat in het kort uitlegt wat de onderzoeksbevindingen zijn en wat organisaties kunnen doen, zoals analyses uitvoeren met een multidisciplinair team, waarin in ieder geval een juridisch expert, domeinexpert en datawetenschapper zitten.

Bredere context

Het rapport helpt het mensenrechteninstituut ook in een bredere context. Het CRM is een van de grondrechtenautoriteiten onder de Europese AI-verordening (ook wel AI Act), vertelt Peuts. Die wet stelt eisen aan organisaties die AI-systemen ontwikkelen en gebruiken. 

“AI-aanbieders moeten bijvoorbeeld zelf maatregelen nemen om bias in hun data op te sporen, te voorkomen en te beperken.” Dankzij het rapport van Weerts, weet het CRM nu dat het toetsen van bias op zichzelf mogelijk niet genoeg is om discriminatierisico’s in te schatten. “Dat betekent dat een toezichthouder ook naar een bredere context moet kijken om te kunnen beoordelen of bij AI-gebruik de discriminatierisico’s voldoende zijn geadresseerd.”

Ook Weerts zelf is betrokken bij een breder initiatief voor eerlijke AI binnen Nederland: de Nederlandse Technische Afspraak voor profileringsalgoritmes. “Bijna dertig verschillende organisaties, waaronder overheidsinstellingen, ngo’s, universiteiten en uitvoeringsorganisaties hebben samen een handreiking geschreven over hoe je fairness-methodes op een goede manier zou kunnen implementeren.” 

De afspraak is niet bindend, maar biedt wel houvast voor organisaties om profileringsalgoritmes op een verantwoorde manier toe te passen. En ook daarbij zullen alleen fairness-methodes niet voldoende zijn. Wie discriminatie in algoritmes tegen wil gaan, zal daar veel breder naar moeten kijken.