Hoe ook algoritmes kunnen discrimineren – en wat we eraan kunnen doen

De wereld komt in opstand tegen diepgeworteld racisme. Maar niet alleen oude systemen van discriminatie en privilege moeten omver, zegt techfilosoof Bart van der Sloot. “Algoritmen en AI-systemen zijn evengoed als mensen in staat tot racisme, seksisme en discriminatie.”

Door Laura Brammerloo

"Wrongly Accused by an Algorithm": dat kopte The New York Times eind juni 2020, nadat een zwarte man in Detroit onterecht werd opgepakt op verdenking van diefstal. Hij zou vijf horloges uit een winkel hebben gestolen. De verdachte, Robert Williams, zat een nacht vast en mocht na een verhoor weer gaan. Hij bleek niet de man die de politie zocht.

Dat een onschuldige zwarte man door de Amerikaanse politie als verdachte wordt aangemerkt, is op zichzelf weinig uitzonderlijk. Het verhaal van Robert Williams haalde de krant om een andere reden: het waren geen blunderende agenten die hem in verband brachten met een misdaad waarmee hij niets te maken had, maar blunderende algoritmen.

De Detroitse politie liet camerabeelden van de diefstal analyseren door gezichtsherkenningssoftware. En die software identificeerde een onschuldige man als dader. Een primeur, schrijft The New York Times, althans voor zover bekend. Want in landen waar gezichtsherkenningstechnologie wordt ingezet als opsporingsmiddel, zijn er mogelijk nog veel meer onbekende slachtoffers van algoritmen die zwarte gezichten minder nauwkeurig kunnen herkennen dan witte gezichten.

Nederland is ook zo’n land. De afgelopen jaren identificeerde de politie honderden verdachten met behulp van de algoritmen van CATCH en andere gezichtsherkenningssystemen. Die systemen worden ingezet om allerlei zaken op te lossen, van diefstal tot terreurzaken.

Mensenwerk

‘Politiewerk is mensenwerk en mensen kunnen fouten maken,’ zo valt te lezen op de website van de Nationale Politie. Maar steeds vaker wordt politiewerk overgenomen door algoritmen en AI-systemen. En steeds vaker blijkt dat die ook menselijke fouten maken.

Dat klinkt vreemd. Algoritmen lijken rationeel – ze hebben immers geen onderbuikgevoelens, vellen geen morele oordelen, koesteren geen wantrouwen of afgunst. Toch zijn ze niet vrij van bias, zegt jurist en techfilosoof Bart van der Sloot. “Algoritmen en AI-systemen zijn evengoed als mensen in staat tot racisme, seksisme en discriminatie,” legt hij uit. “De verklaring daarvoor is simpel: ze worden door mensen gebouwd en gebruikt.”

Van der Sloot is als wetenschapper verbonden aan Tilburg University, waar hij onderzoek doet naar discriminatie bij de inzet van algoritmen. In opdracht van het ministerie van Binnenlandse Zaken werkt hij met een groep juristen en datawetenschappers aan een richtlijn voor de ontwikkeling en toepassing van eerlijke algoritmen.

"Algoritmen worden gebruikt bij allerlei belangrijke besluitvormingsprocessen: om sollicitanten te beoordelen, om fraude op te sporen, om te bepalen in welke wijken de politie extra gaat surveilleren."

“Aan dat soort richtlijnen is op zich geen gebrek,” zegt Van der Sloot. “Sterker nog, er zijn er veel te veel. Het probleem is dat de bestaande codes en standaarden heel algemeen zijn. Zo’n code kan wel voorschrijven dat een algoritme transparant moet zijn en gebaseerd op een niet-vooringenomen dataset, maar de techneuten die een AI-systeem bouwen kunnen daar weinig mee. Zij hebben concrete handvaten nodig die stap voor stap helpen bij de vertaalslag van de ethisch-juridische principes naar de praktijk van de programmeur.”

Zonder die handvaten sluipen er al gauw onbedoeld discriminatoire trekjes in algoritmische systemen. Dat is zorgelijk, aldus Van der Sloot, zeker gelet op de groeiende rol die kunstmatige intelligentie speelt in de samenleving. “Algoritmen worden gebruikt bij allerlei belangrijke besluitvormingsprocessen, zowel door overheden als bedrijven: om sollicitanten te beoordelen, om fraude op te sporen, om te bepalen in welke wijken de politie extra gaat surveilleren.”

Verdacht omdat je in de Bijlmer woont

Discriminerende algoritmen zijn meestal niet evident racistisch of seksistisch. De problemen zijn subtiel, en daardoor moeilijker op te lossen. “Neem bijvoorbeeld een algoritme dat crimineel gedrag voorspelt,” zegt Van der Sloot. “Zo’n algoritme neemt in zijn berekening etniciteit niet mee als risicofactor. Kun je dan zeggen dat het algoritme neutraal is? Nee, niet noodzakelijkerwijs. Want vaak worden er wel risicofactoren gebruikt die indirect verwijzen naar iemands afkomst.”

Sommige algoritmen filteren bijvoorbeeld op postcodegebied, waardoor mensen die in bepaalde wijken wonen eerder als ‘risicovol’ worden aangemerkt. “Als een algoritme heeft geleerd dat mensen die in de Bijlmer wonen vaker crimineel gedrag vertonen, dan treedt er mogelijk toch een etnische bias op. In de Bijlmer wonen namelijk relatief veel mensen met een migratieachtergrond.”

"Algoritmen kunnen leiden tot de automatisering van bestaande ongelijkheid."

Zo kan het gebeuren dat een algoritme vooringenomen oordeelt op basis van iemands etniciteit, geslacht, opleidingsniveau of andere kenmerken zonder dat die kenmerken zelfs maar in een database zijn opgenomen.  

Bondgenoot

Toch ligt het probleem niet primair bij het algoritme, zegt Van der Sloot. Bij de politie, op de arbeidsmarkt en bij fraudeopsporing gaat het tenslotte ook geregeld fout als mensen de beslissingen nemen. Van der Sloot: “We kennen de voorbeelden van etnisch profileren door politieagenten, oneerlijke beoordeling van vrouwen in sollicitatieprocedures en de toeslagaffaire bij de Belastingdienst. Discriminatie is een groot probleem in onze samenleving. Algoritmen veroorzaken dat probleem niet, maar kunnen het wel verergeren.”

Algoritmen kunnen leiden tot de automatisering van bestaande ongelijkheid. “Daar moeten we voor waken,” zegt Van der Sloot. “Maar AI-systemen en algoritmen kunnen juist ook een waardevolle bondgenoot zijn in de strijd tegen discriminatie.”

De vraag is hoe. Meer inzicht is volgens Van der Sloot essentieel. “Je kunt het keuzeproces van een algoritme of AI-systeem heel helder maken,” legt hij uit. “Wanneer mensen een beslissing nemen, dan spelen daarbij vooral veel onbewuste processen die we achteraf rationaliseren. Maar bij een algoritme kun je precies zien welke factoren meewegen en hoe een beslissing tot stand komt. Als er ergens in dat proces iets misgaat, dan kun je dat direct corrigeren.”

Ingrijpen

De richtlijn die Van der Sloot met zijn team van wetenschappers aan het schrijven is, kan helpen bij het opsporen, corrigeren en voorkomen van discriminatie bij het gebruik van algoritmen.

"AI-systemen en algoritmen kunnen juist ook een waardevolle bondgenoot zijn in de strijd tegen discriminatie."

Komt die hulp nog op tijd? Van der Sloot denkt van wel. “Het klopt dat er al problematische AI-systemen in gebruik zijn. Maar het is zeker niet te laat om in te grijpen,” zegt hij. “Als we bestaande algoritmen bijsturen en nieuwe systemen op een goede manier ontwerpen, dan kunnen we besluitvormingsprocessen en beleidskeuzes echt eerlijker en rationeler maken.”

De risico’s die algoritmen meebrengen zijn groot, maar de potentie voor maatschappelijke en sociale verandering is volgens Van der Sloot ook enorm. “Dat is het mooie van algoritmen en AI-systemen: ze kunnen tegenwicht bieden aan ongelijkheid in de oude systemen op een manier die voor mensen onmogelijk zou zijn.”

En hoe slim de technologie ook is, een machine blijft een machine. “Zelfs als je een complex zelflerend AI-systeem niet meer kunt bijsturen, dan is er altijd nog de mogelijkheid om het systeem een halt toe te roepen door simpelweg de stekker eruit te trekken.”

• Deel