Terug naar Brandpunt+
Slecht nieuws: algoritmes discrimineren anno 2021 nog steeds
- Artikel
- 11 mei 2021
- 7 minuten leestijd
De Toeslagenaffaire, zwarte gezichten die niet herkend worden door gezichtsherkenningssoftware: ook algoritmen discrimineren. Nog wel, want de technologie is voortdurend in ontwikkeling. Hoever zijn we nu in de strijd tegen seksisme en racisme in AI en wat moet er nog gebeuren?
Gezichtsherkenning werkte niet op haar zwarte gezicht, ontdekte de Amerikaanse computerwetenschapper en activist Joy Buolamwini toen ze voor haar opleiding vol enthousiasme begon aan het ontwerpen van een online ‘inspiratiespiegel’ waarmee ze bekende gezichten over haar eigen gezicht wilde plaatsen. Pas toen ze zo’n wit theatermasker voor haar gezicht hield, herkende de computer haar. Hoe kon het ook anders, met software die uitsluitend door witte mannen is ontworpen?
Het is het begin van de documentaire Coded Bias die in april 2021 op Netflix verscheen, en nog maar een van de vele voorbeelden van discriminatie door algoritmen. Wereldwijd is er steeds meer aandacht voor dit onderwerp. Zo kwam de Europese Commissie twee weken geleden met nieuwe regels voor het gebruik van kunstmatige intelligentie. Hierdoor zal het bijvoorbeeld moeilijker worden voor grote bedrijven om je sollicitatie automatisch in de prullenbak te gooien als je vrouw bent en/of bijvoorbeeld Amrani of Gómez van je achternaam heet.
Erg belangrijk, want algoritmes kunnen misschien wel meer invloed hebben op je leven dan je denkt. Ze laten niet alleen zien welke muziek je nog meer leuk zou kunnen vinden, maar kunnen er ook voor zorgen dat je een baan wel of niet krijgt, of zelfs de juiste medische hulp. Eerder schreven we dit artikel over dit onderwerp. Tijd voor een update: hoe staat het er nu voor?
Vooroordelen
Algoritmes worden nog steeds vaak gebruikt om bepaalde beslissingen te automatiseren. Ze worden bijvoorbeeld gebruikt om sollicitanten te beoordelen of om fraude op te sporen. Kunstmatige intelligentie maakt vaak gebruik van ‘machine learning’, waarbij algoritmes zichzelf leren te verbeteren.
Dat leren doen ze aan de hand van gigantische hoeveelheden data, om zo patronen te ontdekken en voorspellingen te doen. Maar het zijn nog steeds mensen – en vaak witte mannen – die die data verzamelen en labelen. Bovendien bepalen ménsen welke datasets en regels de algoritmes gebruiken om van te leren. Wij mensen hebben nou eenmaal vooroordelen, en algoritmes nemen die weer over.
Dat zie je bijvoorbeeld terug in vertaalmachines. Onderstaande tweet laat zien hoe Google Translate bepaalt of iets met ‘hij’ of ‘zij’ moet worden vertaald vanuit een taal die dat onderscheid zelf niet maakt.
Hungarian is a gender neutral language, it has no gendered pronouns, so Google Translate automatically chooses the gender for you. Here is how everyday sexism is consistently encoded in 2021. Fuck you, Google. pic.twitter.com/EPqkEw5yEQ
— Dora Vargha (@DoraVargha) March 20, 2021
Als we specifiek kijken naar Nederland, is het grote voorbeeld hiervan de Toeslagenaffaire: het algoritme nam de voorwaarde ‘dubbele nationaliteit’ mee in het voorspellen of een aanvraag fout was, omdat die factor vaker voorkwam bij foute aanvragen in de voorbeelden waar het model van had geleerd. Pas toen verschillende ouders bezwaar aantekenden, werd duidelijk dat veel van hen een dubbele nationaliteit hadden.
Mannen zijn geschikter
Volgens techfilosoof en onderzoeker Bart van der Sloot, die we de vorige keer ook spraken, komt dit soort zaken weinig aan het licht, omdat we vaak niet weten wanneer precies gebruik wordt gemaakt van welke algoritmes. We bellen hem om te vragen wat de stand van zaken nu is.
“Als je een mail krijgt met ‘bedankt voor je sollicitatie, maar je bent het niet geworden vanwege het hoge aantal aanmeldingen’ weet je ook niet of dat discriminatoir is”, vergelijkt Bart. Sommigen bedrijven gebruiken namelijk ook algoritmes bij sollicitatieprocedures. “Die pikken er dan meer mannen uit, omdat zij uit eerdere data hebben geleerd dat meer mannen op hoge posities zitten en volgens het algoritme dus ‘geschikter’ zouden zijn.”
Maar welke bedrijven zulke systemen gebruiken, weten we vaak niet. “Bovendien gebruiken ze die vooral voor de allereerste selectie”, legt hij uit, “en dat is het heel sturend en bepalend, maar dan kan je formeel nog wel zeggen dat de uiteindelijke keuze door een mens is gemaakt.”
Nog een bekend voorbeeld van een tijd terug: een Amerikaans koppel heeft allebei een Apple Card, de creditcard van Apple. Niks aan de hand, totdat ze erachter komen dat zij een veel lager krediet krijgt aangeboden dan hij. Dat kwam dus weer door een zelflerend en bevooroordeeld algoritme, en weer kwam het door toeval aan het licht.
Ongeluk met zelfrijdende auto
We bellen ook met Enaam Ahmed Ali, techwatcher en bestuurslid van UN Women, de organisatie van de VN die zich inzet voor vrouwenrechten en gendergelijkheid. “Je zou het nooit geweten hebben als zij geen koppel waren geweest”, vertelt ze over het voorbeeld. “Die mensen gingen toen naar Apple, en zelfs daar wisten ze niet van die discriminatie. Alleen de programmeurs weten hoe dat precies werkt. Die ‘black box’ moet open.”
De grote vraag is of dit soort voorbeelden in de toekomst voorkomen kan worden. “Kunstmatige intelligentie is per definitie ge-biased”, zegt Bart van der Sloot. Algoritmen doen immers voorspellingen. “Data is altijd onvolledig, want je kan simpelweg niet álles meten.”
“Een bekend probleem is ook dat er in de medische wereld bijvoorbeeld erg weinig onderzoek is naar vrouwen en mensen met een niet-westerse achtergrond”, vervolgt hij. De data kan dus diverser, maar het zal nooit perfect zijn. “Je kan het alleen beter controleren”, gaat hij verder. “Dat gebeurt nu niet.”
Enaam sluit zich hierbij aan. “Geprogrammeerde vooroordelen zullen nooit honderd procent weg zijn, maar de vraag is of we het beter kunnen maken dan wanneer mensen diezelfde beslissingen maken.” Volgens haar is het goed om te beseffen dat er een hele hoge standaard is voor kunstmatige intelligentie. “Als er een keer een ongeluk met een zelfrijdende auto gebeurt, is dat groot nieuws, terwijl er elke dag ‘gewone’ auto-ongelukken gebeuren.”
Meer diversiteit in de tech-wereld zou ook een groot verschil kunnen maken.
Informatiezuilen op Schiphol
De nieuwe regelgeving van de Europese Commissie is in ieder geval een stap in de goede richting, vinden ze. Die regelgeving onderscheidt verschillende niveaus van risico: het aanbevelingsalgoritme van Spotify valt bijvoorbeeld onder ‘minimaal risico’ en modellen die bedrijven gebruiken om sollicitanten te selecteren vallen onder ‘hoog risico’. Hoe hoger het risico, hoe strenger de regels. Enaam: “Ik hoop wel dat er voldoende ruimte is om die regelgeving vlot aan te passen, want alles verandert natuurlijk heel erg snel.”
Joy Buolamwini (zie bovenstaande post) van Coded Bias richtte de Algorithmic Justice League op, een beweging met als doel betere regelgeving en meer bewustzijn te creëren rond de impact die kunstmatige intelligentie kan hebben. Als leek kan je namelijk niks aan de werking van AI veranderen, maar je kan wél meer bewust zijn van het feit dat het wel degelijk een grote invloed kan hebben op belangrijke gebeurtenissen in je leven.
Enaam ziet een toekomst met kunstmatige intelligentie in ieder geval nog wel zitten – mits we er goed mee leren omgaan. “Als jij het gasfornuis per ongeluk aan laat staan en dat gaat vervolgens automatisch uit, dan is dat natuurlijk geweldig.”
Dat Bart iets skeptischer is, blijkt uit zijn afkeer tegen de informatiezuilen op Schiphol: “Een vraag die je vaker zou moeten stellen is: ‘Wil je dit wel?’. Als je net je vlucht dreigt te missen en je bent in paniek, dan wil je gewoon een mens tegenover je”, zegt hij. “Iemand die zegt ‘Je moet nu even naar Gate 5 lopen, het komt goed’.”
