In het Europees Parlement en de Rotterdamse gemeenteraad zijn vragen gesteld over het gebruik van algoritmes. De vragen volgen op het onderzoek van Vers Beton, OPEN Rotterdam en Lighthouse Reports over het algoritme dat de gemeente tussen 2018 en 2021 heeft gebruikt voor het opsporen van mogelijke bijstandsfraude. Uit dat onderzoek bleek dat het algoritme alleenstaande moeders heeft benadeeld. In het Europees Parlement en de Rotterdamse gemeenteraad wordt opgeroepen om het gebruik van zogenaamde ‘hoog-risico’ algoritmes te verminderen. De gemeente was niet altijd transparant in hoe het algoritme werkte. Daarom leggen we in deze explainer uit hoe het algoritme werkte.
Oproep: ben jij tussen 2018 en 2021 uitgenodigd voor een heronderzoek bijstandsuitkering en vermoed je dat je bent geselecteerd door het algoritme? Dan willen Vers Beton en OPEN Rotterdam graag met je in contact komen. Mail naar [email protected].
“Naar aanleiding van dit artikel dien ik schriftelijke vragen in bij de Europese Commissie”, twittert Europarlementariër Kim van Sparrentak (GroenLinks) na het lezen van het onderzoek. Ze vindt dat er in Europa strengere regels moeten komen voor dit soort algoritmes. In december vorig jaar beloofde de Raad van de Europese Unie al dat er strengere regels komen, maar Kim van Sparrentak wil graag dat dit sneller gebeurt.
Volgens Kim van Sparrentak moet bij elk Europees algoritme een menselijke toets gebeuren. Ook moeten inwoners altijd in beroep kunnen gaan tegen een beslissing die het algoritme voorstelt. Daarnaast wil ze dat burgers kunnen bekijken welke algoritmes de gemeente gebruikt en op welke kenmerken deze selecteren – iets wat bijvoorbeeld in Amsterdam al kan.
“Idioot: hoe lang duurt het nog voor wij als samenleving doorhebben dat een paar lijntjes computercode in de vorm van algoritmen hele levens kunnen vernielen?”
Kritiek
Het onderzoek van Vers Beton, OPEN Rotterdam en Lighthouse Reports ging over een Rotterdams algoritme dat mogelijke bijstandsfraude opspoort. De onderzoekers kwamen erachter welke patronen en persoonlijke eigenschappen dit algoritme, een zogenaamd “risico-inschattingsmodel”, gebruikte om deze fraude op te sporen. Jonge, alleenstaande moeders die minder goed Nederlands spreken of schulden hebben, maakten tussen 2018 en 2021 een grotere kans om door dit algoritme te worden uitgekozen voor een heronderzoek.
Marieke Koekkoek, die voor de partij Volt in de Tweede Kamer zit, reageerde op Twitter ook op ons onderzoek. “Idioot: hoe lang duurt het nog voor wij als samenleving doorhebben dat een paar lijntjes computercode in de vorm van algoritmen hele levens kunnen vernielen?”
Niet transparant
OPEN Rotterdam heeft na het onderzoek vragen gesteld aan deskundigen, waaronder mensenrechtenonderzoeker Gwen van Eijk. “Een van de manieren waarop het algoritme impact heeft op burgers is dat je niet goed weet waarom je bent geselecteerd voor een controle. Dat gebeurt als het algoritme niet transparant is en de gemeente niet open is over het gebruikt van algoritmen en hoe een risicoprofiel er precies uitziet.” Ze denkt dat het algoritme het vertrouwen van burgers aantast.
De gemeente heeft in het onderzoek toegegeven “dat het risico-inschattingsmodel nooit 100 procent vrij kon blijven van vooringenomenheid of de schijn daarvan”.
Nieuw algoritme
Ook GroenLinks Rotterdam maakt zich ernstige zorgen over de manier waarop mensen worden opgeroepen om een zeer stressvol heronderzoek te ondergaan. Zij vinden dat Rotterdammers die worden uitgenodigd voor een heronderzoek ook moeten weten op welke manier ze zijn uitgekozen.
De gemeente heeft in het onderzoek toegegeven “dat het risico-inschattingsmodel nooit 100 procent vrij kon blijven van vooringenomenheid of de schijn daarvan”. Toch is de gemeente op dit moment bezig met het ontwikkelen van een nieuw algoritme. De Rotterdamse afdeling van GroenLinks heeft de gemeente gevraagd of ze hiermee willen stoppen.
De Dépendance
Op donderdag 13 april organiseert debatplatform De Dépendance een avond over ons onderzoek in The Independent School for the City. Onderzoeksjournalist Gabriel Geiger van Lighthouse Reports is te gast met digitaal antropoloog Miriyam Aouragh (Westminster University London) en hoogleraar bestuursrecht Sofia Ranchordas (Tilburg University). Ze bespreken wat we hebben ontdekt en waarom het ertoe doet. Ze gaan in op de ernstige gebreken en vooroordelen die het Rotterdamse algoritme bevat, de menselijke impact die het veroorzaakt door zijn beslissingen en wat het onthult over de toekomst van AI. De avond wordt gemodereerd door wetenschapsjournalist Geert Maarse. Ga naar de website van de Dépendance voor meer informatie.