“Je weet niet goed waarom je bent geselecteerd voor controle. Dat kan leiden tot wantrouwen richting de overheid”, aldus Gwen van Eijk, onderzoeker mensenrechten voor Amnesty International, in een reactie op het onderzoek van OPEN Rotterdam, Vers Beton en Lighthouse Reports dat eerder deze week is gepubliceerd.
Oproep: ben jij tussen 2018 en 2021 uitgenodigd voor een heronderzoek bijstandsuitkering en vermoed je dat je bent geselecteerd door het algoritme? Dan willen Vers Beton en OPEN Rotterdam graag met je in contact komen. Mail naar [email protected].
In navolging van dit onderzoek ging OPEN Rotterdam in gesprek met diverse deskundigen, waaronder Gwen, en hebben we Rotterdammers gevraagd wat zij vinden van het algoritme dat de gemeente tussen 2018 en 2021 heeft gebruikt voor het aanwijzen van Rotterdammers met een uitkering die in aanmerking komen voor een heronderzoek. Welk effect had de werkwijze van de gemeente op inwoners die door het algoritme werden geselecteerd?
Garbage In, Garbage Out
Uit het gepubliceerde onderzoek blijkt dat er nogal wat mis is met het algoritme. Zo pikte het Rotterdamse algoritme er mensen uit op basis van persoonseigenschappen zoals geslacht, gezondheid en financiële omstandigheden. Het zogenoemde “risico-inschattingsmodel” selecteerde tussen 2018 en 2021 voornamelijk jonge vrouwen met schulden en een of meer kinderen voor een heronderzoek. Ook geeft bijvoorbeeld een slechte taalvaardigheid een hogere risicoscore. Zo’n bevooroordeeld algoritme heeft volgens Gwen van Eijk veel impact op Rotterdammers: “De manier waarop de gemeente hier deze subjectieve gegevens heeft gebruikt is zeer problematisch”
Het probleem met algoritmes is dat er wordt voorspeld op basis van historische gegevens. Zijn die data bevooroordeeld dan is het algoritme dat ook. “Garbage in, garbage out”, wordt dit principe door deskundigen genoemd. Een groot probleem volgens Marc Schuilenburg, hoogleraar Digital Surveillance aan de Erasmus Universiteit. “Het probleem daarvan is dat als je een algoritme laat zoeken op bevooroordeelde data, de uitkomsten ook bevooroordeeld blijken.”
Rotterdammers
Een aantal Rotterdammers die we op straat aanspreken, geven ook aan problemen te zien met het algoritme. Een mevrouw geeft aan de aanpak van de gemeente niet eerlijk te vinden: “Dan is het gewoon niet goed. Dan moeten ze ze allemaal controleren. Heb je een uitkering, dan moet je om de zoveel tijd even gecontroleerd worden.”
Een mevrouw op de markt aan het Afrikaanderplein geeft aan vooral moeite te hebben met hoe onpersoonlijk een algoritme is: “Wees menselijk. Dat is soms, dat ik denk: dat mensen niet meer menselijk zijn. Het gaat allemaal om de regels, net als een automatische piloot.”
Reactie van de gemeente
De gemeente Rotterdam beschrijft de resultaten uit ons onderzoek als “interessant, leerzaam en deels herkenbaar.” De gemeente geeft aan dat ze inmiddels bezig is met een nieuw algoritme, dat transparant is en geen variabelen gebruikt waaruit leeftijd, geslacht of nationaliteit kan worden afgeleid omdat ze er “in de loop der tijd” achter zijn gekomen “dat het risico-inschattingsmodel nooit 100 procent vrij kon blijven van vooringenomenheid of de schijn daarvan.” De Rotterdamse gemeente noemt dit “op zichzelf al onwenselijk, al helemaal wanneer het gaat om variabelen die een risico op vooringenomenheid in zich dragen op basis van discriminatoire gronden zoals leeftijd, nationaliteit en geslacht.”
Lees het hele verhaal van Romy van Dijk en Saskia Klaassen op Vers Beton.
Deze productie werd mogelijk dankzij steun van het Stimuleringsfonds voor de Journalistiek. Dit is een samenwerking tussen Vers Beton, OPEN Rotterdam en Lighthouse Reports, met medewerking van Wired, Argos en Follow The Money.