Amnesty International kritisch op algoritmegebruik gemeente Rotterdam

De gemeente Rotterdam kent bijna 30.000 mensen in de bijstand. Zo'n 1.000 daarvan worden elk jaar onderworpen aan een uitgebreide controle, omdat ze verdacht worden van 'onrechtmatigheden'. Bijvoorbeeld omdat ze een cadeau aannemen, een betaalde klus niet doorgegeven of formulier verkeerd invullen.

Het algoritme bepaalde

Maar omdat de gemeente niet iedereen kan controleren, moesten ze keuzes maken. Welke 1.000 mensen controleer je? En welke 29.000 laat je lopen? Een 'slim' algoritme hielp de gemeente daarbij bepalen. Tussen 2017 en 2021 werden duizenden Rotterdammers geanalyseerd door een algoritme dat bijstandsgerechtigden een risico-score gaf met een inschatting hoe groot de kans is dat ze met hun achtergrond, eigenschappen en gedrag fraude zouden plegen.

Argos berichtte vorige jaar voor het eerst over dit algoritme en diende samen met Lighthouse een WOB-verzoek in bij een groot aantal gemeenten en instanties met de vraag welke algoritmes ze gebruiken en of die mochten worden ingezien. Rotterdam was een van de weinige instanties die hun computercode wilden delen. Later verstrekte de gemeente ook de trainingsdata, die nodig zijn om te weten hoe het algoritme zich gedraagt.

Tijdelijk gestopt

De Gemeente Rotterdam werkt aan een nieuwe versie van het algoritme die discriminatie moet voorkomen en transparant is voor burgers. Tot die tijd is zij gestopt met het gebruik ervan. De gemeente geeft verder aan dat het op tijd opsporen van onrechtmatigheden de Rotterdammers in de bijstand juist helpt om grotere vorderingen later te voorkomen.

'Dit soort systemen discrimineren'

"De afgelopen jaren stapelen de misstanden rondom algoritmes zich op", vertelt Abdul-Aliyeva, die binnen Amnesty gespecialiseerd is in technologie en mensenrechten. "Bij mij is de indruk ontstaan dat het helemaal niet mogelijk is om een systeem op te zetten waarbij mensen eerlijk worden behandeld en niet wordt gestigmatiseerd."

Toch blijven gemeentes door het hele land werken met algoritmes en eveneens nieuwe algoritmes ontwikkelen. "Deze systemen worden opgetuigd door de overheid met de belofte dat ze effectief, efficiënt en kostenbesparend zouden zijn. Maar er wordt volledig voorbijgegaan aan het leed dat mensen wordt aangedaan. Dat vind ik heel kwalijk."

Algoritmes, zoals gebruikt door de gemeente Rotterdam, controleren dus voornamelijk mensen die in een kwetsbare positie verkeren. "Dit soort systemen discrimineren", stelt Abdul-Aliyeva. Hierbij legt de overheid een verkeerde nadruk. "Is de primaire taak om achter onschuldige burgers aan te gaan, wiens profiel voldoet aan een vooraf bepaald criterium? Of is de primaire taak om dienst te verlenen?"