Overheden gooien veelal algoritmes voor selectie in de arena zonder die grondig te toetsen. Ze worden wel braaf gemeld bij het algoritmeregister, dat er inmiddels 1.300 telt. Maar dat zegt niets, want daar gaat geen goedkeuring aan vooraf.

Vals onderscheid tussen groepen, oftewel discriminatie, ligt op de loer. Daar gaan we wat aan doen, dachten de rekenmeesters van ons Haagse planbureau. Het resultaat is wat ze noemen, een ‘Selectiviteitsscan’.

Voor ‘Woord van het Jaar’ zal deze droogstoppelterm niet in aanmerking komen, maar het gaat om de inhoud: met overdracht van een berg anonieme data en uitkomsten van de toepassing van het algoritme tot nu toe kunnen overheden controleren of de algoritmes bepaalde groepen benadelen.

Dat wordt gedaan in samenwerking met de, uiteraard beveiligde ‘microdataomgeving’ van het CBS, waar een onafhankelijke partij de analyse doet. De organisatie krijgt alleen de uitkomsten te zien; de gevoelige persoonsgegevens blijven afgeschermd, zo is de bedoeling.

In een onderliggend rapport van het CPB, plus een verdiepingsdocument zet het CBP nauwgezet uiteen hoe het werkt. Als casus is de Sollicitatiescan WW genomen. Dit algoritme helpt bij het selecteren van dossiers om na te gaan of een werkloze extra ondersteuning nodig heeft bij het solliciteren.

Resultaten:

• In de referentiegroep heeft 37 procent een migratieachtergrond; het algoritme komt uit op 38 procent en medewerkers op 43 procent;
• Zo is het aandeel vrouwen in de referentiegroep 48 procent, terwijl dit 47 procent is in de selectie door het algoritme en 45 procent in de selectie door medewerkers.

Dus het algoritme doet het beter dan medewerkers. De Selectiviteitsscan neemt geen besluiten, maar geeft een indicatie voor de eigenaar van het algoritme om verschillen te duiden en rechtvaardigen. UWV moet het onderscheid rechtvaardigen, wat bij een klein onderscheid het geval kan zijn.

Het CPB onderkent beperkingen:

• Het CBS registreert niet alle relevante persoonskenmerken waarop onderscheid maken verboden is, zoals seksuele geaardheid of levensovertuiging.
• Afwijkingen van uitkomsten van de referentiegroep kunnen gerechtvaardigd zijn, bijvoorbeeld als kenmerken van personen die ondersteuning nodig hebben daadwerkelijk afwijken van de referentiegroep.

Onder de streep zie je een hulpmiddel om na te denken over selectie. Iedereen discrimineert, soms met de beste bedoelingen. Zo kun je als UWV’er menen mensen met bepaalde handicaps extra te ondersteunen, maar als er veel meer witte invaliden zijn dan in de referentiegroep, dan discrimineer je toch. DUO discrimineerde indirect door uitwonende studenten te selecteren op grond van de criteria leeftijd, afstand en opleidingsniveau wat erin resulteerde dat studenten met een migratieachtergrond relatief vaker eruit gepikt werden als fraudeurs. Deze scan had deze fout hoogstwaarschijnlijk voorkomen.

Uit de heup schieten

De uitgebreide uitleg en het toekennen van relatieve waarde van de scan waren niet besteed aan criticasters die bij het woord ‘algoritme’ al rode vlekken in de hals krijgen. De eerste is Alexander Laufer, Tech- & Mensenrechtenspecialist van Amnesty International. Hij reageert op LinkedIn als door een wesp gestoken.

“Ik open vandaag de krant en val nog net niet van mijn stoel af! Helpen jullie mij om deze post viraal te maken? Na een oneindige reeks schandalen met discriminerende algoritmes zou je denken dat de overheid hier lessen uit heeft getrokken. Maar nee hoor.”

Dit is een vooroordeel, niet van een machine maar van een mens: de overheid maakte fouten met algoritmes, dit gaat over algoritmes dus dit is weer een schandaal. Zo zijn er nog wat reacties uit de onderbuik.

Inhoudelijk luidt het bezwaar van Laufer:

“Wat is het probleem? In de context van risicoprofilering door de overheid is onderscheid op grond van ras, direct óf indirect, in de praktijk nooit gerechtvaardigd.

De suggestie dat efficiëntie hier iets mee te maken heeft, klopt dus niet. Er staat: "discriminatie door algoritmes is een heel economisch onderwerp [...] Efficiëntie botst hier met rechtvaardigheid. Dat is een echt klassiek economisch thema"

Dit is wat jurist Sonja Starr de "scientific rationalization of discrimination" noemde. Als de cijfers laten zien dat mensen met een migratieachtergrond meer frauderen, dan mag je die toch controleren? Een klassiek argument voor etnisch profileren.”

Framing

Daarop reageert Mark Kattenberg, Programmaleider Data Science van het CPB, en mede-opsteller van de scan:

“Ik weet dat onze meningen hierover verschillen en we niet nader tot elkaar gaan komen. We hebben een andere weging en dat is prima.”

Laufer erkent:

“Ik gebruik een beetje framing, maar enkel over de context van risicoprofilering door de overheid.”

Framing is manipulatie, niet-objectieve stellingname om percepties oneigenlijk te beïnvloeden.

Hij krijgt steun van Ajuna Soerjadi die permanent waarschuwt tegen algoritmes met haar Expertisecentrum Data-Ethiek:

“Los van het feit dat juridisch gewoon is vastgesteld dat je niet etnisch mag profileren, ook niet indirect via schijnbaar neutrale data, wijst de praktijk steeds weer uit dat scientific racism doorwerkt in vrijwel alle risicoprofielen die worden ingezet. We hebben geen betere technologie nodig, we hebben politieke wil nodig om het stop te zetten.”

Tim de Jonge, promovendus aan Radboud: die term ‘rechtvaardiging’ onderzoekt, stelt op grond van het Nederlands recht:

“Het in deze wet neergelegde verbod van onderscheid geldt niet ten aanzien van indirect onderscheid indien dat onderscheid objectief gerechtvaardigd wordt door een legitiem doel en de middelen voor het bereiken van dat doel passend en noodzakelijk zijn.”

Het rapport waar dit over gaat lijkt prima gebalanceerd en genuanceerd, de tool lost het probleem niet op maar lijkt in lijn met de beste ideeën in het vakgebied op het moment - ik vind het zonde om hier het CPB verdacht te maken ('verspreid het CPB misleidende informatie') voor iets wat er voor mij uit ziet als een oprechte poging dingen beter te doen.

Laufer is het oneens:

“In de context van risicoprofilering door de overheid is de ruimte voor een rechtvaardiging enkel theoretisch. In de praktijk bestaat deze ruimte niet. Amnesty is niet bekend met voorbeelden van onderscheid op grond van ras door risicoprofilering die objectief gerechtvaardigd zijn. Mocht je die wel kennen hoor ik het graag. Dit en veel meer legden wij uit in ons 2024 rapport Etnisch profileren is overheidsbreed probleem, dat aangeboden is aan de Minister van Binnenlandse Zaken.”

De Jonge tegen Laufer:

“Je lijkt hier te suggereren dat het CPB hier een handleiding voor discriminatie levert. Het rapport leest voor mij alsof het CPB beweert: algoritmen discrimineren best veel, bedoeld of onbedoeld, dat is kwalijk, zo krijg je er grip op.

Er is veel werk te doen aangaande discriminatie door algoritmen, zowel bij de overheid als elders, en dan vind ik het zonde om iets wat er uit ziet als goedbedoeld initiatief om discriminatie tegen te gaan aan te grijpen voor ophef.”

Laufer:

“Ik maak niemand verdacht, ik maak een feitelijke constatering: het CPB geeft een verkeerde uitleg van het recht op non-discriminatie. Wij zien dat overheden dit soort richtlijnen misbruiken om te blijven discrimineren. Ik zou je van harte aanraden om ons rapport te lezen.”

De Jonge corrigeert Laufer:

“Dat zegt het CPB helemaal niet. Over discriminatie zijn we het eens, maar de quote "indirect onderscheid mag, zo lang er rechtvaardiging is. Is die er niet, is er sprake van discriminatie" is correct, ook in context. Er was daar geen rechtvaardiging, en dus discriminatie.”

Meer fouten door mensen

Dit is een interessante discussie gezien de verwarring over discriminatie en rechtvaardiging. Er blijft wel een interessante vraag: als vaststaat dat mensen meer discrimineren in hun selectie, mag je dan pleiten voor (voor)selectie door een algoritme dat minder discrimineert. Er wordt gewezen op een economische wetenschappelijke afweging van ‘algorithmic fairness’ die haaks kan staan op absolute toepassing van begrippen. Mensen hebben meer vooroordelen dan algoritmes en staan veelal aan de basis van algoritmische discriminatie. 

Eerlijkheid is een relatief begrip, en er zijn afdoende voorbeelden te verzinnen waarin het toepassen van discriminatie mensenrechten ondersteunt. Bijvoorbeeld immigranten selecteren omdat de kans dat ze toeslagen mislopen vanwege taalachterstand groter is dan van autochtone burgers.

Beetje spijt

Kattenberg, desgevraagd na afloop van deze discussie over de aantijging van Amnesty dat het CBP discriminatie in de hand werkt:

“Ja, dat is onzin, maar OK, wel zijn mening. Amnesty hanteert als standpunt dat iedere vorm van risicoprofilering neerkomt op indirecte discriminatie. Terwijl wij juist een toets ontwikkeld hebben om dat te helpen voorkomen.”

Laufer wil het beeld dat ontstaat uit zijn eerste ongenuanceerde reactie aanpassen:

“Ik beticht de tool helemaal niet discriminatoir te zijn. Letterlijk zeg ik dat ik vrees dat het door overheden gaat worden gebruikt om etnisch profileren te legitimeren. Het gaat dus niet om de tool maar om hoe het gebruikt gaat worden. Ik waarschuw voor dit risico. Het gaat dus niet om het CPB zelf.”