Dat stelt de Staatscommissie tegen Discriminatie en Racisme. Die wordt voorgezeten door Joyce Sylvester (PvdA). Ook de verdere samenstelling van de commissie toont een politiek profiel:

• Dionne Abdoelhafiezkhan (sociaal ondernemer en activist Control alt Delete)
• Virginia Dignum (hoogleraar in verantwoorde AI)
• Bram Klievink (hoogleraar Publiek Beleid en Digitalisering)
• Gerbrig Klos (Amnesty International) (Zie ook de post van Amnesty.)
• Alexander Laufer (Amnesty, weg van LinkedIn)
• Jair Schalkwijk (activist Controle Alt Delete)
• Guido Terpstra (College voor de Rechten van de Mens)
• Hilde Weerts (AI-onderzoeker discriminatie, TU Eindhoven).
• Benjamin Jansen (directeur Datafundamenten en Analytics, Belastingdienst)

De laatste is ervaringsdeskundige bij een overheid die profilering heeft ingezet of dat wellicht nog doet. Ik kom daar elders op terug met commentaar. Vooronderzoek voor de publicatie is gedaan door Aviva de Groot, een criticaster van toepassing van algoritmes

In de brief aan de Tweede Kamer staan de redenen van de Staatscommissie samengevat om profilering af te wijzen:

• Burgers missen rechtszekerheid en rechtsbescherming.
• Overheden zijn onvoldoende transparant over hoe en waarom zij profileringsmethoden inzetten.
• Overheden schieten tekort in het aantonen dat profilering een effectieve, efficiënte en noodzakelijke beleidskeuze is.
• Gevolg van deze tekortkomingen is dat de grote risico’s op discriminatie onvoldoende gewogen en onvoldoende op waarde geschat worden in de praktijk.
• Dus botst de profilering voor misdaadbestrijding door de overheid met de principes van goed openbaar bestuur.

Gevallen van discriminatie

“In de afgelopen jaren hebben talrijke casussen laten zien dat overheidsprofilering kan leiden tot discriminatie van grote groepen burgers, met schrijnende individuele en maatschappelijke schade als gevolg.”

Talrijk zijn de gevallen niet. Uiteraard wordt de Toeslagenaffaire als voorbeeld genoemd in het rapport Principes voor profilering, immers de aanleiding voor de instelling van de Staatscommissie.

Ook de selectie van verdachte adressen door DUO, bestraft door de Autoriteit Persoonsgegevens, geldt als voorbeeld van onrechtmatige toepassing van profilering. Het algoritme zelf was niet discriminatoir, maar mogelijk wel de gevolgen. Eerder speelde het door de rechter verboden systeem Syri.

Wat is profilering?

De vraag is in hoeverre met de toepassing van algoritmes ook (altijd) sprake is van profilering. Daarover is geen duidelijkheid. Als definitie hanteert de Staatscommissie: “Datagedreven profilering omvat het selecteren en categoriseren van (groepen) burgers op basis van gedeelde kenmerken, gedrag of eigenschappen, afgeleid uit data.”

Dit is iets anders dan het opbouwen van persoonlijke profielen, dat meer wordt benadrukt in de toegankelijke beschrijving van de AP van profilering: “Hoe meer bruikbare en relevante gegevens een organisatie heeft, hoe makkelijker het is om deze gegevens te combineren en daarmee een beeld of profiel van iemand te maken. Met dat profiel kunnen organisaties aannames doen over bijvoorbeeld de interesses, de gezondheidssituatie en de koopkracht van een bepaalde persoon…Ook kunnen organisaties profilering gebruiken om het gedrag van mensen te voorspellen. Dit gebeurt door het gedrag van één persoon en dat van andere personen te onderzoeken en vergelijken.”

De commissie hanteert een breed begrip, elders in het rapport uitgelegd als “(indirecte) persoonsgegevens worden gebruikt en gekoppeld tot een profiel om de toezicht- en handhavingscapaciteit ‘risicogericht’ in te zetten”.

De commissie stelt ook vast dat de fraudewetgeving en harde handhaving al het gevolg is van discriminatie en een verharding in het denken en spreken over uitkeringsgerechtigden en mensen met een migratieachtergrond; te weten negatieve beeldvorming over ‘buitenlanders’ met uitkeringen, specifiek de ophef over de ‘Bulgarenfraude’ begin 2013.

Van je ras ras ras

Er is onenigheid over toepassing van ‘ras’ met algoritmes. Direct mag dit uiteraard niet maar de deelnemers in de Nederlands Technische Afspraak inzake profileringalgoritmes (voor opstelling van normen voor toepassing van datagedreven profilering) verschillen van mening over indirecte toepassing.

“Het minderheidsstandpunt wordt ingenomen door de organisaties Amnesty International, Bits of Freedom en Controle Alt Delete. Waar het meerderheidsstandpunt impliceert dat er in theorie een objectieve rechtvaardiging zou kunnen zijn voor indirect onderscheid op grond van ‘ras’, benadrukt het minderheidsstandpunt dat in de praktijk deze objectieve rechtvaardiging bij risicoprofilering door de overheid niet bestaat.”

De Staatscommissie vindt de toepassing van het begrip ‘nationaliteit’ voor selectie van personen in de praktijk nagenoeg altijd leidt tot onderscheid in ras en/of etniciteit, en daarmee discriminatie.

De Staatscommissie, met vier leden van Amnesty en Control Alt Delete, neemt het minderheidsstandpunt van genoemde NTA-formulering in feite over. Ze spreekt over “een duidelijke discrepantie tussen deze (terechte) hoge normen en de historisch gegroeide praktijk van overheidsprofilering, die in veel gevallen niet aan deze eisen lijkt te kunnen voldoen”.

Recht op niet vooraf verdacht zijn

Maar ook in kringen van de opsporing zelf zijn kritische geluiden waarneembaar, zoals van de Wetenschappelijke Adviesraad van de Politie, met haar advies Navigeren in Niemandsland. Inzet van AI staat meer dan eens op gespannen voet met publieke waarden, terwijl de effectiviteit te vaak niet bewezen is. De wetenschappers adviseren de politie te stoppen met alle toepassingen van profilering die crimineel gedrag op persoonsniveau proberen te voorspellen.

De Staatscommissie vindt profilering bij voorspelling van misdaad, bovenal, domweg in strijd met principes van de rechtsstaat, zoals het gelijkheidsbeginsel. Wetgeving om dat risico in te perken schiet tekort, met grote risico’s op discriminatie tot gevolg.

Profilering is gestoeld op ‘resultaten uit het verleden’ en het is de vraag of je mogelijk toekomstig gedrag van personen op grond daarvan moet en mag beoordelen. De uitkomsten van voorspellingen kunnen wel deugen, maar de dataverzameling vooraf is volgens de Staatscommissie al discriminatoir door selectie van personen die te maken hadden met “ongelijke behandeling of maatschappelijk achterstelling”.

Immers: “Wanneer profilering structureel dezelfde groepen raakt, kan dit leiden tot een vicieuze cirkel van wantrouwen, terugtrekking en verdere marginalisering – een dynamiek die aansluit bij het bredere beeld van punishing the poor.”

De commissie vindt dus dat voor voorspellingen geen plaats is in misdaadbestrijding. De traditionele methodes zoals aselecte of 100%-controles volstaan, want ze zijn “transparanter, eerlijker en verminderen het risico op cumulatieve discriminatie.”

 *) Beeld uit De gezichten achter De Toeslagenaffaire van NPO