Het voorwoord van Vertrouwen in de slimme samenleving van neerlands bekendste big data expert Sander Klous (UvA en KPMG) en Nart Wielaard komt van Cathy O’Neil, auteur van het vermaarde Weapons of Math Destruction dat allesbehalve vertrouwen wekt in een samenleving die ‘slim’ zou zijn.

O’Neil eindigt haar voorwoord met ‘Op een of andere manier moeten we de nieuwe algoritmes kunnen vertrouwen. Deze principes zouden daar een goed begin van kunnen zijn’. Ze doelt op de principes die dit boek beschrijft om de formules in de klauwen te houden. O’Neil klinkt eerder sceptisch dan hoopvol, maar weerhoudt Klous en Wielaard niet van hun optimisme met voorstellen om algoritmes te beheersen en te reguleren.

En dat onze samenleving slim is en nog veel slimmer zal worden, betwijfelen de auteurs kennelijk geen moment. Wel noemen ze, alvorens tot hun oplossingen te komen, een aantal risico’s met bekende, van elders overgenomen voorbeelden. We zijn, vinden de auteurs, ‘verslaafd aan algoritmes’ zonder dat we het door hebben. Op drie wijzen kan het fout gaan:

1. Het Algoritme werkt verkeerd door voeding met onjuiste data
Heel vaak treedt dit risico op met gepersonaliseerde uitkomsten, want die vernauwen je blik. Dat gebeurt bij Google Search en in vele webwinkels die het eigenbelang laten prevaleren (zoals Amazon). Het gebeurde, weten de auteurs, 50 jaar terug al met Sabre, het zogenaamd neutrale reserveringssysteem dat maker American Airlines bleek te bevoordelen als klanten vluchten gingen zoeken. Of een recenter voorbeeld: gebruik van modellen voor recidive in de Amerikaanse rechtspraak, die vooroordelen blijken te bekrachtigen.

2. Het algoritme leert zichzelf de verkeerde dingen
Machineleren vormt de basis van steeds krachtiger kunstmatige intelligentie. Mensen hebben dat niet in de hand, de lerende machine kiest zelfstandig. Bijvoorbeeld de fouten in navigatie kosten handenvol geld en veel ergernis, terwijl zelfrijdende auto’s zelfs doden. Of onschuldiger, maar illustratief: twitterbot Tay van Microsoft werd een verschrikking.
Een fraai voorbeeld is ook WorkFusion dat software bouwt om menselijke activiteiten te laten overnemen door robots. Het besloot in 2016 een deel van de toepassingen gratis te verspreiden. Daarmee steekt het concurrenten de loef af, niet op de laatste plaats vanwege dataverzameling van 35 miljoen gebruikers, een enorme versnelling van het machineleren door WorkFusion. Ook Tesla verzamelt data van chauffeurs om laten auto’s zelf te leren rijden. Maar filtert ze foutief rijgedrag uit?

3. De gebruiker past het algoritme verkeerd toe
Gemakzucht en gebrek aan kritische houding vormen het grootste risico. Zo dacht ESA de software van de Ariane 4 te kunnen gebruiken voor Ariane 5, met funeste gevolgen. Het foppen van stappentellers, op zichzelf al onbetrouwbare meetinstrumenten, is een hobby op zich geworden.
Of bij ‘automation bias’ vertrouwen we de machine meer dan ons brein, soms ook om aansprakelijkheid maar te ontlopen. Dat laatste overkomt ook artsen die software inzetten die diagnoses en behandelingen suggereren.

Probleemgebieden van kunstmatige intelligentie

Apart van deze drie oorzaken sommen de auteurs meer problemen met big data op. Pas hier komt, zij het beperkt, privacy om de hoek kijken, met een verwijzing naar een artikel van Morozov over onzichtbaar prikkeldraad. Oftewel: niet het gezien worden door big brother is het grote privacyprobleem, maar gestuurd worden door onbekende algoritmes.
Het genoemde Weapons of Math Destruction staat er vol van. Of neem het boek Homo Deus van Yuval Noah Harari, dat de keerzijden beschrijft van de ‘goddelijke macht’ die we ons met technologie verwerven. ‘Dataïsme’ krijgt ons in de greep en ons eraan ontworstelen lijkt geen optie meer.

Twijfel aan de privacyverordening

De auteurs verdelen de euvels vervolgens over vijf gebieden:
1. Informatiebeveiliging (verstoringen)
2. IT-beheer (fouten)
3. Informatiemanagement (verkeerde beslissingen)
4. Onbetrouwbaarheid van algoritmes
5. Ethiek.
 

Dillema’s groeien in aantal en ernst. Zo betwijfelen de auteurs of de nieuwe Europese regels voor privacybescherming (AVG) juist zijn. De inzet van data van zoveel mogelijk mensen kan immers gewenst zijn, bijvoorbeeld om te komen tot de beste en meest betrouwbare medische behandelingen. En dan staan privacyregels dat in de weg.

Dat individuen geen eigenaar zijn van hun data, zoals de AVG impliceert,  is volgens de auteurs ook niet erg. Die deel je nu eenmaal altijd in een gemeenschap. Zo weet de kroegbaas wat hij voor jou moet inschenken op woensdagavond. Maar kom je zaterdagmiddag met je kind binnen, dan zet hij (misschien) niet automatisch dat biertje voor je neer. Het gaat in de privacydiscussie niet meer om ‘alles van je weten’, concluderen ze, maar om het gebruiken van die data; om het ‘doen’

Toezicht regelen

Vervolgens komen de optimistische auteurs toe aan de oplossingen. We kunnen de toepassing van algoritmes altijd gaan vertrouwen, door het toezicht te regelen en te leren omgaan met ongekende complexiteit.

Want - en daar heb je het weer – we zijn toch bovenal een ‘slimme samenleving’. (Wat dat dan ook precies mag zijn, want als historicus vraag ik me dan direct af: en wanneer was die samenleving niet ‘smart’? En wanneer is die slimheid doorgebroken?)

Maar goed, toezicht op algoritmes kun je tweeërlei regelen:

1. Controle op de uitlegbaarheid van algoritmes
We moeten dus altijd kunnen verklaren hoe het werkt, zo zegt ook Darpa in Explainable Artificial Intelligence, onderdeel in een groeiend veld van dergelijke pleidooien. Ook het Europees Parlement wil die kant op. De auteurs waarschuwen dat we niet teveel moeten eisen, en soms de uitkomsten van de machine maar beter kunnen vertrouwen, hoe donker ook hun wezen. Voorbeeld: een medisch voorspelsysteem voor leverkanker dat ineens ook nauwkeurig het risico op schizofrenie bleek te kunnen voorspellen. Daar heb je wat aan, en uiteindelijk controleert toch een dokter of de suggesties vanuit de data juist zijn.

Een eerste controle van algoritmes en hun werking is mogelijk met een systeem zoals de accountancy voor organisaties werkt. De principes, maar ook gebreken daarvan, doen opgeld voor het controleren van en rapporteren over systemen die big data analyses doen en van zichzelf leren.

2. Oplossing van nieuwe ethische vraagstukken met algoritmes

Dit stuk is ‘vele malen uitdagender’, want betreft de gedeelde verantwoordelijkheid tussen mens en machine voor de uitkomsten van big data toepassingen op basis van algoritmes. Een simpel voorbeeld is de kwestie van handhaving van solidariteit in verzekeringen, als we straks van ieder individu de – medische - risico’s verfijnd in beeld krijgen

We moeten algoritmes inhoudelijk beoordelen alvorens ze in praktijk worden gebracht. Dat kan, vinden de auteurs, het best decentraal. Zelfs via crowdsourcing, waarbij slimme geesten in het volk zich aandienen als controleurs. Bijvoorbeeld in een systeem van ‘peer reviews’, net als in de wetenschap.

Ze menen dat bedrijfsleven en overheden op de goede weg zijn, bijvoorbeeld de mondiale technische organisatie IEEE met richtlijnen en het Partnership on AI van Amazon, IBM, Google, Facebook en Microsoft, die de mensheid menen te kunnen behoeden voor de uitwassen van toepassing van kunstmatige intelligentie..

Om uiteindelijk terecht te komen op de aanbeveling met vertrouwen de toekomst tegemoet te gaan met de inrichting van toezicht en controle op grond van wat de auteurs ‘MAD’ principes noemen: Modulair, Agile en Decentraal. Modulair is bijvoorbeeld een centraal controlesysteem, zoals van Iso-standaarden. Agile, lenig controleren, gebeurt vlug-vlug voor bijvoorbeeld de Appstore van Apple. En decentraal is genoemd toezicht met accountants.

Nieuw ministerie

Wie eenmaal met deze bril naar zijn omgeving kijkt, krijgt grip op een snel veranderende wereld, hopen ze. Het ultieme voorbeeld: de bewaking van de open source serverstandaarden door betrokkenen via hun Apache Foundation. Maar er is wel wat meer voor nodig, zo beseffen ze. Zo bepleiten ze de oprichting van een ministerie van Digitale Zaken in Nederland, mede om toezicht goed te kunnen funderen. Maar houden algoritmes zich aan landsgrenzen?

Leuk boek om de formele discussie te openen, want de auteurs proberen een overtuigende theorie neer te zetten aan de hand van praktijkgevallen. Maar meeslepend kan ik ‘Vertrouwen in de slimme samenleving’ het niet noemen. Da’s wel jammer, maar ook logisch na de inspirerende voorganger ‘Wij zijn big data’ die een nieuw onderwerp bij de horens vatte. De opvolger is in verschillende opzichten een consolidatie en dit levert geen hoogst inspirerende uitkomst op, maar wel een noodzakelijk boek. (Deels te lezen op Google Books)