De macht van algoritmes is goed te begrenzen

Als management hoofdelijk aansprakelijk is voor gevolgen van algoritmes heb je de vangrails voor AI

Een machine kan niet zijn eigen baas zijn, een mens oefent er gezag over uit. Die bestuurder kan zich niet verschuilen achter een rookgordijn van ‘geavanceerde’ algoritmische software met een antropomorfische verschijning.

Recent bevestigde de Hoge Raad de uitspraak van hof van Amsterdam inzake bezorgdienst Deliveroo en vakbond FNV: dat de bezorgers van Deliveroo werkzaam zijn op basis van een arbeidsovereenkomst en niet als freelancer of zelfstandige kunnen worden beschouwd. Ze krijgen hun ritten voor de bezorging van maaltijden toegedeeld met een algoritme, genaamd ‘Frank’. “Dat betekent dat Deliveroo, die het algoritme ‘Frank’ heeft ontworpen en voortdurend aanpast, een grote bemoeienis heeft met de wijze waarop werkzaamheden worden verricht.

Dat de bezorgers meer vrijheid hebben om opdrachten te weigeren of om hun werk in te delen door een andere inrichting ervan is volgens het Hof niet voldoende. Het Hof overweegt dat "Frank" met de vergaande controlemogelijkheden overkomt als ware een werkgever. Dit opiniestuk gaat in op de manier waarop het Hof tot de conclusie komt dat Deliveroo gezag uitoefent over het zelflerend algoritme.

De zaak behelst het probleem van een samenleving waarin een onderneming met software hoegenaamd autonoom een onderneming bestuurt en gezag uitoefent over de ingehuurde medewerkers waarna de aandeelhouders geautomatiseerd een winstuitkering ontvangen. De robotbaas regeert dankzij algoritmen maar feitelijk is het een variant op kantoorautomatisering die probeert de wet te omzeilen.

Robots als slavendrijvers

Er wordt veel gespeculeerd over de betekenis van digitalisering en robotica voor de toekomst van werk. De gevolgen zijn niet voorspelbaar, constateerde de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) in 2015. Banen zullen verdwijnen en veranderen en er zullen nieuwe banen bijkomen. Toch zijn veel menselijke activiteiten (nog lang) niet te codificeren of in routines te vertalen. Veel werk kunnen louter mensen doen, aldus de WRR.

Bij de platformeconomie komen we ‘mensloze makelaars’ tegen in woningen, hotelkamers, vakantieverblijven, woningruil, leenauto’s en nieuwe en tweedehands goederen. Vragen en problemen worden via het platform geautomatiseerd afgewikkeld, inclusief online geschillenbeslechting. De bemiddelingssoftware wordt ingezet uit de cloud.

Áls er al een mens betrokken is, betreft het een ingehuurde dienst zoals callcenter of accountant. Nu waken de algoritmerobots in de vorm van de supervisor, de middle manager of de voorman over de schoonmaaksters van het hotel, vertellen hun in welke volgorde ze kamers moeten schoonmaken, houden bij hoe snel ze dat doen, en vullen de voorraad zeepjes, lakens, handdoeken en schoonmaakmiddel geautomatiseerd aan.

Robots sturen pakketbezorgers aan, bepalen de snelste route, volgen de pakketten tot aan de voordeur, en rekenen af per bezorgd pakket. De robots luisteren mee met de gesprekken van callcentermedewerkers, sturen hen aan met scripts en houden ze constant optimaal bezig met steeds nieuwe gesprekken.

De algoritmerobots manifesteren zich als opdrachtgever of werkgever, en geven opdrachten aan opdrachtnemers of werknemers. De bedrijven beheren softwareontwikkelaars, houden het gedrag van werkers nauwgezet bij en bepalen hun salaris op grond van prestaties.

Geen bezorgdienst maar IT-bedrijf?

In de casus Deliveroo vs FNV stond ter discussie of er sprake is van opdrachtgever- of werkgeverschap. De bezorgdienst gebruikt het algoritme Frank als gezagvoerder. Het Hof stelt een grens aan het afschuiven van verantwoordelijkheden naar een algoritme: Deliveroo ontwierp het algoritme Frank, past het voortdurend aan en heeft dus een grote bemoeienis met de wijze waarop werkzaamheden worden verricht.

Deliveroo stelt dat zij een IT-bedrijf is en het bezorgen van maaltijden van ondergeschikte betekenis is, dus geen kernactiviteit betreft. Het Hof kan Deliveroo hierin niet volgen en besloot tot werkgeverschap. Er is beheer van (eigen) menselijke productiemiddelen en van personeelsmanagement (HRM), dus gelden er arbeidsrechtelijke regels met bijbehorende de verplichtingen tussen werkgever en werknemer. Goed werkgeverschap met HRM-beleid hoort daar bij.

Om te beschouwen hoe het Hof tot de conclusie komt dat Deliveroo – via een algoritme – gezag uitoefent en te toetsen of het algoritme Frank het gezag van een werkgever kán hebben, is het zaak de overwegingen te analyseren aan de hand van de praktijk.

Personeelsinstrumenten in algoritmen

Personeelsmanagement behelst het planmatig benutten van menselijke talenten: hoe kunnen de menselijke talenten optimaal worden benut om de strategie van de organisatie te realiseren? Veelal is de Human Resource Cycle van Fombrun uit 1984 van toepassing: de effectieve prestatie van een individu stoelt op vijf uitgangspunten:

  • De werknemer wordt gezien als een bron van opbrengsten (human capital) in plaats van een kostenpost;
  • Het personeelsmanagement is een integraal onderdeel van het strategische beleid van een organisatie;
  • Het personeelsmanagement is gericht op integratie van het werknemersbelang en het organisatiebelang;
  • De verantwoordelijkheid voor het personeelsmanagement ligt bij het topmanagement en de uitvoering wordt geïntegreerd in het lijnmanagement;
  • De personeelsinstrumenten zijn in samenhang ontwikkeld. 

Voor personeelsmanagement zijn soft skills en gegevensverwerking nodig. Veel handwerk van mensen zal echter door robotachtige machines worden overgenomen. Naast de automatisering van bedrijfsvoering, productieprocessen en klantcontacten (wat zou leiden tot betere prestaties, concurrentievermogen en verdubbeling van de omzet) is geautomatiseerde HRM in snelle opkomst: HRM-instrumenten kunnen met kunstmatige intelligentie worden gemechaniseerd, onder andere bij controle en prestatiemeting met algoritmen zoals heuristieken; regels die je brein toepast als filter om niet over alles rationeel na te hoeven denken.  

Feedback en controle bij menselijke prestaties

Wiener was de eerste die terugkoppeling (feedback) duidde in 'Control and Communication in the Animal and the Machine'. Het Duitse leger begon tijdens de Tweede Wereldoorlog voor het eerst feedback te verzamelen uit meerdere bronnen om de prestaties te evalueren. Soldaten werden geëvalueerd door leidinggevenden, ondergeschikten en directe collega-militairen.

Een van de vroegst geregistreerde toepassingen van enquêtes om informatie over werknemers te verzamelen, vond plaats in de jaren vijftig bij Esso Research and Engineering Company. Wanneer leidinggevenden feedback geven aan werknemers (bijvoorbeeld corrigerende opmerkingen) is dit eendimensionale feedback. Als de werknemer ook over zijn eigen werk mag oordelen, noemt men dat 180 graden feedback. Bracken et al ontwikkelden de zgn. 360 graden feedback, waarmee werknemers beoordeeld werden door meerdere mensen in hun werkomgeving. Het klinkt wat mechanisch maar eigenlijk is deze terugkoppeling een onderdeel van 'het systeem'.

Het gebruik van feedback door meerdere beoordelaars nam gestaag toe in populariteit, grotendeels via webgebaseerde enquêtes. In de afgelopen jaren zijn internetdiensten de norm geworden, met een groeiend menu van nuttige functies die ook in de HRM worden ingezet. In 2006 publiceerden Atkins & Wood dat het 360-graden feedbackprogramma als voorspellers van beoordelingen van assessmentcentra is gevalideerd.

 Feedback(loop) is ook een beleidsinstrument. Met behulp van het instrument kan de overheid mensen voorbereiden op en verleiden tot gedragsverandering, stelt het Kenniscentrum Wetgeving en Juridische zaken: “Hiervoor is vaak een vorm van registratie van gedrag nodig. Door feedback te krijgen op hun gedrag worden mensen zich bewust van hun vaak onbewuste gedrag. Ze merken dat ze iets anders blijken te doen dan ze dachten of wensen. Of ze gedragen zich anders dan andere mensen die ze belangrijk vinden. Dit motiveert mensen tot het veranderen van hun gedrag.”

Wiener's terugkoppeling is een onderdeel van ons maatschappelijk systeem geworden en mag daarom niet in het rechtssysteem ontbreken.

HRM: via uitbesteden naar automatiseren

Handmatige processen als werknemers selecteren en doorsturen van cv’s tot en met verzuim registeren en controleren en rapportages maken worden steeds vaker geautomatiseerd. Zelfs het werven en ontslaan van medewerkers en het voeren van functionerings- en beoordelingsgesprekken zijn – bijvoorbeeld bij Uber – geautomatiseerd.

Wanneer het algoritme negatieve feedback ontvangt, fraudesignalen detecteert of een ander type autobestuurder nodig acht, wordt de Uber-chauffeur niet meer tot de app toegelaten. Dit 'ontslag' wordt niet gemotiveerd. Chauffeurs procedeerden daarover. Ook bij de uitspraak inzake Deliveroo speelt dat het geautomatiseerde (gedelegeerde) gezag besluit over personen, iets dat de AVG – in beginsel – verbiedt, maar wel weer met uitzonderingen (artikel 22).

Bij nagenoeg volledig geautomatiseerde bedrijven bestaat alleen de onderste laag uitvoerenden uit mensen, zoals bij Amazon. Software bestuurt bijna elk aspect van het beheer in de magazijnen van het bedrijf, van het moment waarop mensen werken tot waar en hoe snel ze werken tot het moment waarop ze worden ontslagen omdat ze achteropraken.

Elke werknemer heeft een 'doelstelling', een aantal orders per uur. Als iemand er niet aan voldoet, volgt automatisch ontslagen. In Californië werd een werknemer automatisch ontslagen nadat ze haar quotum aan onbetaalde vrije tijd met een uur overschreden had na een overlijden in haar familie. Toegangscodes, emailadres, telefoon, alles is direct na het ontslagbesluit geblokkeerd.

Omdat elke taak minutieus door een machine wordt gedicteerd, kunnen ze gemakkelijk worden vervangen. Geautomatiseerde terugkoppeling is echter nog geen geautomatiseerd gezag over ondergeschikten. Het Franse Cour de Cassation stelt dat het belangrijkste element van een arbeidsrelatie het 'lien de subordination' (relatie van ondergeschiktheid) is, dat wil zeggen: “het verrichten van werk onder het gezag van een werkgever die de bevoegdheid heeft om bevelen en instructies te geven, om toezicht uit te oefenen op de werkzaamheden en om het falen van zijn ondergeschikte(n) om dergelijk werk uit te voeren te bestraffen.”

360 graden prestatiebeoordeling

In die context is Frank de parlofoon van de patroon Deliveroo. Net zo min als een BV een natuurlijke persoon is, kan ik me voorstellen dat Frank een mens is. Deliveroo gebruikt Frank voor prestatiebeoordeling. Uit de processtukken blijkt dat drie van de vijf 360 graden componenten worden toegepast: de beoordeling van de leidinggevende, beoordeling in vergelijking met de 'peer group' en de beoordeling door de klant/gebruiker/burger (naast zelfbeoordeling en de beoordeling van de ondergeschikte of derde). Dat blijkt uit het FNV-rapport over de riders van Uber Eats.

Voor veel van deze beoordelingscomponenten is een geautomatiseerde vorm te bedenken, maar moeilijker lijkt dit met robotachtige beoordelende leidinggevenden. Voor de 360 graden prestatiebeoordeling van een werknemer worden heden ten dage feedbackenquêtes verzameld van leidinggevenden, ondergeschikten, collega's, teamleden, klanten, leveranciers/verkopers, enz. Er worden enquêtes opgesteld om waardevolle inzichten en informatie of feedback te geven over de 'on-the-job'-prestaties van de werknemer. Voorheen gebeurde een beoordeling in de cyclus van het kalenderjaar.

Tegenwoordig lijkt – dankzij de mechanisatie – de beoordeling rond te zijn in een omloop van enkele weken bij platformbedrijven zoals Deliveroo, Uber en Amazon. Er worden grote hoeveelheden terugkoppelingsinformatie, zgn. big data, gebruikt maar de menselijke inzichten ontbreken.

Lodder e.a. stellen dat bij verdenking die leidt tot ontslag de opdracht/werkgever inzage zal moeten geven in de manier waarop tot die voorspelling is gekomen. Verwijzing naar data en algoritme volstaat niet. In geval van Big Data analyse mogen menselijke afwegingen worden verwacht, mede in het licht van privacy als grondrecht.

 "Bij Deliveroo staan onze kernwaarden centraal bij alles wat we doen. (…) Ons algoritme 'Frank' is gebaseerd op een veel vermogende voorspellende technologie die de meest efficiënte manier van het distribueren van bestellingen evalueert op basis van de locatie van restaurants, rijders en klanten. Machine learning helpt om te voorspellen hoelang het duurt om een maaltijd voor te bereiden, wat helpt om de ervaring te stroomlijnen. (…) Deliveroo's Editions platform (…) is ontworpen om innovatie te ondersteunen. Dit is alles wat achter de missie van Deliveroo schuilt om klanten een hele wereld van gerechten van restaurant kwaliteit te bieden"  (Deliveroo’s mission statement)

Frank noch vrij

 Deliveroo-bezorgers zijn verplicht een app te installeren die realtime communiceert met Frank. Via de app meldt de bezorger wanneer hij/zij beschikbaar is voor een opdracht en (via GPS) waar de telefoon zich bevindt. Frank gunt de bezorgopdracht aan de beschikbare bezorger die de bestelling het meest efficiënt kan uitvoeren. De app geeft de opdracht en na de acceptatie volgt Frank de bezorger op zijn route, registreert vertragingen, en combineert dat met de teruggekoppelde beoordeling van de klant en opmerkingen van het restaurant. Bij voltooide opdracht ontvangt de bezorger de vergoeding op basis van ritafstand en ritduur: gemiddeld 11 tot 13 euro per uur.

Het Hof overweegt dat de bezorgers vrijheid lijken te hebben om te ondernemen, maar worden gecontroleerd en gestuurd door het algoritme Frank met vergaande controle van de werkwijze van de bezorger. De criteria van Frank zijn echter niet duidelijk, het systeem van betaling is niet transparant, de keuzevrijheid klein, het toekennen van beloning en bonussen eenzijdig.

Arbeid, loon, gezag en context

De Commissie Borstlap roept in zijn eindrapport van begin 2020 op om het onderscheid tussen arbeids- en opdrachtovereenkomst te verduidelijken. De Hoge Raad liep eind 2020 vooruit door te overwegen dat 'wat partijen bedoelen' in ieder geval niet meer relevant is bij de kwalificatievraag. Er is sprake van een arbeidsovereenkomst indien een arbeidskracht

een verplichting tot het persoonlijk verrichten van arbeid aangaat;
tegen betaling van een vergoeding, en
in een gezagsverhouding met de werkgever.

Stel nou dat algoritme Frank een menselijke Frank zou zijn, zou het bedrijfsproces dan wezenlijk anders verlopen? Nee. Hooguit trager, maar zeker menselijker. Waarom wekt het Hof dan toch de indruk dat het algoritme het gezag uitoefent? Het vonnis (3.7.3) stelt de dominantie van Frank vast. Een geavanceerd systeem is het masker van een werkgever?

Eigenlijk stelt het Hof dat de software niet transparant genoeg is om te doorzien op grond waarvan Frank beslissingen neemt. Een opvallende stellingname, omdat de ABRvS in een drietal uitspraken inzake verzoek tot het verstrekken van informatie oordeelde dat de overheid de werking van het gebruikte algoritme moest vrijgeven. (zie Marlies van Eck)

In een vierde casus rondom SyRI besliste de rechtbank na kennisname van het algoritme tot een gebruiksverbod. Het is maar de vraag of Frank zo geavanceerd is. Wie de state of the art track & trace systemen van internationale koeriersbedrijven nader beschouwt, ziet veel overeenkomsten met Frank. Ook daar stellen sommige bedrijven dat de bezorgers geen werknemer zijn en dat de gebruikte software bedrijfsgeheimen of concurrentiegevoelige informatie bevat. Dat klinkt als 'alleen bedoeld voor intern beraad' na een Wob-verzoek.

‘Ikke nie wete’ mag niet gelden bij algoritmes

Een algoritme is niet goed of slecht. Het gaat erom hoe ze gebruikt en bewaakt worden. “Inzicht in onze eigen tekortkomingen en zwaktes - en ook die van de computer - is de sleutel tot het vermogen de macht in handen te houden” stelt Hannah Fry in haar boek Algoritmes aan de macht. Juist daarin schiet het gemiddelde management tekort.

Een machine gebruiken om menselijke prestatie te verbeteren of vervangen zal leiden tot vermindering van het menselijke vermogen tot presteren. Om het management wakker te schudden bij ongeremd gebruik van kunstmatige intelligentie is een stok achter de deur nodig. Dit vonnis van de Hoge Raad kan worden gebruikt als opstap naar het begrenzen van de macht van algoritmes. Immers, vanuit goed werkgeverschap selecteert en, zo nodig keurt de werkgever zijn personeel op de geschiktheid voor de uitvoerende taak, en houdt daarna de vinger aan de pols. Zo ook dient de werkgever het te gebruiken algoritme op geschiktheid te toetsen, te (laten) keuren en voortdurend te controleren.

Wanneer naar analogie van het motorrijdersarrest Stichtse Vecht (deels gecorrigeerd) het management hoofdelijk aansprakelijk wordt gesteld voor de gevolgen van het gebruik van algoritmes en bij ongelukken strafrechtelijk kan worden vervolgd, zal het aantal incidenten met op hol geslagen algoritmes drastisch dalen.

Conclusie

 De combinatie van nieuwe technologie, de toename van flexibel werk en de intensivering van werk kunnen grote gevolgen hebben voor de kwaliteit van werk. In het rapport Het betere werk formuleert de WRR drie condities voor goed werk, die passen bij de wensen vanuit de Nederlandse samenleving en de aard van de economie: grip op geld, oftewel een gepast loon met zekerheden; grip op het werk, dat wel zeggen autonomie en verbondenheid op het werk; en grip op het leven, met een goede balans tussen werk en privé.

Het lijkt me onwaarschijnlijk dat Frank van Deliveroo daarmee rekening kan of zal houden. Er zal altijd iemand met gezag 'aan de knoppen draaien' van het algoritme, en daardoor is het even onwaarschijnlijk dat het algoritme gezag heeft (zie Jan Dietz).

Sterker uitgedrukt: een machine kan niet zijn eigen baas zijn, dus er zal altijd een menselijke baas gezag hebben over een machine. Die mens én het Hof mogen zich niet (kunnen) verschuilen achter een rookgordijn van "geavanceerde" algoritmische softwarecode met een antropomorfische verschijning.

*) Jacob van Kokswijk was hoogleraar virtualisatie aan de Medische faculteit van de KU Leuven en ook verbonden aan de Universiteit Twente, de Yonsei University in Seoul, en het Korea Advanced Institute of Science and Technology in Daegeon. Hij was consultant bij Capgemini, stichtte telefoonbedrijf Edutel (nu KPN), was projectleider ICT bij Fontys Hogescholen en radiozendamateur.

**) Een versie van dit artikel verscheen in 2021 eerst in het Tijdschrift voor Internetrecht

Gepubliceerd

28 mrt 2023
Netkwesties
Netkwesties is een webuitgave over internet, ict, media en samenleving met achtergrondartikelen, beschouwingen, columns en commentaren van een panel van deskundigen.
Colofon Nieuwsbrief RSS Feed Twitter

Nieuwsbrief ontvangen?

De Netkwesties nieuwsbrief bevat boeiende achtergrondartikelen, beschouwingen, columns en commentaren van een panel van deskundigen o.g.v. internet, ict, media en samenleving.

De nieuwsbrief is gratis. We gaan zorgvuldig met je gegevens om, we sturen nooit spam.

Abonneren Preview bekijken?

Netkwesties © 1999/2024. Alle rechten voorbehouden. Privacyverklaring

1
0