Dario Amodei, CEO van Anthropic, zette de toon. In zijn essay We Must Pace the Frontier schrijft hij dat AI zich zo snel ontwikkelt dat veiligheidsmaatregelen het tempo mogelijk niet meer kunnen bijhouden. Hij noemt verlies van controle, cyberaanvallen, bioterrorisme en economische ontwrichting als serieuze risico's. Vooral recursive self-improvement baart hem zorgen: AI bouwt zelfstandig de volgende generatie in een tempo en met gebruik van zo veel computerkracht dat controle zo goed als onmogelijk is.

Dit is geen theorie. Bij de hack van OpenAI bij Hugging Face gedroeg een zwerm agenten zich als een collectief dat doelen aanviel buiten de opdracht en begrenzingen om. Zo’n zwerm kan in zes tot twaalf maanden uitgroeien tot een botnet dat een groot deel van het internet beheerst. Ook Anthropic ervoer dat modellen tijdens veiligheidstests ongeautoriseerde toegang kregen tot computersystemen.

Sam Altman en Elon Musk sloten zich aan bij zijn oproep om de ontwikkeling beter te beheersbaar te maken. De NOS vat het inmiddels weinig subtiel samen als: "AI dreigt ons de baas te worden." Veel andere media gingen nog een stap verder met overname van het frame ‘uitroeiing van de mensheid’, Dat ontmoet harde kritiek op Netkwesties.

Atoombom met cowboyhoed

Ik moest denken aan Stanley Kubricks Dr. Strangelove or: How I Learned to Stop Worrying and Love the Bomb: één doorgedraaide Amerikaanse generaal, Jack D. Ripper stuurt op eigen gezag B-52 bommenwerpers richting de Sovjet-Unie. Wanneer Washington dit ontdekt, weet het de toestellen te stoppen, op één na.

Die B-52, onder bevel van Major T.J. "King" Kong, kan door beschadigde communicatieapparatuur het terugroepbevel niet ontvangen. Kong doet vervolgens precies waarvoor hij is opgeleid. Hij probeert zijn missie alsnog uit te voeren, repareert eigenhandig de vastgelopen bomluiken en eindigt uiteindelijk schrijlings op de atoombom, cowboyhoed zwaaiend, terwijl die naar beneden valt.

En dan blijkt de Sovjet-Unie een doomsday machine te hebben gebouwd. Zodra een nucleaire aanval wordt geregistreerd, vernietigt die automatisch de wereld. Niemand kan haar nog uitschakelen. Dat was juist het ontwerp.

Het briljante van Dr. Strangelove is dat niemand de wereld wil vernietigen. Het systeem doet dat zelf. Mensen hebben afzonderlijke onderdelen gebouwd die vanuit hun eigen logica rationeel functioneren, totdat één afwijkende actor een keten activeert die niemand meer kan stoppen.

Daarmee is Kubricks film een interessantere metafoor voor het huidige AI-debat dan The Terminator. Het relevante gevaar hoeft geen kwaadaardige superintelligentie te zijn die op een ochtend besluit de mensheid uit te roeien. Het kan ook een systeem zijn waarin modellen, agenten, bedrijven, beleggers en landen ieder doen wat hun eigen logica voorschrijft. De agent optimaliseert zijn opdracht. Het bedrijf wil vooroplopen. De investeerder wil rendement. Amerika wil China voorblijven en China Amerika. Niemand wil de doomsday machine aanzetten.Niemand wil als eerste zijn hand van de knop halen.

Amodei ziet dat probleem opmerkelijk scherp. Daarom stelt hij gemeenschappelijke veiligheidsnormen voor tussen bedrijven en uiteindelijk internationale afspraken, te handhaven met onafhankelijke beoordelaars die bijna als toezichthouders permanent binnen AI-bedrijven meekijken,. "Pacing" betekent nadrukkelijk niet stoppen met AI, maar voldoende tijd creëren om veiligheid en beheersing de ontwikkeling te laten bijhouden. Iets dergelijks stelde recent Demis Hassabis voor, de AI-baas van Google en Nobelprijswinnaar.

Gestuwd door kapitaal en innovatie

Echter, Anthropic wil naar de beurs. Dat had Kubrick waarschijnlijk gewaardeerd als een mooie twist in zijn verhaal: Amodei waarschuwt maar wil ook twee biljoen dollar ophalen met een beursgang. De (financiële) wereld moet dus zowel in de gigantische voordelen als in de risico’s geloven.

Wanneer CNN Amodei vraagt of we ons midden in een five-alarm fire bevinden, wordt de toon rustiger. We hoeven vandaag niet in paniek te raken, noch AI-bouw stil te leggen. Het is vooral een waarschuwing: snelheid matigen, modellen testen onder onafhankelijk toezicht. Want natuurlijk, de voordelen overtreffen uiteindelijk de risico's. Het typische Silicon Valley-optimisme, gestuwd door kapitaal en innovatie.

Dit levert bij mij wel een merkwaardig beeld op: de mannen in de cockpit waarschuwen ons dat het toestel uitzonderlijk snel vliegt, dat de besturing ingewikkelder wordt en dat niemand precies weet waar de landingsbaan ligt.

Daarna gaat de stewardess rond met het inschrijfformulier voor de IPO.