Kan AI de mensheid uitroeien voor paperclips? Makers denken van wel

Het paperclipprobleem is een gedachte-experiment waarin je een superkrachtig AI-model met onbegrensde mogelijkheden de opdracht geeft om zoveel mogelijk paperclips te maken. De metafoor werd al in 2003 bedacht door Nick Bostrom, hoogleraar filosofie aan de universiteit van Oxford.

De kern van het paperclipprobleem: een AI-systeem kan niet nadenken zoals een mens, en heeft geen moreel kompas. Die neemt zo'n opdracht extreem letterlijk, en zal er álles aan doen om meer paperclips te maken.

Een autofabriek hacken om het staal te kunnen gebruiken voor paperclips. Een energiecentrale overnemen, om alle energie in paperclipmachines te kunnen stoppen. Een oorlog ontketenen om maar meer grondstoffen in handen te krijgen. Of de mensheid uitroeien, zodat niemand de stekker eruit kan trekken. Zo zou de super-AI langzaam maar zeker de hele planeet overnemen om maar meer paperclips te kunnen maken.

Het is geen realistisch scenario, want zulke krachtige AI-systemen bestaan nog niet. De huidige AI-modellen zijn behoorlijk slim, maar nog lang niet in staat om volledig zelfstandig te opereren. 

Met de metafoor wil Bostrom vooral laten zien hoe lastig het is om ethische grenzen aan kunstmatige intelligentie te stellen. Een computersysteem kan namelijk niet begrijpen wat wel en niet 'de bedoeling' is. Dat blijkt ook uit de recente veiligheidsincidenten bij AI-bedrijven als OpenAI en Anthropic.

Bij die incidenten werden AI-modellen getest, om erachter te komen hoe goed ze zouden kunnen hacken. Dat testen gebeurt aan de hand van een soort puzzels, in een afgeschermde testomgeving. Maar sommige van die puzzels leverden geen juiste antwoorden. In plaats van het op te geven, gingen de AI-modellen steeds verder op zoek naar een oplossing, tot het hacken van andere bedrijven aan toe.

De schade van die incidenten is tot nu toe beperkt gebleven, en ze hebben weinig gevolgen gehad in de 'echte' wereld. Maar het paperclipprobleem ligt op de loer: wat als een model besluit dat de beste manier om tot een antwoord te komen, is om een computervirus te verspreiden, of een échte energiecentrale plat te leggen?

Bij de incidenten van de afgelopen maanden bleken de modellen uit de beveiligde testomgeving te kunnen breken. Ze werden niet goed genoeg afgeschermd en nauwelijks in de gaten gehouden, waardoor het soms weken duurde voor de makers een incident ontdekten. Daarom zijn er steeds meer oproepen om AI-modellen beter te beveiligen.

Tot de VN aan toe: zo'n twintig landen, waaronder Nederland, riepen vorige week op om een onafhankelijke organisatie op te richten die nieuwe modellen controleert voor ze op de markt gebracht mogen worden.

En ook de grote AI-bedrijven roepen om regelgeving, om de ontwikkeling van nieuwe modellen te remmen. OpenAI liet gisteren weten hun nieuwste model uit te stellen vanwege zorgen over de veiligheid. Anthropic-topman Dario Amodei gaf een speech bij de vergadering van de VN, waarin hij AI beschreef als 'het belangrijkste veiligheidsprobleem waar de wereld nu mee te maken heeft'.

Financiële drijfveer

Maar critici zien ook een cynische kant aan de oproepen van de AI-bedrijven. Die hebben ook een financiële drijfveer om op te roepen tot een rem op de ontwikkeling van AI. De bedrijven investeren namelijk honderden miljarden in nieuwe modellen, om hun concurrenten maar voor te blijven. Als zij weten dat die concurrenten óók afgeremd worden, kunnen die investeringen op een lager pitje worden gezet zonder bang te hoeven zijn dat ze hun voorsprong verliezen.

Anthropic wil naar de beurs, maar waarschuwt beleggers voor zijn modellen in de uitgelekte prospectus, zo zie je in deze video.