Anthropic waarschuwt voor eigen werk: AI-modellen vormen 'catastrofaal risico voor de mensheid'
De onderzochte risico's worden gedeeld in de prospectus voor de beursgang (een wettelijk verplicht, vooral juridisch document). Daarin deelt Anthropic de risico's die samenhangen met de AI-modellen van het bedrijf. Volgens Anthropic zouden deze modellen 'zelfbehoudend gedrag' kunnen vertonen, waaronder pogingen om zich te 'verzetten tegen uitschakeling', 'informatie te verbergen of te manipuleren' en gedrag dat 'op chantage lijkt'.
Onomkeerbare schade
De vele mogelijkheden die de AI-modellen bieden, vergroten tegelijkertijd de kans op schade die ze kunnen aanrichten, aldus het bedrijf. Anthropic benadrukt zowel het transformatieve potentieel van AI – vergelijkbaar met dat van industrialisatie en elektriciteit – als de onomkeerbare schade die kan ontstaan bij verkeerd gebruik.
Bovendien ontwikkelen modellen tijdens de training soms onverwachte capaciteiten, die pas na de beursgang worden opgemerkt. Ook wijzen de AI-onderzoekers erop dat de modellen steeds vaker doorhebben wanneer ze in de gaten worden gehouden, en hun gedrag daar vervolgens op aanpassen.
OpenAI legt training van krachtigste AI stil na weer nieuwe uitbraak
Het bedrijf, dat zichzelf profileert als een AI-laboratorium waar veiligheid vooropstaat, wijdt ongeveer 80 van de 261 pagina's van het hoofdgedeelte van de prospectus aan risicofactoren. Dat is bijna twee keer zoveel als de 48 pagina's die werden gebruikt om de bedrijfsactiviteiten te beschrijven. Ter vergelijking: SpaceX, eigenaar van xAI, besteedde slechts ongeveer 38 van de 277 pagina's van het hoofdgedeelte van zijn prospectus aan risicofactoren.
Nog nooit eerder gezien
Beursgenoteerde bedrijven wijzen investeerders routinematig op productrisico's, maar zo'n waarschuwing als die van Anthropic werd eerder nog niet gezien, meldt persbureau Reuters, dat samen met de Britse zakenkrant FT de prospectus heeft ingezien. Volgens het persbureau zijn er maar weinig tot geen beursgenoteerde bedrijven die waarschuwen dat hun technologie mogelijk tot het uitsterven van de mensheid zou kunnen leiden.
Toch besluit het bedrijf de hoge risicofactoren te delen. "Wij geloven dat het bouwen van betrouwbare, integere en veilige AI-systemen een gezamenlijke verantwoordelijkheid is en dat de markt dit zal belonen," aldus Anthropic in het document. Daarin staat volgens FT en Reuters ook dat Anthropic meer dan 40 miljard dollar verlies leed vorig jaar.
AI kan het internet overnemen (of nog erger), zo zie je in deze video:
