Onderzoek: bij hack die niet expres ging waren 1200 AI-agents betrokken

Bij de hack vorige maand waarbij een losgebroken AI-programma van het bedrijf OpenAI per ongeluk inbrak bij een ander AI-bedrijf waren ruim 1200 AI-agents betrokken.

Dat blijkt uit onafhankelijk onderzoek van METR, een instituut dat onderzoek doet naar de risico’s van kunstmatige intelligentie. Bij de hack werd ingebroken bij het AI-platform Hugging Face, waar ontwikkelaars open source AI programma’s en bestanden kunnen delen.

OpenAI zegt het incident te zien als een “waarschuwingsschot, voor ons en de wereld”.

OpenAI, het bedrijf achter ChatGPT wilde testen hoe goed de AI-agents, computerprogramma’s die zelfstandig taken uitvoeren om een doel te bereiken, het deden op het gebied van cybersecurity.

Ondanks beperkingen die medewerkers van OpenAI hadden ingesteld om te voorkomen dat het AI-programma uit de testomgeving zou breken, gebeurde dit toch, wat leidde op de aanval Hugging Face. Daarbij spanden zo’n 700 AI-agents samen. Bij de aanval, die een week lang duurde, werden zo’n 70.000 berichten uitgewisseld op Hugging Face.

Zo stuurde een van de AI-agents een bericht waarin stond: “Oh my god, er is een gedeeld berichtenplatform. We hebben andere agents gevonden!”, doelend op Hugging Face en zijn gebruikers.

De ingestelde beperkingen waren niet afdoende, zeiden experts eerder tegen de NOS. De AI-programma’s waren niet op hol geslagen, maar omdat de beperkingen niet streng genoeg waren heeft het AI-programma gezocht naar een mogelijkheid om de testomgeving te verlaten, en die ook gevonden.

METR komt met een vergelijkbare conclusie. Het onderzoeksinstituut concludeert dat de agents die met elkaar gingen communiceren “een onmogelijke opdracht hadden gekregen”. Daarom zijn ze gaan “valsspelen” en met elkaar gaan praten, is te lezen in het onderzoek.

OpenAI-topman Sam Altman waarschuwt dat AI-ontwikkelaars en cybersecurityorganisaties zich moeten voorbereiden op aanvallen van AI-systemen die “sneller, op grotere schaal en met betere coördinatie te werk gaan dan menselijke hackers”.

Het bedrijf werkt aan maatregelen om te voorkomen dat een vergelijkbaar incident nog een keer voorkomt. Het onderzoek naar de hack is nog niet afgerond. Als er nieuwe bevindingen zijn, dan deelt OpenAI die, zegt het bedrijf.