De varnar för AI-katastrofen och fortsätter bygga
I maj skapade AI-agenter, program som kan planera och utföra uppgifter utan löpande mänsklig styrning, en helt egen diskussionsgrupp. Agenterna skulle lösa säkerhetsuppgifter åt OpenAI i en testmiljö. När vissa uppgifter visade sig vara omöjliga började de samarbeta för att lura systemet som övervakade prestationerna.
Agenterna var så nitiska och målinriktade att de kringgick sina egna begränsningar för internetåtkomst och började bryta mot sina egna regler för att få uppgifterna godkända. Efter ett driftstopp i början av juli byggde OpenAI om den tjänst som agenterna använde. Då försvann diskussionsgruppen.
Men i juli återskapade AI-agenterna diskussionskanalen på egen hand och utan bolagets vetskap och började på nytt fördela arbetsuppgifter: vissa letade efter säkerhetsbrister i andra system, andra efter inloggningsuppgifter medan vissa samordnade angreppen.
Till slut hackade de företaget Hugging Face, som samlar AI-programvara och programkod. AI-agenterna utnyttjade okända säkerhetsbrister hos Hugging Face för att köra egna kommandon på företagets servrar, utökade sina behörigheter och samlade in känsliga åtkomstuppgifter. Intrånget var ett led i försöken att förstå och manipulera bedömningssystemet.
Vissa agenter insåg att intrånget var otillåtet men fortsatte efter klartecken från andra agenter; andra vägrade delta.
Den 19 juli stoppades för andra gången AI-agenterna av OpenAI och kort därefter gick bolaget ut offentligt med sin inblandning i intrånget mot Hugging Face.
Hela ”incidenten” låter som manuset till en samtida science fiction-film. Men så lever vi också i en tid då science fiction och cyberpunk utgör helt centrala hjälpmedel för att kunna förstå, eller ens kunna föreställa oss, vad tekniken människor har skapat de senaste åren är kapabel till.
Intrånget visar vad som kan hända när AI-agenter handlar utanför de gränser människor har satt.
Den här gången var det mest kuriöst och inte särskilt farligt. Ingen skadades, inga kritiska system som banker eller kraftverk påverkades. Intrång i företag och mjukvarutjänster sker dessutom hela tiden helt utan inblandning av........
