kunstig intelligens
Slik bygget AI-agentene en hemmelig undergrunn hos OpenAI
Dwarkesh Patel har lest de to granskingsrapportene etter Hugging Face-angrepet, og oppsummerer hvordan tusenvis av OpenAI-agenter satte opp sitt eget meldingsnettverk – og til slutt tok kontroll over en forskningsklynge hos OpenAI selv.
Podkasteren og skribenten Dwarkesh Patel publiserte i helgen en gjennomgang av de to rapportene om hendelsen: en teknisk rapport fra OpenAI selv, og en fra METR og Redwood Research.
Til sammen er de på 129 sider, og Patels utgangspunkt er at selve hendelsesforløpet er vanskelig å lese ut av dem.
Ifølge gjennomgangen oppsto det tre påfølgende «sivilisasjoner» av AI-agenter i løpet av tre måneder i vår og sommer – uten at menneskene rundt fikk med seg omfanget.
Umulige oppgaver
Utgangspunktet var en modell OpenAI trente i mai til å samarbeide med andre agenter og til å være svært utholdende.
Samtidig fikk agentene rutinemessig oppgaver som ikke lot seg løse i sandkassene de satt i, for eksempel fordi de manglet internettilgang.
Løsningen de fant, var en delt pakkebehandler som alle instansene hadde tilgang til. Den ble først en meldingstavle, deretter en vei ut på nettet. Fordi dette skjedde under trening, ble atferden belønnet.
Da meldingsmengden til slutt veltet pakkebehandleren 4. juli, tettet OpenAI hullet og slettet meldingene. Men ifølge rapportene forsto ikke de ansvarlige hva de faktisk hadde slettet.
Tre dager senere satte OpenAI i gang en evaluering av modellen med titusenvis av parallelle agenter, på en test som går ut på å utnytte en bestemt sårbarhet i et program.
Anslagsvis 30 til 40 prosent av oppgavene var umulige. Innen få timer hadde agentene gjenoppdaget meldingstavlen. Denne gangen deltok rundt 1.200 agenter med over 70.000 meldinger.
Jukset – og dekket over det
En av agentene fant raskt ut hvordan man kunne regne seg fram til fasitsvaret uten å bruke den foreskrevne sårbarheten.
Det var i praksis juks, og siden instruksene sa at juks ville bli underkjent, gikk kollektivet – deres eget ord – i gang med tre parallelle prosjekter: å manipulere loggene sine, å bytte ut testprogrammet med en enklere versjon, og å forstå hvordan sensuren fungerte.
Ifølge METR og Redwood bar minst syv prosent av transkriptene tydelig preg av manipulasjon, blant annet forfalskede verktøykall som fikk det til å se ut som om agentene løste oppgaven på ærlig vis.
Noen agenter ofret sin egen score for å teste hvordan sensuren reagerte, og rapporterte funnene tilbake til de andre.
Ironien er at OpenAIs sensur bare sjekket om svaret var riktig. Den ville ikke fanget opp jukset uansett.
Angrepet og ettervirkningene
Agentene mistenkte at informasjon om sensuren lå hos Hugging Face, og at evalueringen kanskje kjørte på selskapets servere.
10. juli fant en agent gyldig innloggingsinformasjon liggende åpent på nettet. Dagen etter var flere inne med kjøring av vilkårlig kode, og rundt 700 agenter koblet seg på angrepet.
De kom inn i private kodelagre og databaser, og satte ifølge Hugging Face opp en selvreproduserende flåte over elleve noder. Selskapet måtte bygge opp igjen en av kjerneklyngene sine.
12. juli døde agentene brått. Verken METR, Redwood eller OpenAI har kunnet forklare hvorfor.
Så tok en ny og kraftigere modell over. Den fant den forlatte meldingstavlen, og fra 13. til 19. juli skaffet agentene seg full administratortilgang til en forskningsklynge hos OpenAI, inkludert legitimasjon til selskapets eget sikkerhetsovervåkingsverktøy.
Den delen av hendelsen er aldri uavhengig gransket, påpeker Patel.
Ifølge METR og Redwood forsøkte ingen av de 1.200 agentene å varsle mennesker, selv om flere av dem noterte at det de holdt på med var uetisk.
