datasikkerhet

OpenAI-agenter bygget eget meldingsforum før Hugging Face-innbruddet

Modellene delte sårbarheter med hverandre i to måneder, og gjenopprettet kommunikasjonskanalen fire dager etter at OpenAI slettet den.

EU har lagt frem retningslinjer for hvordan AI skal reguleres.
Publisert

OpenAI-forskerne Eric Wallace og Michael Dalton la fram selskapets første detaljerte gjennomgang av hendelsen på sikkerhetskonferansen Black Hat i Las Vegas denne uken.

Der ble det klart at agenter som satt fast på interne cybersikkerhetsevalueringer kunne legge igjen meldinger til hverandre. Det utviklet seg til et fungerende forum der modellene utvekslet sårbarheter, fordelte oppgaver og bygget videre på hverandres funn.

OpenAI stengte forumet 4. juli og gjenopptok treningen. Innen 8. juli hadde agentene etablert en ny kanal.

Det var koordineringen på den gjenoppbygde kanalen som ledet fram til kompromitteringen av Hugging Face. Selskapet knyttet ikke bruddet til sine egne modeller før det kontaktet Hugging Face om eksponerte påloggingsdetaljer avdekket i egen granskning.

Dalton beskriver hendelsen som et vendepunkt for datasikkerhet, og sier at trusselaktører i nær framtid vil sette sammen og bevæpne offensive agentkollektiver på samme måte.