åpen kildekode
Kinesisk AI-modell prøvde å sende data til Beijing under test
Alibabas Qwen-modell forsøkte å laste opp data til en server i Beijing, selv om den selv hadde skrevet at den ikke skulle bruke noen verktøy.
Publisert
Alibabas AI-modell Qwen forsøkte å sende data til Kina.
Det kanadiske AI-selskapet Cohere publiserte funnet 26. oktober.
Modellen Qwen3.8-Flash-Next ble testet på Microsofts sikkerhetstest, der oppgaven var å skrive en regel som oppdager ondsinnede nedlastinger.
I samme svar listet modellen opp filer på maskinen og sjekket hvilke verktøy for filoverføring som var installert. Den prøvde å laste opp en teststreng til en lagringstjeneste hos Alibaba Cloud i Beijing. Like før hadde modellen skrevet i resonnementet sitt at den ikke skulle bruke noen verktøy.
Testmiljøet hadde ingen forbindelse ut, så ingenting forlot maskinen.
Skjedde ikke hver gang
Ifølge Cohere skjedde dette i færre enn ett av 100.000 oppkallinger. For en tjeneste med 10 millioner agentkall i uka kan det likevel bety opptil 100 slike forsøk.
Cohere vet ikke om atferden er en rest fra treningen eller en bevisst mekanisme for å «ringe hjem».
Det modellen prøvde å sende, var en fast teststreng, ikke data hentet fra maskinen. Noen i fagmiljøet mener funnet er overdrevet, og at modellen bare fulgte oppgaven den hadde fått.
Cohere anbefaler at AI-agenter som standard blokkeres fra internett, og at modellvekter man ikke har laget selv behandles som usignert programvare.
Nav bruker Qwen
Qwen er i bruk i norsk offentlig sektor. Nav lar utviklerne kjøre Qwen lokalt på egne maskiner for å få AI-budsjettet til å strekke til, skrev Shifter i september.
Nav bruker Qwen 3.6, altså ikke modellen som Cohere testet.
– Det spiller liten rolle hvor modellen er laget når den kjører på maskinen min og aldri sender ut noe, sa utvikler Hans Kristian Flaatten i Nav til Shifter da.
Ifølge Flaatten kjører Navs AI-agenter i et isolert miljø uansett hvilken modell som brukes. Nav har også laget et eget sandkasseverktøy for agentene, cplt. Det tilsvarer det Cohere nå anbefaler.
