kunstig intelligens
Anthropic-forsker sier opp og advarer om utryddelsesrisiko
En 27 år gammel forsker forlater AI-bransjen med en offentlig advarsel om at teknologien kan drepe alle innen tiåret er omme – og selskapets egen sikkerhetsleder sier han er enig.
Publisert
Jacob Coxon, som har jobbet med pretrening av modeller hos både OpenAI og Anthropic, sa opp stillingen sin tirsdag denne uken.
I en tråd på X skrev han at ingen av de to selskapene opptrer ansvarlig, og at de løper om kapp mot selvforbedrende superintelligens.
Han sa opp samtidig som Anthropic forbereder børsnotering.
– Folkene som bygger AI tror oppriktig at det kan drepe oss alle, skrev Coxon, som la til at han hører de samme lederne uttrykke frykt privat, ordlegge seg forsiktig i offentligheten.
Coxon forlot OpenAI tidligere i år for å gå til Anthropic, blant annet på grunn av selskapets profil på modellsikkerhet.
Til Wall Street Journal, som først omtalte oppsigelsen, sa han at han frykter situasjonen kan være ute av kontroll allerede ved utgangen av neste år.
Bekreftet innenfra
Noen timer senere svarte Evan Hubinger, som leder alignment-forskningen i Anthropic, på X at Coxon har rett.
Hubinger skrev at han personlig anslår sannsynligheten for at AI dreper alle mennesker til over ti prosent i løpet av det neste tiåret.
Han la til at han mener Anthropic gjør sitt beste, men at selskapet ennå ikke har en plan for å løse alignment for superintelligens, og heller ikke er tydelig på sporet mot en.
Anthropic publiserte i august en risikovurdering som klassifiserte faren for at selskapets modeller går av sporet som lav. Det var en oppjustering fra svært lav i forrige versjon.
Ulv, ulv
Selskapets ledelse har flere ganger blitt kritisert for å være alarmerende i kommunikasjonen utad. Rop om varsko skaper mye medieoppmerksomhet som har kommet selskapet til gode.
David Sacks i Podcasten All-in, som både er investorer i teknologiselskaper og har vært Donald Trumps «AI-tsar», har pekt på at strategien med å stadig rope ulv, ulv kan få myndighetene til å innføre strengere regler som typisk vil komme de største selskapene til gode og ramme startups og innovasjon.
