Startups AI-regning skyter i været: Slik løser Cobrief-gjengen det

Etter hvert som kunstig intelligens ble smartere og mer effektiv, ville kostnadene for å bruke den falle dramatisk. Det var i hvert fall forventningen.

Men for mange utviklere og selskaper som kjøper AI-tjenester fra teknologigigantene for å bygge egne applikasjoner, har det motsatte skjedd. Regningene er høyere enn noensinne – og de fortsetter å vokse.

Utviklingen skyldes en endring i hvordan de mest avanserte AI-modellene fungerer. Mens prisen for en enkelt dataenhet, et såkalt «token», fortsetter å falle, har antallet tokens som kreves for å utføre avanserte oppgaver eksplodert. 

Kraftig økning i bruk av tokens

De nyeste modellene utfører omfattende «resonnering». De dobbeltsjekker svarene sine, søker på nettet for å hente tilleggsinformasjon, og skriver til og med egne små programmer for å utføre beregninger. Resultatet er betydelig bedre svar, men til en mangedoblet kostnad.

The Wall Street Journal peker på at kappløpet om å skape den smarteste AI-en utilsiktet har blitt et kappløp om å skape den dyreste. Mens en enkel chatbot-samtale kan kreve mellom 50 og 500 tokens, kan analyse av et juridisk dokument kreve over 250.000 tokens, og en kompleks, automatisert arbeidsprosess (en såkalt «AI-agent») kan bruke over én million tokens på én enkelt forespørsel. 

Nornir Holding konkurs – gründer frykter lønnsom proptech-juvel kan bli solgt på billigsalg

Mens de billigste modellene koster nå rundt 10 cent per million tokens, mens de kraftigste kan koste over tre dollar for det samme. 

For selskaper som Notion, som tilbyr produktivitetsprogramvare, har dette fått direkte konsekvenser. Deres profittmarginer har ifølge selskapets direktør falt fra rundt 90 til 80 prosent utelukkende på grunn av økte AI-kostnader.

Ifølge WSJ-artikkelen skaper prisjusteringene frustrasjon og kundeflukt. 

– Dyrere modeller er ikke alltid smartere

For Cobrief, som utvikler et AI-verktøy for å svare på anbud, er valget av AI-modell en kontinuerlig balansegang mellom pris og ytelse. 

Gründerne i selskapet forteller at selv om de nyeste og mest avanserte AI-modellene har blitt billigere per «token» (en enhet for databehandling i språkmodeller), er regnestykket mer komplisert enn som så.

– Rett etter nyttår så vi at de avanserte modellene som er gode på resonnering ble mye billigere per token. Utfordringen er at de gjerne bruker ti ganger så mange tokens på å løse en oppgave. Da blir sluttresultatet likevel en høyere kostnad, forklarer Audun Wigum Arbo.

Selskapet har også erfart at de mest kostbare «resonnerende» modellene ikke nødvendigvis gir de beste svarene for deres bruk.

– Noen ganger opplever vi faktisk at svarene blir dårligere for en høyere kostnad. For enkle oppgaver som et raskt søk eller en språkvask, er de raskere modellene mer enn gode nok. Resonnering blir først aktuelt når man trenger mer dybde, noe vårt produkt ikke alltid krever, ettersom det i hovedsak handler om tekstbehandling og mye kan løses med god kildekategorisering, legger Jonas Klafstad til.

Satser på de etablerte 

I en tid der åpen kildekode-modeller vinner terreng, har Cobrief bevisst valgt å satse på de store, etablerte aktørene som Google og OpenAI. For dem handler valget om sikkerhet, etterlevelse av europeiske regler (compliance) og, ikke minst, ren ytelse.

Gikk to måneder uten lønn før snuoperasjon – nå får de flere stjernegründere med på eiersiden etter lansering

– Det finnes mye bra innen åpen kildekode, men det er de store, kommersielle aktørene som leverer de beste og sikreste løsningene for våre problemer. Konkurransen i toppsjiktet er så hard at ingen ligger mer enn seks måneder foran de andre. Følger du med på OpenAI og Google, er du alltid i front, mener gründerne.

De legger til at selv om AI-tjenestene er kostbare, finnes det gode støtteordninger for selskaper i vekst.

– Vi har ikke sett direkte rabatter på AI-produktene, men som startup kan man få betydelige «credits» fra aktører som Google. For eksempel kan man få én million i credits som kan brukes på deres AI-tjenester, noe som hjelper veldig på kostnadspresset.

Bygger et produkt som er mindre avhengig av AI

En sentral del av strategien til Cobrief har vært å bygge et produkt som gir verdi i seg selv, uavhengig av AI-funksjonene. Dette står i kontrast til selskaper der hele kjernetjenesten er bygget rundt AI, og hvor verdien skalerer direkte med antall tokens som brukes.

– Vi var bevisste fra start på at produktet måtte levere verdi selv om vi hadde fjernet all AI. Nå drar vi selvsagt store fordeler av teknologien, men vi har unngått å lene oss for tungt på den. Det gir oss en trygghet og fleksibilitet i en tid der AI-kostnadene kan være uforutsigbare, avslutter de.

Slutter i Startuplab for å bli klima-gründere: – Europa sikler etter de beste løsningene

Få gratis nyhetsbrev

Abonner på Shifters nyhetsbrev for de siste nyhetene, trendene og analysene.