Bruker åpen AI fra Kina: – Jeg har en drøm om å være selvforsynt

Nylig gikk kinesiske Moonshot ut og la språkmodellen Kimi K3 ut som «åpen kildekode». Det innebærer at hvem som helst kan bruke modellen, uten å betale Moonshot for bruken.

Det betyr også at man ikke trenger å betale store summer til amerikanske sky-tjenester.

Flere internasjonale kilder og analyser viser til at modellen leverer resultater på nivå med, og på enkelte kode- og agentoppgaver, til og med bedre enn Anthropics nyeste toppmodeller. Kimi K3 er en såpass stor modell, at det dessverre ikke er så enkelt at hvem som helst kan ta den i bruk lokalt, men trenden med at flere og flere AI-verktøy legges ut som «open source», får flere til å juble.

Blant dem er den norske gründeren Lars Hvinden i Decidian og Brightboard.

– Det har aldri vært et bedre tidspunkt å være gründer på. Det er sterk medvind hva gjelder open source, og det blir spennende å se hva de store gjør fremover. Nå vil mange høre om Kimi K3 og sikkert sjekke ut mulighetene den gir, så det er god markedsføring for Moonshot dette her, sier Hvinden til Shifter.

Selv har Hvinden utviklet en AI-agent for styremedlemmer som sitter i flere styrer. Den kjører via en lokal open source-modell på kundenes maskiner, slik at sensitiv informasjon kan holdes lokalt og ikke trenger å sende til eksterne AI-leverandører.

Kjøpte utstyr på Finn

Hvinden trener også open source-modeller lokalt for å kunne kjøre AI-modellene selv, og ikke være avhengig av leverandører. Det var bakgrunnen for at han nylig gikk til innkjøp av en Mac Studio på Finn.no.

– Jeg kjøpte en maskin med 64 GB minne, så jeg kan ikke kjøre Kimi K3 akkurat. Selv en kvantisert versjon av modellen tar rundt 1,6 TB lagringsplass, og skal du kjøre den med samme hastighet som AI-leverandørene, snakker vi hardware for kanskje flere millioner kroner, forteller han.

– Men det som er spennende, er at det hele tiden legges ut nye open source-modeller i markedet, og mange av disse modellene er så kalte «mixture experts», og ved hjelp av prosjekter som Colibri kan man kalle enkeltdeler i modellen, uten å måtte holde på hele minnet. Sånn sett kan man kjøre noen av disse modellene lokalt, og det finnes også modeller som for eksempel Gemma fra Google som er mindre avanserte enn de store, som kan kjøres uten dyr hardware, sier Hvinden.

Puster amerikanerne i nakken

Han har holdt på i flere måneder med open source i sine løsninger, selv om han forklarer at det opprinnelig ikke var planen.

Etter tusenvis av timer med eksperimentering, kan han si at det ikke er én løsning til alle problemer. Og han ser at de kineskiske labene for alvor puster de amerikanske i nakken nå.

– Enkelte store selskaper bruker millioner av kroner i tokens, og med mulighetene open source gir nå, tror jeg flere vil vurdere pengebruken. Med Kimi K3 kan man finjustere modellen og tilpasse den sin bedrift. Hvis du setter den opp riktig, gir det 100 prosent garanti for at ingen proprietære data blir delt med eksterne parter. Mange er jo bekymret for å dele sin «edge» med Anthropic eller OpenAI.

– Betyr dette at alle burde kjøpe sin egen hardware og starte å kjøre sine egne språkmodeller lokalt?

– Jeg har en drøm om å kunne være selvforsynt. Det var derfor jeg kjøpte Macen. Jeg fikk råd om at det hadde holdt med den minste Mac Mini-en, men jeg ønsket å eksperimentere og hoste tyngre modeller selv. Ser jeg på produktet jeg sitter igjen med, så er jeg glad for at jeg gjorde det. Men man trenger ikke gå helt over styr.

Bryllupsreise

I sommer skulle Hvinden og kona på bryllupsreise. Da passet det dårlig at Anthropic slapp sin Fable-modell, den versjonen av Mythos som ble sluppet til vanlige folk.

– De åpnet den, og så skulle de trekke den tilbake. Da måtte jeg jo kaste meg rundt for å teste. Jeg satt som en gærning for å presse ut all den computen jeg kunne. Jeg hadde ting jeg sto litt fast på, og da måtte jeg teste det beste for å se om det kunne løse problemene, ler Hvinden.

Han forteller at kona fersket han midt i kodingen på reisen, men sier også at hun tross alt er vant til gründer-livet, der man aldri helt klarer å skru av.

Ble irritert over amerikansk suverenitets-stans

Men situasjonen rundt Fable gjorde også at Hvinden fikk øynene opp for hva som skjedde på AI-markedet. Amerikanske myndigheter skulle plutselig bestemme hvem som fikk bruke de beste modellene, og hvilke geografiske områder som fikk tilgang. Enda et poeng til open source.

– Jeg ble jo litt irritert da de slapp Fable og så trakk den tilbake. Man er ikke garantert bruk som europeisk eller norsk. Modellen var fantastisk god, men så var den borte et par dager senere, og da innså jeg at gamet var litt annerledes enn jeg hadde trodd. Da kommer den suverenitetsdiskusjonen på bordet også.

– Hvis man skal konkurrere på et globalt marked, så sitter man plutselig med forrige AI-modell, og det er kjedelig. De kan også endre på hvordan modellen fungerer. Hvis jeg skulle bruke Fable til defensiv sikkerhet, altså ikke hacke andre produkter, men finne ut av hvordan jeg kan gjøre mitt produkt tryggere, så får man ikke gjort det. Og der er open source unikt da. Man er ikke bundet av de samme mekanikkene. Man står litt friere, sier Hvinden.

Ser positivt på konkurranse

I sitt daglige arbeid har Hvinden selv brukt flere AI-modeller. Han tror mange kanskje ikke er helt bevisste på hvor mange verktøy som faktisk ligger ute som open source allerede.

– Det er veldig mye interessante teknologier som alle kan bruke, som mange kanskje ikke er klar over. Jeg tror jo vi som driver startups ofte ligger litt foran, for vi er villige til å prøve litt mer. Når man da legger inn i regnestykket at Anthropic har 80 prosent margin på API-kost og at AI i noen tilfeller har blitt dyrere enn å ansette folk, så er det nok flere som begynner å spørre seg selv noen spørsmål. Spesielt europeiske selskap som vurderer suverenitetsspørsmålet, sier han.

Og Hvinden ser derfor veldig positivt på fremtiden for alle gründere og AI-byggere.

– Det finnes flere leverandører som kan «hoste» de beste open source AI-modellene også i Europa, så det er bra de store amerikanske selskapene blir utfordret. Hadde det ikke vært for open source, så er jeg veldig spent på hva Sam Altman hadde gjort med prisingen sin, for å si det sånn, sier han.

Kommende priskrig?

Og fremtiden er kanskje her allerede. OpenAI og Anthropic har begynt å kutte prisene på de mindre modellene, i tillegg til å bygge Claude code og Codex og ha flere produkter enn bare selve språkmodellen i sine porteføljer.

Kimi K3 og andre store modeller som legges ut som open source kan være et stort steg i retning av egen AI-kontroll for store selskap og myndigheter verden over. Foreløpig er det de med midler til å investere seriøse beløp i hardware som virkelig ser muligheter, men med dagens utvikling er det kanskje bare spørsmål om når selv de mindre dataene klarer å kjøre lokal AI.