utvikling
Nav valgte kinesisk open source-modell: – Alle AI-labene er uetiske
For å få budsjettet til å strekke til gikk Nav over til open source-modeller. Valget falt til slutt på kinesiske Qwen, som gjør at utviklerne kan kjøre AI-modellen lokalt på egen maskin.
Publisert
Hos Nav har man holdt på med kunstig intelligens i en årrekke for å utvikle systemene. Nå har utviklerne begynt å kjøre den kinesiske open source-modellen Qwen lokalt på egne maskiner for å få budsjettet for skybaserte modeller til å rekke lenger.
– Budsjetter, spesielt i det offentlige, er sitt eget vesen. Jeg får ikke mer budsjett i 2026 uansett, og det er strengt, med gode grunner. Det er noe vi må forholde oss til, og det tvinger oss til å jobbe smartere, ikke hardere, sier utvikler i Nav, Hans Kristian Flaatten, til Shifter.
– Da hadde vi noen hos oss som så på mulighetene med open source-modeller for å bygge en egen Nav-løsning. Vi testet mange forskjellige modeller og størrelser på de oppgavene vi så for oss å kjøre. Vi så blant annet at de minste modellene hadde vanskeligere for å gjennomføre de samme oppgavene igjen og igjen. Vi endte opp med Qwen 3.6, legger Flaatten til.
Kinesisk AI
Qwen AI er en familie av avanserte store språkmodeller og multimodale AI-systemer utviklet av kinesiske Alibaba Cloud. I Nav valgte man å bruke Qwen 3.6 over versjonen 3.8 fordi den er relativt mye raskere.
– Man bytter tid med kvalitet. 3.6 er vesentlig raskere uten nevneverdige flere feil, mens 3.8 gir den beste kvaliteten av de to. Men det er små marginer på kvalitet og store marginer på tid. Det er ikke til å stikke under stol at den hardwaren de store AI-selskapene sitter på, er i en annen liga, sier Flaatten.
Han påpeker at det også er et kvalitetsgap på de mindre modellene fra de større. Noe som ikke er problematisk på all kode, men kan være det på noe.
– Jeg er litt bekymret for at det genereres mye kode med lav kvalitet generelt i verden. Vi velger ikke de største til alle oppgavene, men når det kommer opp på et visst nivå, så bruker vi de større modellene til koden. Da ser vi at vi ender opp med en kode vi kan stå inne for, sier Flaatten.
Risiko
Han forklarer at Nav har en fast arbeidsflyt for bruk av AI i utvikling. Den starter med et intervju, der AI-en stiller spørsmål mellom oppgaven. Så lager AI en plan og kritiserer den. Først deretter skriver den koden. Mellom hver fase må utvikleren bekrefte før AI-en går videre. Når koden er skrevet, går den gjennom sikkerhetsshekker og «code review».
På spørsmål om det er risiko knyttet til at en etat som Nav bruker open source-modeller til utviklingsarbeidet, påpeker Flaatten at det er risiko i all bruk av AI. Og at han stoler like lite på alle modeller og leverandører.
– Vi i Nav mener at open source gjør oss til vinnere. Så er open source-programvare noe annet enn open source-modeller. Vi vurderer det dit at det er ikke modellen i seg selv som er problemet, det er rammene rundt bruken. Alle AI-labene er uetiske, med noen nyanser selvsagt. Men det er litt sånn «no honor among thieves».
Oh-my-Nav
Derfor laget Nav «Oh-my-Nav». På fagspråket en «harness». Enkelt sagt er det et rammeverk som består av en samling instruksjoner, som styrer hva AI-modellen kan gjøre. Instruksene gjør at modellene følger Navs standard innenfor for eksempel regelverk Nav må følge, personvern eller at koden skrives på Navs måte.
– Fordelen med open source-modeller er at du kan laste dem ned og kjøre dem lokalt på din egen maskin og sjekke alt du vil. Det betyr at vi har full kontroll. Det er vi som velger om det skal komme oppdateringer eller ikke, og det er ingen utenfor som kan gjøre endringer. For skymodellene vi kjøper tilgang til, har vi avtaler om at informasjonen ikke skal deles, sier Flaatten.
– Det spiller liten rolle hvor modellen er laget når den kjører på maskinen min og aldri sender ut noe. Det ville vært en helt annen sak om vi sendte data til en kinesisk sky. Det gjør vi ikke, legger han til.
Flaatten er også rask med å påpeke at AI-agenter hos Nav skal kjøre i et isolert miljø, uansett hvilken modell som driver dem.
– Dataene som sendes til den lokale modellen forlater aldri maskinen. Oppgavene de brukes til er konkrete og koderelaterte. Samtidig jobber Oh-my-Nav isolert og kan derfor ikke gjøre andre ting på maskinen, som for eksempel å lese eller sende e-post, sier Flaatten.
I tillegg har utviklerne i Nav kun tilgang til sitt eget arbeid, og ikke til alles. Når det kommer til datadeling følger Nav strenge avtaleverk som er regulert gjennom databehandleravtaler. Skymodeller må derfor ligge innenfor EØS eller i land Nav har databehandleravtaler med.
Viser seg frem
Flaatten ser også på GitHub og open source, der Nav har rundt 3100 åpne repo-er. Det er en måte å vise frem arbeidet sitt på, som utviklere ikke har hatt tidligere.
– Mange er jo stolte av å kunne vise frem godt handverk til resten av verden. Samtidig er det mange eksempler på at selv de mest beskyttede kodene har blitt truffet hardt, så det er risiko uansett når man jobber som utvikler, sier Flaatten.
Eget sikkerhetsverktøy, lagt ut åpent
Oh-my-Nav kom etter inspirasjon fra de større AI-utviklerne ute i verden. «Harnessen» kan brukes både med GitHub Copilot og Open Code, og utviklerne i Nav velger selv klient. Alle utviklere i Nav som vil får tilgang til verktøyene, som allerede er tilpasset arbeidsoppgavene. Nav har også utviklet et eget sikkerhetsverktøy for AI-modeller, cplt, som er åpent tilgjengelig på GitHub.
– Vi vet at feil kan skje. Cplt er en isolert sandkasse hvir utviklere trygt kan kjøre agenter på maskinen. Cplt sørger for å fange opp eventuelle feil og er et av mange sikkerhetslag vi jobber med, sier Flaatten.
Nav har også samarbeidet med Sintef rundt arbeidet med AI.
– Sintef har forsket på hvordan vi bruker AI. Det var viktig for oss å tilpasse verktøy, slik at det ble enkelt å ta i bruk i arbeidsprosessen hos oss.
– Samtidig var det også viktig for oss å ikke presse AI på noen. Så vi har gitt tilgang til de som ønsker det, sier Flaatten.
I Nav er det også teamet som gjelder. Derfor er Flaatten spent på å se hvordan utviklerne vil jobbe fremover, og hvordan de skal bruke AI, uten at det går utover teamet.
