Den norske skylagringstjenesten Jottacloud lanserer i disse dager et banebrytende AI-basert bildesøk som de hevder kan forandre måten folk søker og finner frem til bildene sine på.

Etter det selskapet kjenner til, overgår søkefunksjonen foreløpig de store globale konkurrentene som Dropbox, Google Photos og iCloud.

– Vi er, så vidt vi vet, den første skytjenesten i verden til å ta i bruk en teknologi som kombinerer språkmodeller med bildemodeller, sier Jotta-sjef Roland Rabben.

Hvordan Hawk Infinity skalerer skylagrings-suksessen Jotta med gjeld

Jotta Group har vokst 30 prosent årlig i ti år, og tapper stadig av lånerammen på 800 millioner kroner. I 2021 kjøpte de opp fire SaaS-selskaper med pengene. Handleturen har fortsatt i år.

Han forklarer at søkemulighetene for skylagrede bilder hos selskapets globale konkurrenter er basert på enkel label-matching, som begrenser søkemulighetene til enkeltord som for eksempel «hund», «båt» eller «solnedgang».

– Den kontekstuelle forståelsen er ikke veldig bra, og det mangler gjerne språkstøtte. Nå er vi de første som løser dette problemet, sier han. – Det er et kvantesprang som kunstig intelligens og maskinlæring hjelper til med.

I Jottaclouds nye AI-baserte bildesøk kan man bruke lange setninger for å beskrive hvilket bilde eller uttrykk man ønsker. Man kan kombinere objekter, følelser, komposisjon, farger, stemninger, årstider, vær, eller posisjoner i forhold til hverandre.

Shifter har testet løsningen som fungerer etter hensikten. Søk på dystopisk-stemning og hund som leker ga treffene man var ute etter (se skjermdump). Jottacloud har også gjort det mulig å gå fra et bilde til lignende bilder.

Samtidig blir det tydelig hvor begrensingene ligger. Et søk på «hund leker med alt annet enn frisbee» gir fortsatt hund med frisbee ettersom det er bildene som ligner mest å søket.

Kommersiell Direktør (CCO) i Jotta AS og sivilingeniør Ina Halvorsen Seim forklarer hvordan motoren fungerer.

– Vi oversetter alle bildene til vektorrepresentasjoner som ved hjelp av tall sier noe om hver enkelt bilde. Når du søker, enten det med er ett enkelt ord eller en lang setning, oversetter vi søket til vektorrepresentasjon også. Så måler vi avstanden mellom vektorene og gir bildene en likhetsskår som vi bruker til å rangere bildene høyt og lavt, sier hun.

Teamet har brukt mye tid på å diskutere hva som skal være et godt skår.

Akkurat nå inkluderes ikke metadata fra bildene, som dato eller geolokasjon, i det nye søket, slik at et søk på «juleferie 2018» ikke utelukkende gir treff fra akkurat det året, men dette skal være ting som ligger på tegnebrettet.

Snekret løsningen på under 20 uker

Akkurat nå går utviklingen innen språkmodeller og kunstig intelligens i rasende tempo. Med rundt 15 årsverk i fulltid fikk Jottacloud på plass løsningen på under 20 uker.

– Vi begynte på dette ved nyttår og det har gått rekordraskt å få på plass. AI kommer til å løse veldig mange problemer på kort tid fremover. Vi er i et paradigmeskifte for tjenesteutviklere, sier Rabben.

Med andre ord skulle konkurrentene med langt flere ressurser kunne ta igjen forspranget. Rabben er likevel ikke bekymret.

– Kvaliteten på søkene hos oss er nokså unik nå, og vi har jobbet mye for å få på plass støtte for veldig mange språk. Når man implementerer generativ AI basert på open source, er det mye som kan gå galt. Nå gjør vi dette for å tilby det til våre kunder, så får vi se hva konkurrentene følger opp med.

– Datatilsynet advarer mot å dele persondata med utenlandske servere. Hvordan sikrer dere personvernet?

Slik skal Dune Analytics bruke GPT4

– Alt lagres lokalt. Vi prosesserer alle data på våre egne servere og ingenting forlater vår infrastruktur som er lagret i Norge. Vi bruker dermed heller ikke OpenAIs APIer.

Når løsningen lanseres for publikum gjøres den tilgjengelig for alle brukere av både gratis og betalte løsninger på web og i app.

Jottacloud har rundt 1,7 millioner brukere totalt. Selskapet økte organisk omsetning med rundt 10 prosent i første kvartal målt mot året før.