musikkteknologi
Brukte AI til å transkribere noter for hardingfele – det ga gründerne idéen til ny musikk-app de mener kan bli en «pengemaskin»
Bots For Music vil skape et bibliotek over musikknoter, både for musikk som ikke er laget ennå, eller noter som ikke finnes. Appen skal kunne brukes av profesjonelle musikere, til læring og hobby.
Publisert
Sist oppdatert
Forsker Olivier Lartillot ved Universitetet i Oslo (UiO) ble engasjert av Nasjonalmuseet for å lage et AI-program som kunne transkribere gamle arkivopptak av hardingfele. Litt ut i prosessen kom Lars Monstad inn som forskningsassistent, og da de to fikk til transkriberingen av musikken, skjønte de at her var det større muligheter.
– Vi så at vi ble såpass gode på dette her, så hvorfor skulle vi ikke lage en app som kunne tjene penger? Hvor vanskelig kunne det være? Jo, det viste seg å være litt vanskelig da, sier Monstad til Shifter.
De to startet selskapet Bots For Music, som de nå har jobbet med i 13 måneder.
Appen de har laget transkriberer lyd til noter, men kan også visualisere notene for å gjøre det mulig å spille musikken uten å lese tradisjonelle noter, litt inspirert av for eksempel Guitar Hero.
Med seg har de to også fått Karstein Grønnesby, som er driftsdirketør i selskapet, mens Monstad er administrerende direktør og Lartillot er forskningsdirketør. Til daglig har de tre fulltidsjobber, og jobber med Bots for music på fritiden.
Shifter møter de tre på biblioteket ved UiO. Noe som føles naturlig, med tanke på at de tre er i ferd med å skape et slags musikals bibliotek.
Oppstarten har foreløpig fått funding fra UiOs egne growth-avdeling, i tillegg til at selskapet har fått innpass hos Innovasjon Norge, som har hjulpet veldig, både økonomisk og strategisk, ifølge Monstad.
Skal tjene penger
Lartillot startet med prosjektet for Nasjonalmuseet allerede i 2017/18, men det var i 2020 det skøyt fart. Da startet Lartillot arbeidet med maskinlæring.
Og han er rask med å forklare at de nå benytter seg av en form for hybrid AI.
– Lars bruker den nyeste AI-teknologien, mens jeg bruker mer klassiske, regelbaserte metoder. Sammen blir det en form for hybrid AI. Maskinlæring er veldig bra til enkelte ting, men også veldig dårlig til andre, sier Lartilliot og fortsetter:
– Musikk er så komplekst at man ikke bare kan trene en modell og forvente at den forstår alt. Da kan mer tradisjonelle metoder tilføre musikkfaglig ekspertise, kunnskap om persepsjon og kognisjon, og kompensere for svakhetene i maskinlæringen, sier Lartillot.
Forskningen Lartillot bidrar med til selskapet er også en del av hans arbeid hos UiO, og sånn sett åpen forskning. Også koden han måtte generere.
De tre er alle enige om at å lage noe som kan hjelpe i musikkforskning og læring, er noe de ønsker at selskapet skal kunne gjøre – i tillegg til å tjene penger, selvsagt.
Silicon Valley-konkurrent
Men når det gjelder koden til selve selskapet, så er ikke den open-source. For det er tøff konkurranse i musikk-transkriberingsuniverset.
– Det var nylig en konkurrent i Silicon Valley som fikk funding. Det ser vi på som et positivt tegn, da det viser at vi er på rett spor. Det er også andre, større konkurrenter her i Europa, men vi ser at vi har kommet mye lenger, og leverer bedre resultater på de samme testene som de gjør. Så vi mener helt klart vi har et forsprang, sier Monstad.
I skrivende stund har Bots For Music rundt 20 betalende kunder.
De forklarer at det å få appen ut til privatpersoner ikke har vært et problem. Men at det heller har vært jobben med å få det ut til potensielle bedriftskunder, som har vært utfordringen.
Og for de tre mer akademiske personene, har det også bydd på mer utfordring rundt det å hente inn investorer.
– Det har vært litt mer krevende enn jeg skulle trodd. Vi er gode på å bygge datasett og et verktøy som fungerer, men vi er kanskje mindre gode på å selge. Det er enkelte områder vi skulle hatt litt hjelp på, sier Monstad.
– En pengemaskin
Og det er dette arbeidet gjengen holder på med nå. Ambisjonene rundt musikk-appen, mangler det ikke på.
– Vi mener dette kan bli veldig stort. En pengemaskin. Dette er ikke bare for Norge, men hele verden. Det finnes hundrevis av millioner av musikere globalt som mangler gode noter til musikken de vil spille, så det er et stort marked, svarer de tre unisont.
– Hva med teknologien. Er det sånn at dere er nervøse for at AI-teknologien og transkriberingen vil bli så god av hvem som helst kan gjøre dette i fremtiden?
– Nei, noter og musikk er mye mer komplekst enn for eksempel tale. På tale og språk finnes det enorme mengder data. Innen musikk er det langt vanskeligere, både fordi det er mindre data, og fordi sammenhengen mellom lyd, noter og musikals logikk er mer komplisert, sier Lartillot.
Samtidig som gjengen lager et note-verktøy, vil de også kunne sitte på et stort datasett av musikk og noter, etter hvert. Det er også en kompetanse selskapet ser på som viktig.
– Vi er gode på å bygge datasett. Mange tenker kanskje at det er AI-modellen som er det viktigste, men jeg tror det er datasettet som er den virkelige nøkkelen her. Det er dette datasettet vi tror kan hjelpe oss til å transkribere flere sjangre og instrumenter raskere enn våre konkurrenter, avslutter Monstad.
