En nylig studie fra Brigham Young University (BYU) avslørte at ChatGPT, et AI-drevet verktøy for naturlig språkbehandling utviklet av Microsoft-støttede OpenAI, mislyktes på en regnskapseksamen og presterte dårligere enn studenter som ble testet på de samme spørsmålene.

Det går frem av en artikkel på nettstedet CFODive.

Forskere ved BYU, sammen med 186 andre akkrediterte universiteter, samarbeidet om å skrive over 20 000 regnskapseksamenspørsmål for å teste ChatGPT.

Spørsmålene dekket regnskapsinformasjonssystemer, revisjon, finansregnskap, ledelse og skatt, og varierte i vanskelighetsgrad og type mellom sant eller falskt, flervalgsspørsmål og korte svar.

Studentene hadde en gjennomsnittlig poengsum på 76,7 prosent, sammenlignet med ChatGPTs poengsum på 47,4 prosent. I tillegg gjorde AI-roboten det dårligere på skatt, finansielle vurderinger og ledelse.

Selv om menneskelige studenter scoret bedre enn teknologien totalt sett, klarte ChatGPT å score høyere enn gjennomsnittet på 11,3 prosent av spørsmålene, særlig innen informatikk og revisjon.

ChatGPT gjorde det bedre på sant eller usant-spørsmål, med 68,7 prosent riktig besvarte spørsmål, og flervalgsspørsmål, med totalt 59,5 prosent av spørsmålene besvart riktig.

Derimot slet chatboten med korte svar-spørsmål, og klarte bare å svare riktig på mellom 28,7 prosent og 39,1 prosent av dem.

Ifølge forskerne var det vanskeligere for ChatGPT å besvare spørsmål av høyere orden. Faktisk kunne ChatGPT noen ganger gi autoritative skriftlige beskrivelser for feil svar, eller svare på det samme spørsmålet på forskjellige måter, sier forskerne ifølge artikkelen.

ChatGPTs kommentar til resultatet (på CFODives oppfordring) var at selv om AI-verktøy som den selv kunne utføre mange oppgaver knyttet til finansiell analyse, prognoser og rapportering, trodde den ikke at de hadde potensial til å fullstendig erstatte selskapenes CFOer i nærmeste fremtid.