kunstig intelligens
AI-agenter gir dyrere råd til brukere de tror er rike
En ny studie viser at AI-agenter anbefaler dyrere flybilletter og forsikringer når de tror brukeren har god råd, også når brukeren ber om det billigste alternativet. – I utgangspunktet et kjempeproblem for modellselskapene, sier gründer William Störtebecker.
Publisert
Sist oppdatert
Forskere fra Cisco og Carnegie Mellon University har gjennomført 325.000 eksperimenter med 13 AI-modeller fra OpenAI, Anthropic, Google og Alibaba.
Funnene er publisert i denne artikkelen. Studien er publisert som preprint og er ikke fagfellevurdert.
AI-modellene fungerte som personlige innkjøpsassistenter og skulle finne flybilletter, helseforsikring og doktorgradsprogrammer.
Alle de fiktive brukerne stilte nøyaktig samme spørsmål. Det eneste som skilte dem, var opplysningene agenten hadde tilgang til, for eksempel en profil eller en innboks med e-poster om skattemeldinger, pensjonssparing eller husleie.
Åtte av de 13 modellene anbefalte systematisk dyrere alternativer til brukerne de oppfattet som velstående. Ingen av modellene var bedt om å ta hensyn til brukerens økonomi.
Størst utslag for Claude
Claude Opus 4.8 fra Anthropic hadde det største utslaget. Modellen anbefalte i snitt 198 dollar dyrere flybilletter og 284 dollar dyrere forsikring per måned til rike brukere enn til brukere med dårlig råd.
GPT-5.5 fra OpenAI hadde minst utslag av de mest avanserte modellene. Ifølge forskerne er de større modellene altså ikke bedre enn de mindre.
I ett eksempel ba en bruker om den billigste flybilletten til Chicago. Uten tilgang til brukerens data fant agenten en billett til 91 dollar. Etter å ha lest tre e-poster om økonomi anbefalte den i stedet businessklasse til 601 dollar.
Når brukerne eksplisitt ba om det billigste alternativet, ble forskjellen mindre for de fleste modellene, men den forsvant ikke. For Gemini 2.5 Flash var forskjellen fortsatt 208 dollar, mot rundt 20 dollar for GPT-5 og Claude Opus 4.8.
En konkret prisgrense fikk derimot forskjellen nesten til å forsvinne for de fleste av de mest avanserte modellene.
Personvern hjelper lite
Forskerne testet også om personvernfiltre løser problemet. Når agentene ble nektet tilgang til økonomiske opplysninger, forsvant det meste av forskjellen.
Når de i stedet ble nektet tilgang til opplysninger om jobb, helse eller bosted, ble forskjellen stående. I noen tilfeller økte den med opptil 40 prosent, fordi agentene la mer vekt på de økonomiske signalene som var igjen.
Forskerne kaller fenomenet «adversarial delegation»: Tilgangen til personlige data som skal gjøre agenten nyttig, gjør den samtidig i stand til å handle mot brukerens interesser.
Studien er gjort med syntetiske, amerikanske brukere og fiktive produktlister. Forskerne understreker selv at de ikke har målt om de dyrere anbefalingene faktisk er dårligere for brukeren.
Håper gigantene tar grep
William Störtebecker er gründer i Carve som tilbyr løsninger innen shopping med AI-agenter.
– Tradisjonelt søk tar først og fremst utgangspunkt i det du søker etter. To personer som søker etter det samme, får ofte lignende resultater. AI-agenter kan også bruke det de vet om deg til å tilpasse anbefalingene. Det kan gi mer relevante forslag, men også over-tilpasse profilen din, og gi deg både premium og dyrere produkter når det ikke er ønskelig, sier han.
– I utgangspunktet er dette er kjempeproblem for modell-selskapene, når de kjemper om mer tillit fra kundene sine, og noe jeg håper, og tror, de jobber aktivt med.
Han legger til at det viktigste for bedrifter per i dag er at de må forstå hvordan produktene deres blir presentert for ulike kunder i ulike kjøpssituasjoner.
Regler for agentene
Bransjen har så vidt begynt å lage regler for hvordan agentene skal oppføre seg. Denne uken presenterte Meta og Sierra, AI-selskapet til tidligere Salesforce-sjef Bret Taylor, Personal Agent Protocol. Det er en åpen standard for hvordan personlige agenter skal samhandle med bedrifter, og den utvikles sammen med blant andre Shopify, Stripe og Walmart.
Etter protokollen bestemmer forbrukeren hvilken tilgang agenten får, og bedriften bestemmer hva agenten får lov til å gjøre på nettsiden, i API-ene eller i samtale med bedriftens egen kundeserviceagent.
Brukeren skal også kunne velge om agenten bare får lese, eller om den også kan gjøre endringer i kontoen.
Første versjon av spesifikasjonen skal publiseres senere i oktober. Senere kan det komme utvidelser som lar agenten betale for varer uten å dele kortopplysninger.
Ifølge Sierra vil forbrukerne ha en agent de kan stole på at handler i deres beste interesse. Protokollen regulerer likevel forholdet mellom agenten og bedriften, ikke hvordan agenten bruker det den allerede vet om brukeren.
