Agentisk KI åpner kostnadsfelle

Produktledere står overfor et nytt KI-paradoks: Selv om kostnaden per enhet faller, øker den samlede KI-regningen fordi stadig mer avanserte modeller brukes i komplekse arbeidsflyter.

Kostnadene for KI-inferens per agentisk arbeidsflyt vil ifølge Gartner øke med mer enn fem ganger frem mot 2028. Etter hvert som KI-produkter går fra å tilby assistanse til å utføre flertrinnsoppgaver på egen hånd, oppstår en ny marginutfordring for produktansvarlige.

Lavere modellpriser gjør det økonomisk mulig å ta i bruk mer komplekse arbeidsflyter, men dette fører samtidig til økt samlet KI-forbruk. Håndtering av inferenskostnader blir derfor en stadig viktigere oppgave.

– Produktledere kan ikke basere seg på stadig bedre tokenøkonomi for å forsvare KI-kostnadene, sier Will Sommer, senioranalytiker i Gartner.

Han peker på at hver ny generasjon KI-funksjonalitet vil kreve flere, og ofte dyrere, tokens. Det finnes heller ingen universell modell som på en gang kan levere høy ytelse og lav kostnad. Konkurransedyktige KI-produkter vil derfor kreve komplekse økosystemer der flere modeller kombineres.

Gartner peker på tre grunnleggende utviklingstrekk:

1. Kostnadsøkonomien for grunnmodeller forbedres raskt.

2. Mer effektiv KI gjør det mulig å ta i bruk kraftigere og dyrere modeller.

3. Avanserte KI-arbeidsflyter bruker langt flere tokens enn enkle chatbot-samtaler.

Resultatet er det Gartner kaller «Inference Paradox»: Kostnaden per token blir lavere, men den samlede kostnaden ved å bruke KI øker fordi selve KI-funksjonaliteten blir stadig mer avansert.

Forskjellen blir tydelig når en enkel chatbot sammenlignes med en KI-agent. En chatbot skal i hovedsak tolke en forespørsel og generere et svar. En agent må derimot kontinuerlig resonnere, vurdere alternativer, stille spørsmål, kontrollere egne resultater og gjennomføre flere trinn for å løse oppgaven.

Ifølge Gartner kan det å sende en oppgave til en agentisk resonneringsmodell øke leverandørens inferenskostnader med minst fem ganger sammenlignet med en grunnleggende chatbot-interaksjon. Kostnadene kan øke ytterligere når oppgavene blir mer komplekse.

For å oppnå lønnsomhet med avansert KI må virksomhetene derfor enten oppnå tilsvarende høyere verdi, eller bruke intelligent modellruting, inferensnivåer og orkestrering slik at enkle oppgaver behandles av rimeligere modeller, mens mer krevende oppgaver sendes til kraftigere modeller.

– Å bruke generell autonom KI som standard vil føre til ubegrensede kostnader som kan bli størrelsesordener høyere enn i optimaliserte KI-økosystemer, advarer Sommer.