Gevinsten ved et AI-valg måles på jeres egne opgaver: hvor meget tid sparer modellen, hvor gode er svarene, og hvor mange fejl skal rettes bagefter. Måles det pr. model og driftsform, kan gevinsten sættes over for omkostningen, og regnestykket kan udtrykkes som omkostning pr. godt resultat i stedet for pris pr. licens.
En beregning af afkast på AI, ofte kaldet AI ROI, kan let bygge på en antagelse om, at gevinsten er den samme, uanset hvilken model der bruges. Den antagelse holder ikke nødvendigvis. To modeller kan løse samme opgave forskelligt godt, og en billigere model, der kræver flere rettelser, kan give mindre. Denne artikel handler om at måle gevinsten på tværs af de valg, der er i spil.
Tre mål for gevinsten
Tid. Hvor lang tid tager opgaven med og uden modellen? Mål den samlede tid, også tiden til at læse svaret igennem og rette det. En opgave, der går hurtigere at skrive, men tager længere at kontrollere, giver mindre, end det ser ud til.
Kvalitet. Er resultatet lige så godt, bedre eller ringere? Bed den, der ejer opgaven, vurdere en række svar efter kriterier, der er skrevet ned på forhånd. Kvalitet er det mål, hvor modellerne kan adskille sig tydeligt.
Fejl. Hvor mange svar er forkerte, mangelfulde eller kræver, at nogen griber ind? Hvad koster en fejl, der slipper igennem til en kunde? Fejl er et mål for sig, fordi en enkelt fejl i en vigtig opgave kan veje tungere end mange sparede minutter.
Omkostning pr. godt resultat
FinOps Foundation, en forening for folk, der styrer udgifter til cloud og AI, anbefaler at måle omkostningen pr. vellykket resultat og vise den som et interval. Tre ting ligger i det.
Tæl kun de resultater, der kan bruges. Et svar, der skal skrives om, er ikke et resultat.
Tag den fulde omkostning med. Ud over modellen hører lagring, indeks, overvågning og de folk, der holder det kørende, med. Posterne står i posterne i et AI-valg.
Bind målet til noget, forretningen ejer: en behandlet sag, et besvaret kundespørgsmål, et gennemgået dokument. Så kan økonomi og den, der ejer opgaven, tale om det samme tal.
Sådan måler I på tværs af valg
Byg en prøvesamling. Et sæt rigtige opgaver med kendte gode svar, som alle modeller testes på. Se byg jeres egen prøvesamling.
Kør modellerne side om side. Samme opgaver, samme brugere, samme periode. Mål tid, kvalitet og fejl for hver. Se, hvordan en pilot med to modeller sættes op.
Mål basislinjen. Hvordan løses opgaven i dag uden modellen, eller med den model, I har nu? Uden basislinjen kan gevinsten ikke måles, kun skønnes.
Skriv usikkerheden ned. Få opgaver og få brugere giver et usikkert tal. Vis det som interval, og skriv, hvor mange opgaver målingen bygger på.
Det, der gør gevinsten for stor
The Green Book fra det britiske finansministerium beskriver erfaringen med, at gevinster overvurderes. For AI sker det let tre steder.
Demonstrationen. En demonstration viser de opgaver, modellen er god til. Den daglige brug har også de andre.
Den sparede tid, der ikke bruges. Sparede minutter er kun en gevinst, hvis de bruges til noget. Skriv, hvad tiden bruges til, eller skriv den som kapacitet uden at regne den om til penge.
Kvaliteten, der falder over tid. En model kan blive udskiftet eller ændret, og svarene kan ændre sig. Mål igen efter hvert skift.
Gevinster, der ikke er tid
Nogle gevinster ved et valg af model og driftsform kan ikke måles i tid: at kunne svare en kunde på, hvor data behandles, at have en plan, hvis modellen udfases, eller at kunne skifte uden at bygge alt om. De står i ord ved siden af regnestykket. Spørg, hvor meget de skal være værd, før de vender valget.
Følg op bagefter
Måling før beslutningen, løbende opfølgning og evaluering bagefter er tre forskellige ting. The Green Book skelner selv mellem dem. Sæt en dato for, hvornår gevinsten måles igen i den daglige brug, og hvem der gør det.
Hvad det kræver, og hvad det koster at lade være
Målingen kræver en prøvesamling, en ejer af hver opgave, der kan vurdere kvaliteten, og nogle ugers brug med to modeller eller med og uden. Vores skøn er en til to dages forberedelse og en pilot på nogle uger.
Uden målingen bygger valget på en demonstration og en antagelse om, at alle modeller giver det samme. Gevinsten kan så ikke forsvares over for ledelsen, og et billigere spor kan vælges, der i virkeligheden giver mindre, fordi kvaliteten aldrig blev målt.
Det skal I lade være med
- At antage samme gevinst for alle modeller · mål på jeres egne opgaver.
- At regne sparet tid om til penge uden plan for tiden · skriv den som kapacitet.
- At tælle svar, der skal skrives om, som resultater · tæl kun det, der kan bruges.
Det skal valget kunne vise
- ☐ Basislinje for tid, kvalitet og fejl.
- ☐ Måling pr. model eller driftsform på samme opgaver.
- ☐ Omkostning pr. godt resultat som interval.
- ☐ Gevinster i ord, der ikke er tid.
- ☐ Dato og ejer for måling i den daglige brug.
Kilder
- FinOps Foundation, FinOps for AI Overview, https://www.finops.org/wg/finops-for-ai-overview/, læst 8. november 2026.
- HM Treasury, The Green Book 2026, https://assets.publishing.service.gov.uk/media/6ae0ba897b7111c482d80a3b/The_Green_Book_2026.pdf, læst via faktagrundlaget 7. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Vælg én opgave, og mål, hvor lang tid den tager i dag, inden I måler med en model.
Læs også: Hvor godt kan modellen dansk? · Bliver svarene dårligere? Kvalitet over tid
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
