Svartiden er den tid, en bruger venter på et svar, og den afhænger af modellen, af hvor beregningen sker, af hvor mange der bruger tjenesten samtidig, og af hvor I måler fra. Den eneste svartid, der kan bruges i et valg, er den, I selv måler på jeres egne opgaver, fra jeres egen placering og over en periode.
Udbydernes egne tal og tal fra tredjeparter er målt på andre opgaver, fra andre steder og på andre tidspunkter. Vi gengiver ingen markedstal her. Artiklen giver en metode til at måle selv.
Tre tider, der skal holdes adskilt
Når brugerne siger, at tjenesten er langsom, kan de mene tre forskellige ting.
Tiden til første ord. Hvor længe der går, fra spørgsmålet er sendt, til svaret begynder at komme frem på skærmen. Det er den, brugerne mærker mest i en samtale.
Tiden til færdigt svar. Hvor længe der går, til hele svaret er der. Den betyder mest, når svaret skal bruges af et andet system, eller når teksten er lang.
Gennemløbet. Hvor mange forespørgsler tjenesten kan håndtere pr. minut, når mange bruger den på én gang. Det er det, der afgør, om der opstår kø.
Hvilken af de tre der betyder noget, afhænger af opgaven. En assistent til medarbejderne lever af kort tid til første ord. En opgave, hvor tusind dokumenter skal sammenfattes om natten, lever af gennemløb.
Hvor målingen begynder og slutter
EU-Kommissionens retningslinjer for serviceniveauer i cloud fra 2014 gør opmærksom på, at et tal for svartid hænger på målepunkterne, altså hvor uret startes og stoppes, og om nettet imellem tæller med. Et tal for svartid kan altså først bruges, når det står, hvad der måles fra og til. For en AI-tjeneste kan der være mange led mellem brugeren og modellen: jeres eget net, en assistent i et kontorprogram, et mellemlag, udbyderens indgang og selve beregningen. Mål derfor fra brugerens side, så alle led er med, og skriv ned, hvad der er med i tallet.
Hvorfor svartiden ændrer sig
Belastning hos udbyderen. En server med en sprogmodel holder data for de igangværende forespørgsler i hukommelsen. Bliver den fyldt op, sætter serveren forespørgsler til side og beregner dem igen bagefter. Det forlænger svartiden. Det gælder både hos en udbyder og i jeres egen drift.
Behandlingen flytter. Hos flere store udbydere kan beregningen flytte til et andet land eller en anden region ved spidsbelastning. Det er en mulig årsag til, at svartiden ændrer sig. Vi har ingen kilde, der kobler de to direkte, så det er vores læsning. Hvordan flytningen ser ud, og hvad I kan stille op med den, står i kapacitet og spidsbelastning.
Modellen skifter. En ny version eller en automatisk opgradering kan svare hurtigere eller langsommere. Derfor hører svartid med, når I måler kvalitet over tid.
Svarets længde. En model, der skriver længere svar, er længere om det. To modeller med samme hastighed pr. ord kan opleves forskelligt, fordi den ene skriver mere.
Sådan måler I
Metoden er sitets egen.
- Brug opgaverne fra prøvesamlingen. Så måler I svartid på de samme opgaver, som I måler kvalitet på. Se byg jeres egen prøvesamling.
- Mål fra jeres egen placering, fra en almindelig arbejdsplads og gennem den vej, brugerne faktisk bruger.
- Mål de tre tider hver for sig: til første ord, til færdigt svar og gennemløbet ved mange samtidige forespørgsler, hvis opgaven kræver det.
- Mål på forskellige tidspunkter: morgen, middag og eftermiddag på hverdage, og gerne over en uge. Svartiden om natten siger lidt om svartiden kl. 9 mandag.
- Skriv region og driftsform ned for hver måling, så I kan se, om et skift i indstillingen ændrer billedet.
- Gentag efter hver ændring: ny model, ny region, ny indstilling eller ny udbyder.
Brug tallene i valget
Svartid er et af felterne ved siden af kvalitet, jurisdiktion, binding og pris. En europæisk tjeneste kan være hurtigere eller langsommere end en amerikansk alt efter opgave, tidspunkt og indstilling. Skriv på forhånd, hvad der er acceptabelt for hver opgave, og brug det som krav. Svartiden indgår også i en pilot, hvor brugerne bedømmer, og den kan forklare, hvorfor brugerne foretrækker en bestemt kandidat. Hvad en aftale kan love om svartid og kapacitet, står i servicemål for en AI-tjeneste.
Hvad det kræver, og hvad det koster at lade være
En enkel måling med et lille program eller et regneark og en stopur-metode tager en til to dage at sætte op og en uge at køre. Måling af gennemløb ved mange samtidige forespørgsler kræver en udvikler og lidt mere tid. Forbruget under målingen afregnes efter udbyderens prismodel.
Lader I være, opdager I langsomme svar, når brugerne klager. Ventetid er arbejdstid. Sæt selv tal på, hvor mange forespørgsler der laves om dagen, og hvor mange sekunder der går tabt pr. forespørgsel.
Det skal I lade være med
- At bruge udbyderens eller andres tal som jeres svartid · de er målt på andre opgaver og fra andre steder.
- At måle én gang · svartiden skifter med tidspunkt og belastning.
- At blande de tre tider sammen · tid til første ord og gennemløb er to forskellige krav.
Det skal valget kunne vise
- ☐ Hvilke af de tre tider der betyder noget for hver opgave, og hvad der er acceptabelt.
- ☐ Målinger fra jeres egen placering over en periode.
- ☐ Region og driftsform for hver måling.
- ☐ En ny måling efter hver ændring.
Kilder
- vLLM, dokumentation om hukommelse og optimering, læst 8. november 2026.
- Dokumentation fra en stor udbyder om flytning af behandling ved spidsbelastning, læst 8. november 2026.
- EU-Kommissionen, Cloud Service Level Agreement Standardisation Guidelines, 24. juni 2014, afsnit 3.2, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Vælg tre opgaver fra prøvesamlingen, og mål tiden til første ord på dem fra en almindelig arbejdsplads i en uge.
Læs også: Bliver svarene dårligere? Kvalitet over tid · Pilot med to modeller side om side
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
