Det, en sprogmodel kræver af maskiner, afgøres af tre ting: hvor stor modellen er, hvor mange der bruger den på samme tid, og hvor lange tekster de sender ind. Den største begrænsning er næsten altid hukommelsen på grafikkortet, og den skal række til både modellen og alle de forespørgsler, der er i gang.
Derfor kan ingen give jer et maskinvalg ud fra modellens navn alene. Denne artikel giver ingen tal og ingen indkøbsliste. Den beskriver, hvad I skal afklare, før I spørger efter et tilbud på en GPU-server, og hvad I kan måle selv. Maskinerne selv, med strøm, køling og plads i et rack, gennemgår europaeisk-cloud.dk.
Hukommelsen bærer to ting
En sprogmodel består af vægte, de lærte tal, der skal ligge i grafikkortets hukommelse, mens modellen arbejder. Jo flere vægte, jo mere hukommelse. Det er den del, man normalt regner med.
Den anden del overses ofte. Mens modellen skriver et svar, holder den et mellemlager over den tekst, den allerede har behandlet. Lageret vokser med længden af det, der sendes ind, og med antallet af forespørgsler, der er i gang samtidig. Dokumentationen til en udbredt server til sprogmodeller med åben kildekode beskriver, hvad der sker, når lageret ikke rækker: forespørgsler skubbes til side og beregnes igen senere. Brugeren oplever det som et svar, der pludselig tager længere tid.
Kapacitet handler altså om hukommelse og samtidighed. En model, der kører fint for én bruger, kan blive langsom for tyve, uden at noget er i stykker.
Fire greb, der flytter behovet
Den samme dokumentation nævner fire greb, når hukommelsen ikke slår til. Hvert af dem har en pris, som ikke står i kroner.
Flere grafikkort. Modellen kan deles over flere kort. Det giver plads, men kræver flere maskiner, mere strøm og en opsætning, der er sværere at passe.
En komprimeret udgave af modellen. Kvantisering gemmer vægtene med færre detaljer, så de fylder mindre. Prisen er lavere præcision. Om det mærkes på jeres opgaver, kan kun en måling vise.
Kortere tekster ind. Lange dokumenter, lange samtaler og meget hentet materiale fylder i mellemlageret. Grænser for længden sparer hukommelse og kan forringe svarene.
Færre samtidige forespørgsler. Serveren kan sættes til at tage færre ad gangen. Resten står i kø, og svartiden vokser.
Det, I skal afklare først
Før I spørger en leverandør, skal I kunne svare på fem spørgsmål.
Hvilken model, i hvilken størrelse og hvilken udgave. Samme model findes ofte i flere størrelser og i komprimerede udgaver. Valget afgør hukommelsen mere end noget andet. Mål kvaliteten på jeres egne opgaver for hver udgave, I overvejer.
Hvor mange bruger den samtidig i den travleste time. Antallet af ansatte siger lidt. Antallet af forespørgsler, der er i gang i samme øjeblik, siger mere. Tag tallet fra en pilot eller fra jeres nuværende tjeneste.
Hvor lange tekster sendes ind. Et spørgsmål på få linjer og et udbud på hundrede sider stiller vidt forskellige krav. Søgning i egne dokumenter sender hentet tekst med hver forespørgsel, så den fylder mere, end brugeren selv skriver.
Hvilken svartid er god nok. En medarbejder, der venter ved skærmen, har en anden grænse end et natligt job, der sammenfatter sager. Skriv grænsen ned som et krav.
Hvad sker der ved fejl. Skal modellen køre videre, når en maskine stopper? Så skal der være en maskine mere, end belastningen kræver.
Mål, før I køber
Det sikreste grundlag er en måling på udstyr, I låner eller lejer for en kort periode. Kør modellen i den udgave, I overvejer, med jeres egne opgaver og med det antal samtidige forespørgsler, I forventer i den travleste time. Mål tre ting: hvor lang tid der går til første ord i svaret, hvor lang tid hele svaret tager, og hvor meget af hukommelsen der er brugt. Gentag med dobbelt så mange samtidige forespørgsler. Ser svartiden pæn ud ved den forventede belastning og falder sammen ved den dobbelte, ved I, hvor lidt luft der er.
Leje af grafikkort i kort tid er også en måde at teste på, før I binder jer. Hvad leje indebærer for modellen og ansvaret, står i lejet GPU med åben model. Udbuddet af grafikkort til leje i Europa har europaeisk-cloud.dk samlet.
Hvad det kræver, og hvad det koster at lade være
Afklaringen kræver en pilot eller en måling fra den nuværende tjeneste, en uges adgang til lejet eller lånt udstyr og nogle dages arbejde for en tekniker, der kan sætte en server til sprogmodeller op. Lav vurdering: få dage, når modellen allerede er valgt. Høj vurdering: et par uger, når flere udgaver skal måles.
Springes målingen over, købes maskinerne på et gæt. Gættet kan gå begge veje. Maskiner, der er for små, giver lange svartider, og så holder brugerne op med at bruge løsningen. Maskiner, der er for store, binder penge i kapacitet, der står stille. Begge fejl kommer først frem, når anskaffelsen er sket. Posterne i regnestykket er samlet i posterne i et AI-valg.
Det skal I lade være med
- At dimensionere efter modellens størrelse alene · samtidighed og tekstlængde fylder også i hukommelsen.
- At regne med én bruger ad gangen · test med den travleste time og med dobbelt belastning.
- At vælge en komprimeret udgave uden måling · lavere præcision kan mærkes på netop jeres opgaver.
Det skal valget kunne vise
- ☐ Model, størrelse og udgave, med en måling af kvaliteten.
- ☐ Antal samtidige forespørgsler i den travleste time og den typiske længde af det, der sendes ind.
- ☐ En skrevet grænse for svartid.
- ☐ En måling af svartid og hukommelse ved forventet og dobbelt belastning.
Kilder
- Dokumentationen til en udbredt server til sprogmodeller med åben kildekode, afsnittene om hukommelse og ydelse, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Find tallet for samtidige forespørgsler i jeres travleste time, før I spørger efter maskiner.
Læs også: Svartid og kø · Hvornår betaler egen drift sig?
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
