Et forsøg på en bærbar viser, om en åben model kan løse en opgave. Det viser intet om, hvordan modellen klarer mange brugere på én gang, hvem der må bruge den, eller hvad der sker, når den fejler. Vejen til drift går derfor gennem en pilot på en server med få brugere og målte resultater, før flere får adgang.
Mange forsøg begynder med en ivrig medarbejder, der henter en model og et af de udbredte værktøjer til at køre den lokalt. Det er en god måde at lære på og en billig måde at afprøve en idé på. Problemet opstår, når forsøget glider over i brug, uden at nogen har besluttet det. Denne artikel handler om den interne drift.
Værktøjet på bærbaren og serveren løser forskellige opgaver
Værktøjer til at køre en model på én maskine er bygget til at være lette at komme i gang med. De henter modellen, vælger en udgave, der passer til maskinen, og giver en brugerflade eller et lokalt programmeringsinterface. Serversoftware til sprogmodeller er bygget til noget andet: at betjene mange forespørgsler samtidig og udnytte grafikkortets hukommelse til det. Begge typer findes med åbne licenser. Ingen af de kilder, vi har læst, sammenligner dem, og der er ingen grund til at kåre en vinder. Pointen er, at vejen fra det ene til det andet kræver nyt værktøj og ny opsætning.
Det, forsøget ikke viser
Samtidighed. På en bærbar sender én person én forespørgsel ad gangen. Med tyve brugere skal serveren holde et mellemlager for hver forespørgsel, der er i gang. Når lageret løber fuldt, sættes forespørgsler til side og beregnes igen, og svartiden vokser.
Udgaven af modellen. Lokale værktøjer kan vælge en komprimeret udgave, så modellen kan være på maskinen. Kvaliteten, I så i forsøget, er kvaliteten af den udgave. Vælger I en anden udgave til serveren, skal den måles igen.
Adgang og logning. Forsøget har én bruger og ingen styring. Drift kræver kobling til jeres brugerstyring, beslutning om logning og en ejer af nøglerne.
Fejl og vedligehold. Hvem genstarter modellen, når den stopper, og hvem opdaterer serversoftwaren? Opgaverne er samlet i de driftsopgaver, ingen regner med.
Licensen. Både modellen og værktøjet har en licens. Forsøget er intern brug. Bliver modellen senere stillet til rådighed for kunder eller samarbejdspartnere, kan licensen stille andre krav. Læs den for den konkrete version.
Tre trin med kriterier skrevet på forhånd
Trin 1: forsøget. Formålet er at afgøre, om en åben model kan opgaven. Vælg én afgrænset opgave og en håndfuld rigtige eksempler. Brug kun data, der må behandles på en bærbar. Kriteriet skrives før start: hvor mange af eksemplerne skal løses godt nok, og hvem afgør det? Resultatet skrives ned med modellens navn, udgave og dato.
Trin 2: piloten. Formålet er at måle drift. Sæt modellen op på en server med serversoftware, kobl den til brugerstyringen, og giv adgang til en lille, navngiven gruppe. Mål svartid, kø og hukommelse i den travleste time og ved dobbelt belastning. Kør jeres prøvesamling igen på den udgave, der kører på serveren. Kriterierne skrives før start: grænse for svartid, krav til kvalitet og en dato for beslutningen. Uden dato bliver piloten stående som en halv drift.
Trin 3: drift. Formålet er en løsning, der kan passes. Før flere får adgang, skal hver driftsopgave have en ansvarlig, logningen være besluttet, versionen være låst, og nogen skal eje kapacitetsplanen. Ledelsen godkender overgangen på grundlag af målingerne fra piloten og et regnestykke for driften.
Mellem hvert trin kan svaret være nej. En model, der ikke klarer trin 1, skal ikke videre. En pilot, der viser, at maskinerne skal være meget større end ventet, kan pege mod lejede maskiner eller en åben model købt som tjeneste. Se lejet GPU med åben model og åben model via europæisk API.
Hvad der skrives ned
For hvert trin: model og udgave, værktøj og version, de eksempler, der blev brugt, kriterierne, resultatet og hvem der godkendte. Det er grundlaget for at tage beslutningen op igen, når en ny version kommer, og for at forklare valget over for en kunde eller en revisor.
Hvad det kræver, og hvad det koster at lade være
Trin 1 er dage for én medarbejder. Trin 2 kræver en server eller lejede maskiner i nogle uger, en tekniker til opsætning og en lille gruppe brugere, der vil give tilbagemelding. Lav vurdering: et par uger i alt. Høj vurdering: et par måneder, når flere udgaver skal måles, og brugerstyringen er svær at koble på.
Springer I trin 2 over, betaler I senere. Brugerne møder lange svartider fra første dag, modellen kører i en udgave, ingen har målt, og driftsopgaverne bliver opdaget én ad gangen. Lader I forsøget glide over i brug uden beslutning, har I en model i drift, som ingen ejer, og som ingen har vurderet data eller licens for.
Det skal I lade være med
- At tage forsøget som bevis på driften · forsøget svarer på kvalitet, piloten på drift.
- At flytte bærbarens opsætning op på en større maskine · serveren kræver andet værktøj og anden opsætning.
- At lade en pilot køre uden slutdato · skriv datoen for beslutningen før start.
Det skal valget kunne vise
- ☐ Skrevne kriterier for hvert af de tre trin.
- ☐ Målinger af svartid og kvalitet fra piloten på den udgave, der skal i drift.
- ☐ Licensen for model og værktøj for de konkrete versioner.
- ☐ En godkendelse af overgangen til drift med navn og dato.
Kilder
- Licensfilerne for tre udbredte værktøjer til at køre sprogmodeller, læst 8. november 2026.
- Dokumentationen til en udbredt server til sprogmodeller med åben kildekode, afsnit om hukommelse og ydelse, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Skriv kriteriet for trin 1, før nogen henter den næste model.
Læs også: Hvad kræver det af maskiner? · Medarbejdernes egne lokale modeller
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
