En sammenligning af sprogmodeller, ofte kaldet en benchmark, viser, hvordan en række modeller klarede en bestemt prøve på et bestemt tidspunkt. Den er brugbar til at vælge, hvilke modeller I vil prøve selv, og den er svag som grundlag for selve valget, fordi prøven sjældent ligner jeres opgaver.
Ledelsen møder sammenligningerne i præsentationer, i leverandørernes materiale og i nyheder om nye modeller. Den her artikel giver fem spørgsmål, der gør det muligt at læse dem uden teknisk baggrund.
Spørgsmål 1: Hvem har målt?
Den, der har lavet målingen, har valgt prøven, modellerne og opsætningen. Er det en modeludvikler, der præsenterer sin egen model, er prøverne udvalgt af den part, der har interesse i resultatet. Tallene kan godt være rigtige. I ser bare de prøver, udvikleren selv har valgt at vise.
Uafhængige sammenligninger findes også, fx fra forskningsmiljøer. De har en åben metode, som andre kan efterprøve ved selv at køre prøven. Spørg derfor altid, om metoden og datasættene er offentlige, og om andre kan gentage målingen.
Spørgsmål 2: Hvad er målt?
En samlet placering dækker mange delprøver. Den europæiske test EuroEval, som har danske opgaver, måler fx stemning i tekst, genkendelse af navne, sproglig korrekthed, læseforståelse, viden, ræsonnement, resumé og evnen til at følge en instruktion. En model kan ligge højt samlet og svagt på netop den opgave, I har brug for. Se derfor på delprøverne, og find dem, der ligner jeres arbejde.
Det gælder også for åbne modeller og for lokale modeller på egne maskiner. En sammenligning af modeller med åbne vægte, altså modeller, hvis filer kan hentes og køres hos jer selv, siger noget om modellen. Den siger intet om, hvordan den kører på jeres maskiner, med jeres hukommelse og jeres antal samtidige brugere.
Spørgsmål 3: Er forskellen reel?
Sprogmodeller svarer ikke ens hver gang, og en ny kørsel af samme prøve giver et lidt andet resultat. En omhyggelig sammenligning kører derfor prøven flere gange og angiver en usikkerhedsmargin. EuroEval kører hver model ti gange og lader modeller, der ikke er signifikant forskellige, dele placering.
For ledelsen betyder det, at to modeller med tæt på samme tal kan være lige gode. Spørg, om der er en usikkerhedsmargin, og om forskellen er større end den. Er der ingen margin, ved I ikke, om forskellen er reel.
Spørgsmål 4: Kan modellen have set prøven før?
I EuroEval er hovedparten af datasættene offentlige, og offentlige prøveeksempler kan være endt i de data, en model er trænet på, og så måler prøven hukommelse frem for evne. Gode sammenligninger forsøger at opdage det, men et negativt fund er intet bevis. Tag derfor resultatet af en kendt og offentlig prøve med forbehold.
Spørgsmål 5: Må modellen bruges, som I vil bruge den?
En høj placering hjælper ikke, hvis licensen forbyder jeres brug. EuroEval markerer modeller som ikke-kommercielle, hvis licensen eller træningsdata ikke tillader kommerciel brug. Ser I ingen sådan markering, må I selv læse licensen. Den læses for den version, I vil bruge, og fremgangsmåden står i licenserne på åbne modeller.
Hvad der ikke kan overføres
Selv en god sammenligning kan ikke fortælle jer, hvordan modellen klarer jeres fagsprog, jeres dokumenter og jeres kunders forventninger. Den siger heller intet om jurisdiktion, lagring af prompter, varsel ved udfasning eller prismodel, som er de andre felter i et valg. Popularitet, fx hvor mange der har hentet en model, siger ingen af delene.
En stor cloudplatform skriver selv i sin dokumentation, at kunder bør vurdere modeller på egne prompter og repræsentative data og se kvalitet, svartid og pris samlet, frem for at stole på offentlige sammenligninger alene. Det er også sitets råd. Brug sammenligningen til at vælge to eller tre kandidater, og mål dem derefter på jeres egne opgaver, som beskrevet i byg jeres egen prøvesamling.
Hvad det kræver, og hvad det koster at lade være
At læse en sammenligning med de fem spørgsmål tager en time. Det kræver, at nogen finder metodebeskrivelsen og delprøverne frem, hvilket en IT-ansvarlig kan gøre. Målingen på egne opgaver bagefter er den egentlige post: fra to til fem arbejdsdage pr. valg, alt efter antal opgaver og antal kandidater.
Lader I være, kan valget hvile på en prøve, der måler noget andet end jeres arbejde. Prisen viser sig senere som en model, der skal skiftes, prompter, der skal skrives om, og brugere, der har mistet tilliden. Sæt jeres egne tal på tiden til et nyt valg og en ny indkøring.
Det skal I lade være med
- At sammenligne tal fra forskellige prøver · en score fra én test kan ikke sættes op mod en score fra en anden.
- At læse en samlet placering som svaret på jeres opgave · se på delprøverne.
- At bruge en sammenligning som dokumentation for valget · den udvælger kandidater, og valget hviler på jeres egen prøve.
Det skal valget kunne vise
- ☐ Hvilken sammenligning der blev brugt til at udvælge kandidater, og hvem der lavede den.
- ☐ Hvilke delprøver der ligner jeres opgaver.
- ☐ Om licensen tillader jeres brug.
- ☐ Resultatet af jeres egen prøve på de udvalgte kandidater.
Kilder
- EuroEval, metodebeskrivelse og FAQ, kodelageret på GitHub, læst 8. november 2026.
- Livscyklusdokumentation fra en stor cloudplatform om vurdering af kandidatmodeller, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Tag den seneste sammenligning, I har fået præsenteret, og stil de fem spørgsmål til den.
Læs også: Modelkort og tekniske rapporter · Hvad koster det europæiske valg i kvalitet?
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
