I måler en models dansk ved at give den jeres egne danske opgaver og lade dem, der kender opgaverne, bedømme svarene efter kriterier, der er fastlagt, før prøven begynder. En offentlig test af sprogmodeller på dansk kan pege på, hvilke modeller der er værd at prøve. Hvordan modellen klarer jeres kontrakter, kundemails eller referater, viser kun jeres egen prøve.
Spørgsmålet er vigtigt for et valg med jurisdiktion som hensyn. Et europæisk eller åbent valg kan koste noget på dansk, og det kan også være lige så godt. Svaret kommer først med en måling.
Hvad en offentlig dansk test måler
Den mest omfattende offentlige test af sprogmodeller på de europæiske sprog er EuroEval, som tidligere hed ScandEval. Den vedligeholdes af en forsker ved Alexandra Instituttet og dækker over 30 sprog med en åben programpakke, som alle kan køre. De danske opgaver omfatter blandt andet stemning i tekst, genkendelse af navne og steder, sproglig korrekthed, læseforståelse, viden som danske talemåder og spørgsmål fra indfødsretsprøven, ræsonnement, resumé af nyheder og evnen til at følge en instruktion.
Det er en bred prøve, og den er lavet med omhu. Hver model køres ti gange på tilfældige udtræk af hvert datasæt, og resultatet gives som et gennemsnit med en usikkerhedsmargin. Modeller, der ikke er signifikant forskellige, deler placering. Det er gode principper, og de er værd at låne til jeres egen måling.
Vi gengiver ingen placeringer her. Listen ændrer sig, når nye modeller kommer til, og en placering er en sammenfatning af mange opgaver, som ikke nødvendigvis ligner jeres.
Hvad testen ikke kan fortælle jer
Tre forbehold følger af testens egen metode.
Datasættene er offentlige. Prøveeksempler kan være endt i en models træningsdata. Testen har en skjult kontrolprøve, der skal opdage det, men et negativt fund beviser ikke, at modellen aldrig har set de offentlige data.
Svarene varierer. En sprogmodel svarer ikke ens hver gang. En ny kørsel lander inden for fejlmarginen, og små forskelle mellem to modeller kan derfor være tilfældige.
Tjenester testes gennem leverandørens adgang. Når en model kun findes som tjeneste, afhænger det, der kan måles, af hvilke funktioner leverandøren stiller til rådighed. Den model, I køber som færdig assistent, kan være sat anderledes op end den, der blev testet.
Hertil kommer jeres opgaver. En model, der klarer nyhedsresuméer godt, kan have svært ved jeres fagsprog, jeres forkortelser eller den tone, jeres kunder forventer.
Sådan måler I selv
Metoden her er sitets egen og kræver ingen teknisk baggrund.
- Vælg tre til fem opgaver, som modellen faktisk skal løse: et svar til en kunde, et resumé af et møde, en gennemgang af en kontrakt, en tekst til hjemmesiden.
- Find rigtige eksempler på hver opgave fra jeres egen hverdag, renset for oplysninger, der ikke må ud af huset. Tag både lette og svære eksempler med.
- Skriv på forhånd, hvad et godt svar er: korrekt fagsprog, ingen anglicismer, rigtig bøjning, den rette tone, ingen opfundne oplysninger.
- Kør alle modeller på de samme eksempler med den samme instruktion.
- Lad fagfolk bedømme uden at vide, hvilken model der svarede. Brug en enkel skala og en kort begrundelse.
- Kør det hele igen en anden dag. Ligger forskellen inden for det, der skifter fra gang til gang, er modellerne lige gode til den opgave.
Hvordan I bygger samlingen af eksempler, står i byg jeres egen prøvesamling.
Dansk i søgning og indlejringer
Bruger I modellen til at søge i egne dokumenter, er der to sprogspørgsmål. Det ene er, om svaret er godt dansk. Det andet er, om søgningen finder de rigtige dokumenter, når spørgsmålet stilles på dansk. Den del afgøres af den model, der laver indlejringer, altså de talrækker, som dokumenterne søges i. Indlejringer på dansk skal derfor også prøves, og det gøres bedst med spørgsmål, hvor I kender det rigtige dokument på forhånd. Fremgangsmåden står i virker søgningen?.
Når resultatet er klar
Viser målingen, at et europæisk eller åbent valg er svagere på en bestemt opgave, kan I veje det mod de andre krav. Måske betyder forskellen intet for et internt resumé, mens den betyder meget for tekster til kunder. Det er den afvejning, hvad koster det europæiske valg i kvalitet? handler om. Viser målingen ingen forskel, er dansk ikke længere et argument i valget.
Hvad det kræver, og hvad det koster at lade være
En dansk måling med fem opgaver tager typisk nogle dage at forberede: eksempler skal findes og renses, kriterierne skal skrives, og fagfolk skal afsætte tid til bedømmelsen. Vores lave vurdering er to arbejdsdage samlet pr. modelvalg, den høje fem, og I sætter selv timeprisen på. Forbruget under prøven betales efter tjenestens prismodel, eller det ligger i en prøveperiode.
Lader I være, træffes valget på en rangliste eller på en demonstration. Opdager I bagefter, at modellen skriver stift eller forkert dansk, betaler I med rettelser i hver tekst, med utilfredse brugere og i værste fald med at skulle vælge om og køre en ny model ind.
Det skal I lade være med
- At lade en placering på en offentlig liste afgøre valget · den måler mange opgaver, der ikke er jeres.
- At teste med opfundne eksempler · rigtige tekster afslører fagsprog og tone.
- At læse en lille forskel som en reel forskel · kør prøven igen, før I konkluderer.
Det skal valget kunne vise
- ☐ Hvilke danske opgaver modellen er prøvet på, og med hvilke eksempler.
- ☐ Kriterierne for et godt svar, skrevet før prøven.
- ☐ Hvem der bedømte, og om de kendte modellernes navne.
- ☐ Resultatet af en gentaget kørsel.
Kilder
- EuroEval, README, metodebeskrivelse, FAQ og oversigt over danske datasæt, kodelageret på GitHub, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Skriv de tre opgaver ned, som jeres AI-valg vigtigst skal løse på dansk, og find to rigtige eksempler på hver.
Læs også: Sådan læser I en sammenligning af modeller · Pilot med to modeller side om side
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
