En prøvesamling er en fast samling af rigtige opgaver fra jeres egen hverdag med en beskrivelse af, hvad et godt svar er. Med omkring tyve opgaver kan I sammenligne modeller og tjenester på det, der faktisk betyder noget for jer, og I kan bruge samlingen igen, hver gang en model skifter.
Tallet tyve er sitets eget udgangspunkt og ingen regel fra en kilde. Det er nok til at dække de vigtigste opgavetyper med både lette og svære eksempler og lille nok til, at fagfolk kan bedømme svarene på en eftermiddag.
Hvorfor en samling frem for en rangliste
Offentlige sammenligninger måler mange opgaver, som ikke er jeres, og de kan ikke vise, hvordan en model klarer jeres fagsprog og jeres dokumenter. En stor cloudplatform anbefaler selv, at kunderne prøver kandidaterne af på deres egne prompter og typiske data og ser på kvalitet, hastighed og pris under ét. Samlingen er den enkleste måde at gøre det på, og den kræver ingen programmering.
Samlingen har en anden fordel. Den er jeres. Når en udbyder udfaser en model, når I selv vil skifte, eller når en kunde spørger, hvordan I har valgt, har I et dokumenteret grundlag at pege på.
Forudsætninger
Før I begynder, skal tre ting være på plads.
- En ejer. En person, der har ansvaret for samlingen og for at holde den opdateret. Det kan være en IT-ansvarlig eller en fagperson med interesse for emnet.
- Fagfolk, der kan bedømme. De, der til daglig skriver de tekster eller løser de opgaver, modellen skal hjælpe med.
- Regler for data. Hvilke oplysninger der må indgå i prøver hos en ekstern tjeneste. Er I i tvivl, så rens eksemplerne for navne, kundenumre og fortrolige tal, før de bruges.
Fremgangsmåde
- Lav en liste over opgavetyper. Tag udgangspunkt i det, AI-valget skal løse: svar til kunder, resumé af møder, gennemgang af kontrakter, søgning i egne dokumenter, tekster til hjemmesiden.
- Find fire til fem rigtige eksempler pr. type. Vælg både de typiske og de svære: den lange mail, den uklare forespørgsel, dokumentet med tabeller.
- Skriv instruktionen. Den samme instruktion bruges til alle modeller, så forskellen alene ligger i modellen.
- Skriv kriterierne på forhånd. For hver opgave: hvad svaret skal indeholde, hvad det ikke må indeholde, og hvilken tone og hvilket fagsprog der forventes. Skriv dem, før I ser et eneste svar.
- Tilføj et facit, hvor det kan lade sig gøre. Ved faktaspørgsmål og søgning kender I det rigtige svar eller det rigtige dokument. Det gør bedømmelsen hurtigere og mere sikker.
- Kør samlingen og gem svarene. Gem både instruktion, svar, modelnavn, version og dato.
- Bedøm uden navne. Fagfolkene ser svarene uden at vide, hvilken model der har skrevet dem, og giver hvert svar en karakter på en enkel skala med en kort begrundelse.
- Gentag. Kør samlingen igen en anden dag. Svarene varierer fra kørsel til kørsel, og en forskel, der forsvinder ved gentagelsen, er ikke reel.
Kriterierne skal være jeres
Kriterierne er det vigtigste i samlingen. De gør det muligt at sammenligne svar fra forskellige modeller og at se, om en model er blevet bedre eller dårligere over tid. Gode kriterier er konkrete: “nævner fristen fra kontraktens punkt 7”, “bruger ikke ordet kunde om en patient”, “svarer på under en halv side”. Uklare kriterier som “godt svar” giver uenighed mellem bedømmerne og et resultat, ingen kan bruge.
Hvad sker der, når to bedømmere er uenige? Skriv uenigheden ned. Den viser ofte, at kriteriet skal præciseres, og det er en værdifuld rettelse til næste runde.
Hvor samlingen skal ligge
Samlingen skal ligge hos jer, i jeres egen dokumentstyring eller versionsstyring. En stor udbyder har i 2026 varslet lukning af sin funktion til at gemme prompter og rådet kunderne til at flytte dem ind i deres egen kode. Hvorfor prompter og testsæt er en del af det, I ejer, står i prompter og testsæt er jeres.
Brug samlingen igen
Samlingen er bygget én gang og bruges mange gange: ved valget, ved en pilot med to modeller, ved hvert varsel om udfasning og ved hver automatisk opgradering af en model. Hvordan to modeller prøves af brugerne side om side, står i pilot med to modeller side om side. Bygger I selv en AI-funktion ind i et produkt, kræver testen mere automatik, og det har cto-as-a-service.dk beskrevet.
Hvad det kræver, og hvad det koster at lade være
At bygge samlingen første gang tager fra tre til otte arbejdsdage fordelt på ejeren og fagfolkene: eksempler skal findes og renses, kriterier skrives og den første bedømmelse laves. Hver senere kørsel tager en til to dage. Adgang til modellerne under prøven afregnes efter forbrug eller som prøveperiode. Sæt selv jeres timepris på.
Lader I være, er hvert nyt valg og hvert modelskift et skøn. Opdager I en forringelse først, når brugerne klager, koster det rettelser i hver tekst, tabt tid og et hastevalg af afløser.
Det skal I lade være med
- At skrive kriterierne efter at have set svarene · så måler I den model, I allerede kan lide.
- At lade samlingen ligge i en udbyders værktøj alene · den kan forsvinde med funktionen.
- At bruge opfundne eksempler · rigtige opgaver afslører fagsprog, tone og de svære tilfælde.
Det skal valget kunne vise
- ☐ Hvem der ejer samlingen.
- ☐ Opgavetyper, eksempler og kriterier, skrevet før første kørsel.
- ☐ Svar, modelversion og dato for hver kørsel.
- ☐ Bedømmelser uden modelnavne og resultatet af en gentagelse.
Kilder
- Livscyklusdokumentation fra en stor cloudplatform om vurdering på egne prompter og data, læst 8. november 2026.
- EuroEval, FAQ om gentagelse og fejlmargin, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Udpeg en ejer af samlingen, og lav listen over opgavetyper, før I taler med en leverandør.
Læs også: Bliver svarene dårligere? Kvalitet over tid · Modellen skifter under jer
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
