Kvalitet målt på jeres egne opgaver

Kvaliteten af en AI-model kan kun afgøres på de opgaver, I selv skal løse. Offentlige sammenligninger kan hjælpe jer med at udvælge kandidater, men de er målt på andres prøver på et bestemt tidspunkt. Artiklerne her viser, hvordan I bygger jeres egen prøvesamling, sammenligner modeller blindt og følger kvaliteten, efter valget er truffet.

Det, I kan læse andre steder

• Sådan læser I en sammenligning af modeller Brugbar til at vælge kandidater, svag som grundlag for valget.
• Modelkort og tekniske rapporter: det, I kan bruge dem til Licens, sprog og tilsigtet brug fra udgiveren selv.

Jeres egne prøver

• Byg jeres egen prøvesamling Rigtige opgaver med en beskrivelse af det gode svar.
• Hvor godt kan modellen dansk? Sådan måler I det Kriterier fastlagt, før prøven begynder.
• Pilot med to modeller side om side Brugerne bedømmer svarene uden at vide, hvem der svarede.
• Virker søgningen? Sådan måler I den på egne dokumenter Fundet og svaret målt hver for sig.
• Svartid og kø: det, brugerne mærker, når modellen skifter sted Den svartid, I selv måler.
• Prøv tjenesten af: prompt-injektion før valget En skjult instruktion i et testdokument.

Kvalitet, fejl og tid

• Hvad koster det europæiske valg i kvalitet? Det, jeres egen måling viser pr. opgave.
• Fejl i svarene: hvem tjekker, og hvem hæfter? Kontrollen bestemmes, før svarene bruges.
• Bliver svarene dårligere? Kvalitet over tid Prøvesamlingen kørt igen med faste mellemrum.

Kvalitet i forhold til de andre krav

Kvalitet er ét af fem forhold i valget sammen med data, jurisdiktion, binding og økonomi. En model, der klarer jeres prøver bedst, kan kræve en driftsform eller en aftalepart, som jeres data ikke tåler, og en model, der er en smule svagere, kan være god nok til opgaven. Derfor skal resultatet af prøven stå ved siden af de øvrige krav i valgmodellen, hvor det vejes sammen med dem. Prøvesamlingen gør også skiftet lettere senere, fordi I kan måle en ny model på samme grundlag som den gamle.

Sådan bruger I siden

Saml omkring tyve rigtige opgaver fra hverdagen, og skriv for hver, hvad et godt svar er. Lad dem, der kender opgaverne, sætte kriterierne, før nogen model har svaret. Kør derefter de samme opgaver på de modeller, I overvejer, og lad bedømmerne se svarene uden navn. Gem samlingen, for den er jeres målestok, når en model udfases, opgraderes eller skal skiftes. En forskel i kvalitet har kun betydning, hvis den rammer en opgave, hvor forretningen mærker den.

Hvad det kræver, og hvad det koster at lade være

En prøvesamling kræver nogle dage fra folk, der kender opgaverne, og et par timer pr. model at køre og bedømme. Samlingen kan bruges igen ved hvert eftersyn og hvert skifte, så udgiften falder hver gang. Vælger I på en rangliste, kan I betale for en model, der klarer sig godt på andres prøver og dårligere på jeres, eller fravælge en, der ville have været god nok. Tiden til prøverne og den gevinst, de dokumenterer, skrives ind i regnestykket bag AI-valget.

Det skal I lade være med

• At lade en rangliste træffe valget · den er målt på andres opgaver.
• At fastsætte kriterierne efter svarene · så måler I jeres forventning.
• At teste én gang og aldrig igen · modellerne skifter under jer.

Det skal valget kunne vise

• ☐ Prøvesamlingen med opgaver og kriterier.
• ☐ Resultatet pr. model og pr. opgave.
• ☐ Hvem der tjekker svarene i drift.
• ☐ Datoen for næste kørsel af prøvesamlingen.

Senest gennemgået: november 2026.

Næste skridt

Bed tre medarbejdere om hver at aflevere fem rigtige opgaver med det svar, de ville være tilfredse med.

• Byg jeres egen prøvesamling
• Pilot med to modeller side om side

Læs også: Binding og skifte af model · Samme tolv felter for hver tjeneste

→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT