Svarene kan blive anderledes, selv om intet er rørt hos jer, fordi udbydere udfaser modeller, opgraderer dem automatisk eller lader et navn pege på en nyere version. Den eneste måde at vide, om kvaliteten holder, er at køre jeres egen prøvesamling igen med faste mellemrum og ved hver ændring, og at have skrevet på forhånd, hvilket resultat der udløser et nyt valg.
Fænomenet kaldes på engelsk model drift. Her bruger vi det danske: kvalitet over tid. Artiklen handler om målingen bagefter. Hvordan prøvesamlingen bygges, og hvordan modeller skifter under jer, står i andre artikler.
Hvorfor svarene ændrer sig
Vi har læst udfasnings- og livscyklusdokumentation hos en række store udbydere og platforme og hos europæiske udbydere af modeller som tjeneste 8. november 2026. Ingen af dem lover, at svarene forbliver de samme, når en model skiftes. Mekanismerne er disse, sammenfattet uden navne:
- Udfasning. En model lukker efter et varsel, der spænder fra uger til måneder, og en afløser anbefales.
- Omdirigering. En europæisk udbyder kan sende trafikken videre til en tilsvarende model, når en model fjernes, og skriver selv, at den ikke kan garantere, at svarene forbliver ens.
- Automatisk opgradering. En stor platform opgraderer visse udrulninger automatisk ved udfasning, også når den nye version ikke i forvejen findes i regionen.
- Navne, der flytter. Hos to af de læste udbydere peger et navn som “seneste” på den nyeste udgave og kan skifte med kort varsel. En udbyder skriver selv, at sådanne navne kan give stille ændringer i adfærd og pris.
- Prøvemodeller. Modeller i prøvestadiet kan opdateres uden varsel eller tvangsopgraderes med få ugers varsel.
En udbyder skriver også, at almindeligt tilgængelige modeller ikke får stille opdateringer. Det er et løfte, der er værd at kende for de modeller, I bruger.
Hertil kommer de ændringer, I selv laver: ny instruktion, nye dokumenter i søgningen, nye opgaver. De kan også ændre kvaliteten, og de skal skelnes fra udbyderens.
Hvornår prøven skal køres igen
Metoden her er sitets egen.
Ved hver ændring fra udbyderen. Et varsel om udfasning, en meddelelse om opgradering eller et nyt versionsnummer på den model, I kalder. Kør prøven på både den gamle og den nye model, mens begge findes.
Ved hver ændring hos jer. Ny instruktion, ny dokumentsamling eller ny model til indlejringer.
Med fast rytme. Også når intet er meldt. Hver tredje måned er et rimeligt udgangspunkt for de vigtigste opgaver, oftere hvis I bruger navne, der flytter, eller prøvemodeller.
Når brugerne siger det. Klager over svarene er et signal, og en kørsel af prøven viser, om de har ret.
Sådan sammenligner I
Gem resultatet af hver kørsel med dato, model, version og region. Sammenlign med den første kørsel og med den forrige. Sprogmodeller svarer ikke ens hver gang, så en lille ændring kan være tilfældig. Kør derfor prøven to gange, når resultatet ser dårligere ud, før I konkluderer. Bedømmerne skal helst ikke vide, om de ser det gamle eller det nye svar.
Mål også svartid, så I kan se, om den er ændret med modellen. Fremgangsmåden står i svartid og kø.
Tærskler skrevet på forhånd
Bestem på forhånd, hvad der skal ske ved et dårligere resultat. Tre niveauer er nok:
- Inden for det normale. Resultatet ligger inden for den variation, I har set mellem kørsler. Intet sker.
- Tydeligt dårligere på én opgave. Instruktionen tilpasses, og prøven køres igen. Hjælper det ikke, flyttes opgaven til en anden model, eller valget tages op for den opgave.
- Tydeligt dårligere på flere opgaver. Valget af model eller tjeneste tages op i ledelsen.
Hvad “tydeligt” betyder, skriver I selv, fx et bestemt antal svar, der ikke opfylder kriterierne. Hvordan valget tages op, og hvor ofte hele valget skal efterses, står i AI-valget holder ikke evigt.
Det, I kan bede udbyderen om
Ud fra det læste kan I spørge om fire ting ved køb: et mindste varsel før udfasning, besked før automatisk opgradering, en periode med den gamle og den nye model side om side, og mulighed for at låse en bestemt version. Hvad varslerne indeholder, står i modeller med udløbsdato, og hvordan skiftet binder, i modellen skifter under jer.
Hvad det kræver, og hvad det koster at lade være
Når prøvesamlingen findes, tager en kørsel med bedømmelse en til to dage. Med fire faste kørsler om året og et par ekstra ved varsler er vores lave vurdering seks arbejdsdage om året og den høje femten. Forbruget under kørslerne betales efter tjenestens prismodel.
Lader I være, opdager I en forringelse gennem brugerne eller kunderne. Til den tid kan den gamle model være lukket, så I ikke kan sammenligne, og valget af afløser træffes under tidspres.
Det skal I lade være med
- At bruge navne, der flytter, i forretningskritiske arbejdsgange · de kan skifte model uden at I mærker det.
- At konkludere på én kørsel · kør igen, før I handler.
- At vente med prøven til den gamle model er lukket · så er der intet at sammenligne med.
Det skal valget kunne vise
- ☐ Hvornår prøven køres, både fast og ved ændringer.
- ☐ Resultatet af hver kørsel med dato, model, version og region.
- ☐ Tærsklerne for at tilpasse, flytte en opgave eller tage valget op.
- ☐ Hvem der beslutter, når en tærskel er nået.
Kilder
- Udfasnings- og livscyklusdokumentation hos store udbydere og platforme og hos europæiske udbydere af modeller som tjeneste, læst 8. november 2026.
Senest gennemgået: november 2026.
Næste skridt
Skriv tærsklerne ned for de tre vigtigste opgaver, og sæt datoen for næste kørsel af prøvesamlingen i kalenderen.
Læs også: AI-valget holder ikke evigt · Modeller med udløbsdato
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
