Den hurtigste måde at se, hvor meget I er bundet til en sprogmodel, er at flytte én afgrænset opgave til en anden model og måle, hvad der sker med svarene. Øvelsen tager få dage, kræver ingen ny aftale og giver et svar, som ingen kontrakt og ingen leverandør kan give jer.
En eksporttest viser, om data kan komme ud. Denne øvelse viser, om arbejdet kan fortsætte med en anden model, og hvad det kræver at få svarene tilbage på det niveau, I har i dag. Den, der vil teste selve eksporten, kan begynde med test en eksport nu på exit-plan.dk.
Formål
At finde ud af, hvor meget af en AI-løsning der er bundet til netop den model, den kører på. Resultatet er tre ting: en vurdering af kvaliteten med en anden model, en liste over det, der skulle ændres, og den tid, ændringerne tog.
Forudsætninger
- En opgave, der gentages ofte, har en klar afgrænsning og kan bedømmes. Gode kandidater er sammenfatning af en bestemt type dokument, sortering af henvendelser, udtræk af felter fra fakturaer eller svar på spørgsmål ud fra en fast vejledning.
- Et udvalg af rigtige eksempler med svar, som en fagperson har godkendt. Nogle dusin er nok til en første øvelse.
- Adgang til en anden model. Det kan være en anden model hos samme udbyder, en model hos en anden udbyder eller en åben model, I kører selv.
- Data, der må sendes til den anden model. Er I i tvivl, vælg en opgave med data uden personoplysninger eller forretningshemmeligheder.
Kriterier skrevet på forhånd
Skriv kriterierne, før I kører noget. Ellers er det fristende at rette dem efter resultatet. Kriterierne kan være:
- hvor stor en del af svarene fagpersonen godkender uden rettelser,
- hvilke fejl der ikke må forekomme, fx forkerte beløb i et udtræk eller opdigtede henvisninger,
- om svaret følger det format, de næste systemer forventer,
- hvor lang svartid der kan accepteres.
Skriv også ned, hvad der tæller som bestået. Et resultat, der er lidt dårligere, kan være acceptabelt, hvis det er godt nok til opgaven.
Fremgangsmåde i trin
- Kør den nuværende model på eksemplerne. Det er jeres udgangspunkt. Gem svarene.
- Kør den anden model med uændret prompt. Det viser, hvor meget af kvaliteten der hænger på prompten.
- Tilpas prompten til den anden model. Sæt en tidsramme, fx en dag, og skriv ned, hvad der ændres.
- Kør den tilpassede prompt. Gem svarene.
- Lad fagpersonen bedømme svarene uden at vide, hvilken model der svarede. Bland svarene fra trin 1 og 4.
- Notér alt det tekniske, der skulle ændres. Formater, værktøjskald, grænser for længde, fejlbeskeder og kald fra andre systemer.
Trin 2 er let at springe over, og det er det mest oplysende. Er forskellen stor med uændret prompt og lille efter tilpasning, sidder bindingen i prompten, og den kan flyttes. Er forskellen stor efter tilpasning, sidder den i modellens evne, og så er et skifte et spørgsmål om kvalitet.
Hvad der skrives ned
En side er nok. Opgaven, de to modeller med version og dato, kriterierne, resultatet fra fagpersonens bedømmelse, listen over ændringer, tiden brugt på tilpasning og en vurdering i ord af, hvad den anden model koster at bruge efter sin prismodel. Til sidst en sætning om, hvad øvelsen ikke viser, fx at den kun dækker én opgave.
Dokumentet er grundlaget, næste gang en model udfases eller skifter under jer. Varslerne er beskrevet i modeller med udløbsdato og modellen skifter under jer.
Hvem godkender
Ejeren af den arbejdsgang, opgaven hører til, godkender kriterierne før øvelsen og resultatet bagefter. IT står for den tekniske del. Ledelsen får sammenfatningen, fordi den siger noget om, hvor let virksomheden kan skifte, og det er en oplysning til næste valg af model.
Øvelsen kan udvides til en egentlig pilot med to modeller side om side. Det er beskrevet i pilot med to modeller. Prøvesamlingen fra øvelsen kan genbruges i jeres egen prøvesamling.
Hvad det kræver, og hvad det koster at lade være
Øvelsen kræver tid fra en fagperson til at udvælge eksempler og bedømme svar, typisk et par dage i alt, og tid fra en udvikler til at køre modellerne og tilpasse prompten. Forbruget hos den anden model er lille, fordi det er få eksempler.
Lader I være, ved I først, hvor bundet I er, når I skal skifte. Det sker, når en model udfases, en aftale ændres, eller en kunde stiller et krav. Så bliver øvelsen lavet under tidspres, på en vigtigere opgave og uden en tom eftermiddag at gøre det i. Øvelsen giver også ledelsen et svar på spørgsmålet om afhængighed, som ellers bliver besvaret med et skøn.
Det skal I lade være med
- At skrive kriterierne efter resultatet · så måler øvelsen kun det, I håbede.
- At springe kørslen med uændret prompt over · den viser, hvor bindingen sidder.
- At vælge en opgave, ingen kan bedømme · uden en fagperson er resultatet et indtryk.
Det skal valget kunne vise
- ☐ En afgrænset opgave med godkendte eksempler.
- ☐ Kriterier for bestået, skrevet før øvelsen.
- ☐ Resultat for nuværende model, anden model med uændret prompt og anden model med tilpasset prompt.
- ☐ Liste over ændringer og tid brugt, godkendt af arbejdsgangens ejer.
Senest gennemgået: november 2026.
Næste skridt
Vælg én opgave, som en sprogmodel løser i dag, og bed dens ejer om nogle dusin eksempler med godkendte svar.
Læs også: Hvor godt kan modellen dansk? · Reservemodel
→ Kontakt · Tlf. 70 13 63 23 · Exit-plan og exit-rådgivning hos Nielco IT
