En pilot med to modeller side om side lader en gruppe brugere arbejde med rigtige opgaver, hvor svarene kommer fra to forskellige modeller, og hvor brugerne bedømmer svarene blindt, altså uden kendskab til, hvilken model der svarede. Det giver en sammenligning af modeller på jeres eget arbejde og fra dem, der skal leve med valget.
Metoden er sitets egen. Vi har ingen kilde, der beskriver en bestemt opsætning for virksomheder, så her står en fremgangsmåde, I kan tilpasse. Den bygger videre på prøvesamlingen, som fagfolk bedømmer ved et skrivebord. Piloten flytter bedømmelsen ud i hverdagen.
Formål
Piloten skal svare på ét spørgsmål: Hvilken af to kandidater løser vores opgaver bedst i daglig brug, når alt andet er lige? Det kan være en europæisk og en amerikansk tjeneste, en åben model hos en europæisk udbyder og en købt assistent, eller to versioner af samme model. Alt det andet, jurisdiktion, lagring, binding og pris, vurderes i målestokkens felter ved siden af piloten.
Forudsætninger
- To kandidater, der begge må bruges til de data, piloten rører. Er den ene kandidat ikke godkendt til kundedata, må piloten kun bruge interne opgaver.
- En prøvesamling eller i det mindste en liste over opgavetyper. Den gør det muligt at se, om piloten dækker det, valget skal løse. Se byg jeres egen prøvesamling.
- En gruppe brugere fra flere afdelinger, både dem, der bruger AI meget, og dem, der er skeptiske.
- En ansvarlig, der samler bedømmelserne og skriver resultatet.
Opsætning
Den enkleste opsætning sender hver forespørgsel til begge modeller og viser de to svar ved siden af hinanden, mærket A og B i tilfældig rækkefølge. Brugeren vælger det svar, der passer bedst til opgaven, eller markerer, at de er lige gode, og kan skrive en kort kommentar. Det kræver et lille mellemlag, som en udvikler hos jer eller hos en partner kan sætte op, og begge modeller skal kunne kaldes med samme instruktion.
Kan I ikke bygge det, er der en enklere vej. Del gruppen i to, giv hver halvdel én kandidat i to uger, og byt derefter. Brugerne ved så, hvilken model de har, og bedømmelsen bliver mindre sikker, fordi forventninger og navne påvirker dommen. Skriv det forbehold ind i resultatet.
Varighed og omfang
To til fire uger er vores udgangspunkt. Det er længe nok til, at brugerne har prøvet de almindelige opgaver flere gange, og kort nok til, at kandidaterne ikke når at skifte undervejs. Hold øje med udbydernes varsler i perioden. Opgraderes en af modellerne under piloten, er sammenligningen ikke længere ren, og I må notere, hvornår det skete.
Det er antallet af bedømmelser, der gør resultatet sikkert. Hellere mange valg mellem A og B fra en mindre gruppe end få valg fra hver af mange brugere.
Kriterier skrevet på forhånd
Før piloten begynder, skriver I ned, hvad der skal til, for at en kandidat vinder. Fx at den foretrækkes klart oftere end den anden i de vigtigste opgavetyper, at den ikke har flere fejl i fakta, og at svartiden opleves som acceptabel. Skriv også, hvad I gør, hvis resultatet er uafgjort. Så kan de andre felter i valget afgøre det, fx jurisdiktion eller binding.
Hvad der skrives ned
- Kandidaterne med navn, version og driftsform.
- Perioden og eventuelle ændringer i modellerne undervejs.
- Antal bedømmelser pr. opgavetype og fordelingen mellem A, B og lige gode.
- Brugernes kommentarer, sorteret efter opgavetype.
- Forbehold, fx om brugerne kendte modellernes navne.
Hvem der godkender
Den ansvarlige for piloten skriver resultatet. Den, der ejer AI-valget i ledelsen, godkender det sammen med de andre felter i valget. Hvordan en enkelt licens vurderes til en medarbejdergruppe, er et andet spørgsmål, som ekstern-it-chef.dk har beskrevet. Hvorfor piloter går i stå på vej til drift, står på cio-as-a-service.dk.
Hvad det kræver, og hvad det koster at lade være
Piloten kræver timer fra en ansvarlig, en udvikler til opsætningen, hvis I vælger den blinde form, og lidt ekstra tid fra brugerne til at bedømme. Begge kandidater afregnes under piloten, typisk efter forbrug eller som prøveperiode. Vores lave vurdering er fem arbejdsdage samlet, den høje femten, alt efter opsætning og antal opgavetyper.
Lader I være, træffes valget ud fra en demonstration eller en enkelt persons indtryk. Viser det sig senere, at brugerne foretrækker den anden kandidat, koster det et nyt indkøb, en ny indkøring og brugere, der i mellemtiden har fundet deres egne veje.
Det skal I lade være med
- At lade brugerne se modellernes navne, hvis det kan undgås · navnet farver dommen.
- At ændre instruktionen for den ene kandidat undervejs · så sammenligner I to forskellige ting.
- At afgøre valget på piloten alene · jurisdiktion, lagring, binding og pris står i de andre felter.
Det skal valget kunne vise
- ☐ Kandidater, periode og opsætning.
- ☐ Kriterierne for at vinde, skrevet før start.
- ☐ Antal bedømmelser og fordelingen pr. opgavetype.
- ☐ Forbehold og ændringer undervejs.
Senest gennemgået: november 2026.
Næste skridt
Vælg de to kandidater, og skriv kriterierne for at vinde, før I sætter piloten op.
Læs også: Hvad koster det europæiske valg i kvalitet? · Svartid og kø
→ Kontakt · Tlf. 70 13 63 23 · Jurisdiktions- og afhængighedsvurdering hos Nielco IT
