Optimering af prompts for bedre resultater

Optimering af prompts handler om at gøre AI-instruktioner mere målbare, kontekstnære og testbare, så svarene bliver mere relevante, stabile og kontrollerbare. Bedre resultater kommer især fra tydelige succeskriterier, gode eksempler, klart format, relevant kontekst og systematisk evaluering efter hver ændring.

Hvad betyder det at optimere prompts?

At optimere prompts betyder at forbedre de instruktioner, du giver en AI-model, så modellen oftere leverer det ønskede resultat. Det kan være mere præcise svar, bedre struktur, færre irrelevante detaljer, mere stabil tone eller større evne til at bruge det materiale, du giver den.

Optimering handler ikke om at finde én magisk formulering. Den handler om at formulere en opgave, teste svaret, finde årsagen til fejl og ændre én ting ad gangen. Derfor ligner godt arbejde med AI-instruktioner mere en redaktionel eller teknisk forbedringsproces end en skriveøvelse.

Hvis du forstår, hvordan generative transformer-modeller arbejder med sproglige mønstre, bliver det lettere at se, hvorfor små ændringer i kontekst, format og eksempler kan ændre resultatet mærkbart.

Hvorfor giver længere instruktioner ikke altid bedre svar?

Længde kan hjælpe, hvis den tilfører relevant kontekst, konkrete regler eller gode eksempler. Længde kan også skade, hvis instruktionen bliver uklar, modsiger sig selv eller fylder modellen med materiale, der ikke har betydning for opgaven. Et bedre resultat kræver præcision, ikke bare flere ord.

En kort instruktion kan være stærk, hvis opgaven er enkel og formatet tydeligt. En længere instruktion kan være nødvendig, hvis opgaven kræver rolle, målgruppe, datagrundlag, undtagelser, stilkrav og evalueringskriterier. Spørgsmålet er derfor ikke, hvor lang teksten er, men om hvert element styrer en konkret del af resultatet.

For meget kontekst kan også skabe støj. Når modellen skal prioritere mellem mange regler, kan uklare eller overlappende krav give ustabile svar. Derfor bør du fjerne oplysninger, som ikke påvirker kvaliteten, og placere de vigtigste krav tydeligt.

Hvilke fejl bør du diagnosticere først?

Før du omskriver instruktionen, bør du afgøre hvilken type fejl du prøver at løse. Ellers risikerer du at forbedre et område og forværre et andet. En tekst, der er for lang, kræver en anden løsning end et svar, der bygger på forkerte antagelser.

• Opgavefejl: Modellen løser en anden opgave end den ønskede.
• Kontekstfejl: Modellen mangler oplysninger eller bruger dem forkert.
• Formatfejl: Svaret har forkert struktur, længde eller rækkefølge.
• Faktuel fejl: Svaret indeholder udokumenterede eller forkerte påstande.
• Tonefejl: Svaret passer ikke til målgruppe, kanal eller formål.
• Stabilitetsfejl: Samme instruktion giver for forskellige resultater fra gang til gang.

Når fejltypen er tydelig, kan du vælge den rigtige forbedring: bedre målbeskrivelse, mere relevant materiale, tydeligere format, eksempler, kildekrav, afgrænsning eller efterfølgende evaluering.

Hvordan opstiller du målbare succeskriterier?

Anthropic beskriver i sin evalueringsvejledning, at succes først bør defineres med specifikke og målbare kriterier. Det princip er centralt for optimering af prompts, fordi du ellers ikke ved, om en ny version faktisk er bedre eller blot anderledes.

Et succeskriterium kan være kvantitativt, for eksempel maksimal længde, bestemt feltrækkefølge eller korrekt klassifikation. Det kan også være kvalitativt, hvis vurderingen er beskrevet tydeligt nok til at bruges konsekvent. Eksempelvis kan “kort og brugbart” erstattes af “maksimalt fem punkter, hver med en konkret handling og uden generelle råd”.

Gode succeskriterier bør også være realistiske. En model kan ofte forbedres med bedre instruktioner, men den kan ikke gøres ufejlbarlig. Hvis opgaven kræver dokumenteret viden, skal kriterierne omfatte kildebrug, usikkerhedsmarkering og menneskelig kontrol.

Hvordan bruger du kontekst uden at skabe støj?

Kontekst er de oplysninger, modellen skal bruge for at løse opgaven: mål, målgruppe, datagrundlag, eksempler, begrænsninger og relevante fakta. God kontekst gør svaret mere præcist. Dårlig kontekst giver modellen flere mulige retninger og øger risikoen for irrelevante detaljer.

Et praktisk princip er at adskille faste regler fra opgavespecifikt materiale. Faste regler kan være tone, format og sikkerhedskrav. Opgavespecifikt materiale kan være data, noter, tekstuddrag eller baggrund. Når de blandes sammen, bliver det sværere at se, hvad der bør ændres ved en fejl.

Kontekst hænger også sammen med tokenization og context windows. Lange instruktioner og store datamængder fylder i modellens arbejdsrum. Derfor bør du prioritere det materiale, der er mest relevant for den konkrete opgave, frem for at sende alt med.

Hvordan styrer eksempler format og kvalitet?

Eksempler viser modellen, hvad et godt svar ligner. Google beskriver, at få eksempler kan hjælpe med at styre format, formulering, afgrænsning og mønstre. Det er nyttigt, når du vil have ensartede svar på gentagne opgaver, for eksempel klassifikation, opsummering, svarskabeloner eller analysefelter.

Eksempler bør være repræsentative for den variation, modellen møder i praksis. Hvis du kun viser perfekte standardsager, kan modellen fejle på edge cases. Hvis du viser uklare eller modstridende eksempler, kan modellen overtage forvirringen. Eksempler skal derfor vælges og vedligeholdes som testmateriale, ikke som pynt.

Det hjælper også at markere, hvorfor et eksempel er godt. Hvis modellen skal lære en stil, kan eksemplet vise længde, tone og struktur. Hvis den skal lære en beslutning, bør eksemplet vise input, ønsket output og den regel, der adskiller det fra lignende tilfælde.

Hvordan kan formatkrav gøre output mere brugbart?

Formatkrav gør AI-svar lettere at bruge, teste og sammenligne. Hvis modellen skal returnere en liste, en tabel, et kort resumé eller en bestemt rækkefølge, bør det stå direkte i instruktionen. Jo mere gentagelig opgaven er, desto vigtigere bliver formatet.

Formatkrav bør dog ikke være mere komplekse end opgaven kræver. Hvis formatet fylder mere end formålet, kan modellen bruge sin kapacitet på struktur frem for indhold.

Hvordan tester du om en ændring faktisk virker?

OpenAI beskriver evalueringer som en måde at teste modeloutput mod stil- og indholdskriterier, især når man opgraderer eller prøver nye modeller. Det samme princip kan bruges ved optimering af prompts: lav et lille testsæt, kør den gamle og nye version, og sammenlign dem efter de samme kriterier.

Et testsæt bør indeholde normale tilfælde, svære tilfælde og grænsetilfælde. Hvis instruktionen skal bruges i en organisation, bør testmaterialet ligne den virkelige opgavefordeling. En instruktion, der kun virker på pæne eksempler, kan give falsk tryghed.

1. Gem den nuværende version af instruktionen.
2. Vælg 10-30 testcases, der dækker de vigtigste variationer.
3. Definer hvad der tæller som godkendt, delvist godkendt og fejl.
4. Ændr kun ét væsentligt element ad gangen.
5. Sammenlign resultaterne og notér både forbedringer og nye fejl.
6. Behold ændringen kun, hvis den forbedrer de vigtigste kriterier.

Ved kritiske processer bør test ikke kun være manuel læsning. Strukturerede felter, faste svarmuligheder eller tydelige rubrikker gør det lettere at måle kvalitet på tværs af mange svar.

Hvordan reducerer du faktuelle fejl og hallucinationer?

Faktuelle fejl kan ikke fjernes alene med bedre formuleringer. En model kan stadig give et selvsikkert svar på et uklart eller ubekræftet grundlag. Derfor bør instruktionen gøre datagrundlaget tydeligt og bede modellen skelne mellem kilder, antagelser og manglende viden.

Hvis opgaven kræver korrekt viden, bør du give modellen verificerbart materiale eller kræve, at den markerer usikkerhed. Du kan også bede den afvise at svare, hvis de nødvendige oplysninger mangler. Det er især relevant ved emner, hvor oplysninger ændrer sig hurtigt.

For en mere generel kontrolramme kan du se, hvordan sikkerhed og privatliv i ChatGPT hænger sammen med datagrundlag, kildekontrol og afgrænsning. Det er vigtigere end blot en længere instruktion.

Hvordan bruger du grounding i bedre prompts?

Grounding betyder, at modelsvaret forankres i et bestemt materiale, for eksempel dokumenter, data, søgeuddrag eller interne retningslinjer. Ved optimering af prompts kan grounding gøre svaret mere relevant, fordi modellen får et tydeligt grundlag at arbejde med.

Grounding er ikke det samme som garanti for sandhed. Hvis grundmaterialet er forkert, gammelt eller uklart, kan svaret stadig blive forkert. Derfor bør instruktionen både afgrænse, hvilket materiale der må bruges, og bede modellen sige fra, når materialet ikke rækker.

Begrebet hænger også sammen med AI-embeddings, fordi søgning i relevant materiale ofte bruger vektorrepræsentationer til at finde tekststykker, modellen kan bygge svaret på. I praksis er det en af de vigtigste metoder, når resultater skal kunne bruges i arbejde, analyse og beslutningsstøtte.

Hvordan optimerer du til forskellige opgavetyper?

Forskellige opgaver kræver forskellige forbedringer. En skriveopgave bliver ofte bedre af målgruppe, tone og eksempler. En analyseopgave bliver bedre af datagrundlag, kategorier og usikkerhedsmarkering. En klassifikationsopgave bliver bedre af faste labels, klare definitioner og testcases.

• Tekstproduktion: angiv målgruppe, kanal, længde, tone og uønskede formuleringer.
• Opsummering: angiv kildemateriale, vigtigste spørgsmål og hvad der skal udelades.
• Klassifikation: definer kategorier, grænsetilfælde og ønsket outputformat.
• Analyse: adskil data, observation, fortolkning og anbefaling.
• Kodehjælp: angiv miljø, begrænsninger, testkrav og fejlbeskrivelse.
• Kreativt arbejde: bed om flere retninger, kritik af forslag og begrundet sortering.

Derfor bør prompts ikke genbruges ukritisk på tværs af opgaver. En god instruktion er tilpasset det konkrete output, der skal vurderes, og den risiko, der følger med fejl.

Hvordan undgår du at optimere på den forkerte ting?

En almindelig fejl er at optimere efter, hvad der lyder bedst i første gennemlæsning. Det kan give mere polerede svar uden at forbedre korrekthed, relevans eller brugbarhed. I nogle tilfælde kan et mere flydende svar endda skjule usikkerhed bedre.

Derfor bør du skelne mellem overfladekvalitet og opgavekvalitet. Overfladekvalitet er tone, rytme og sproglig form. Opgavekvalitet er, om svaret løser den definerede opgave. Begge kan være relevante, men kun opgavekvaliteten afgør, om instruktionen faktisk er blevet bedre.

En god stopregel er at spørge: Hvilken konkret fejl er nu mindre sandsynlig? Hvis du ikke kan svare, har ændringen måske ikke forbedret noget målbar. Så bør du gå tilbage til succeskriterierne i stedet for at fortsætte med små omskrivninger.

Hvordan kan organisationer arbejde mere kontrolleret med prompts?

Når prompts bruges af flere personer eller i faste arbejdsgange, bør de behandles som et fælles arbejdsredskab. Det betyder versionsstyring, testcases, ejerskab, ændringslog og klare regler for, hvornår en instruktion må bruges i drift.

NISTs AI Risk Management Framework peger på behovet for at håndtere AI-risici i design, udvikling, brug og evaluering af AI-systemer. For organisatorisk brug betyder det, at optimering ikke kun handler om bedre svar. Den bør også omfatte databeskyttelse, adgangsstyring, fejlrapportering og menneskelig kontrol.

Hvis en instruktion styrer en vigtig proces, bør du dokumentere dens formål, datakilder, kendte begrænsninger og testresultater. Det gør det lettere at opdage, om en ny model, et nyt datagrundlag eller en ændret arbejdsgang kræver ny evaluering.

En enkel fælles metode er at arbejde med fire lag: mål, kontekst, format og evaluering. Hvis svaret ikke passer, kan teamet spørge, hvilket lag der svigtede. Den bedste optimering stopper ikke ved et bedre første svar; den skaber en instruktion, der kan genbruges, testes og forbedres uden at skjule sine begrænsninger.

Hvilke kilder ligger til grund?

Artiklen bygger på OpenAI’s vejledning om prompting, OpenAI’s dokumentation om evaluering af modeloutput, Google AI for Developers om instruktionsstrategier og Anthropic om succeskriterier og evalueringer.